Antworten zu häufig gestellten Homepage-Fragen
 Alle Anleitungen
Einige Anleitungen
Intern
Kostenl. Partnerlinks
[,__,] Druckversion

Die Website Homepage-FAQs.de befindet sich im Archivmodus.
FAQS zu HP&Co.
Robots (Suchroboter) - Google und Bing erlauben Wildcards bei Disallow in robots.txt

Bei Selfhtml.org steht noch dass Wildcards bei Disallow nicht erlaubt wären, was zumindest bei Google und Bing nicht mehr zutrifft.

Nach Hinweisen aus dem Forum von http://www.abakus-internet-marketing.de/ hier 2 Infolinks

A) Google

Google erlaubt Wildcards in robots.txt - siehe Beitrag "Blockieren oder Entfernen von Seiten mithilfe einer "robots.txt"-Datei" (deutsch)

http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=156449

B) Bing

Auch Bing erlaubt Wildcards - siehe Beitrag "Robots Exclusion Protocol: joining together to provide better documentation" (englisch)

http://www.bing.com/community/site_blogs/b/webmaster/archive/2008/06/03/robots-exclusion-protocol-joining-together-to-provide-better-documentation.aspx


Anleitung (C) 2011 Daniel Wurst - http://www.homepage-faqs.de