Antworten zu häufig gestellten Homepage-Fragen
 Alle Anleitungen
Einige Anleitungen
Intern
Kostenl. Partnerlinks
[,__,] Druckversion

Hinweis: Die Website Homepage-FAQs.de befindet sich seit 2012 im Archivmodus, d.h. sie wird nicht mehr aktualisiert.
FAQS zu HP&Co.
Robots (Suchroboter) - Google und Bing erlauben Wildcards bei Disallow in robots.txt

Bei Selfhtml.org steht noch dass Wildcards bei Disallow nicht erlaubt wären, was zumindest bei Google und Bing nicht mehr zutrifft.

Nach Hinweisen aus dem Forum von http://www.abakus-internet-marketing.de/ hier 2 Infolinks

A) Google

Google erlaubt Wildcards in robots.txt - siehe Beitrag "Blockieren oder Entfernen von Seiten mithilfe einer "robots.txt"-Datei" (deutsch)

http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=156449

B) Bing

Auch Bing erlaubt Wildcards - siehe Beitrag "Robots Exclusion Protocol: joining together to provide better documentation" (englisch)

http://www.bing.com/community/site_blogs/b/webmaster/archive/2008/06/03/robots-exclusion-protocol-joining-together-to-provide-better-documentation.aspx


Anleitung (C) 2011 Daniel Wurst - http://www.homepage-faqs.de