Alles über Googlebot

Samstag, 19. August 2006

Ich habe in letzter Letzt viele Fragen zu robots.txt-Dateien und dem Verhalten von Googlebot gesehen. Letzte Woche sprach ich auf der SES in einem neuen Gremium namens
dem Bot-Gehorsam-Kurs. Und vor ein paar Tagen haben einige andere Googler und ich Fragen in den
WebmasterWorld-Forenbeantwortet. Hier sind einige der Fragen, die wir erhalten haben:

Wenn meine Website wegen Wartungsarbeiten offline ist, wie kann ich Googlebot sagen, dass er später wiederkommen soll, anstatt die Seite „Wartungsarbeiten“ zu indexieren?
Sie sollten Ihren Server so konfigurieren, dass er einen
Status von
503 (Netzwerk nicht verfügbar) zurückgibt, anstatt200 (Erfolgreich)

zu liefern. Das teilt Googlebot mit, dass er die Seiten später noch einmal versuchen soll. Was soll ich tun, wenn Googlebot meine Website zu oft crawlt?
Sie können
uns kontaktieren

– wir arbeiten mit Ihnen zusammen, um sicherzustellen, dass wir die Bandbreite Ihres Servers nicht überlasten. Wir experimentieren derzeit mit einer Funktion in unseren Webmaster-Tools, mit der Sie Feedback zu Ihrer Crawl-Rate geben können, und haben bisher großartiges Feedback erhalten, sodass wir sie hoffentlich bald allen anbieten können. Ist es besser, den robots Meta-Tag oder eine robots.txt-Datei zu verwenden?
Googlebot hält sich an beides, aber Meta-Tags

gelten nur für einzelne Seiten. Wenn Sie eine Reihe von Seiten vom Crawling ausschließen möchten, können Sie Ihre Website so strukturieren, dass Sie ganz einfach eine robots.txt-Datei verwenden können, um diese Seiten zu blockieren (indem Sie die Seiten beispielsweise in einem einzigen Verzeichnis ablegen).
Wenn meine robots.txt-Datei eine Regel für alle Bots sowie eine spezielle Regel für Googlebot enthält, wie interpretiert Googlebot die Zeile, die an alle Bots gerichtet ist?

Wenn Ihre robots.txt-Datei eine globale Regel plus eine Regel speziell für Googlebot enthält, hält sich Googlebot an die Zeilen, die speziell an ihn gerichtet sind. Zum Beispiel für diese robots.txt-Datei:

Googlebot crawlt alles auf der Website mit Ausnahme von Seiten im cgi-bin-Verzeichnis.

Für diese robots.txt-Datei:

Googlebot crawlt keine Seiten der Website.
Wenn Sie sich nicht sicher sind, wie Googlebot Ihre robots.txt-Datei interpretiert, können Sie unser
robots.txt-Analystool

verwenden, um dies zu testen. Sie können auch testen, wie Googlebot Änderungen an der Datei interpretiert. Vollständige Informationen darüber, wie Googlebot und andere User-Agents von Google mit robots.txt-Dateien umgehen, finden Sie in unserem.