Mehr Kontrolle über die Crawl-Rate von Googlebot

Donnerstag, 4. Dezember 2008

Wir haben die Einstellung für die Crawl-Rate in
Webmaster Tools
aktualisiert, sodass Webmaster, die Probleme mit Googlebot haben, uns nun spezifischere Informationen liefern können. Die Crawl-Rate für Ihre Website bestimmt die Zeit, die Googlebot bei jedem Besuch für das Crawlen Ihrer Website aufwendet. Unser Ziel ist es, Ihre Website gründlich zu crawlen (damit Ihre Seiten indexiert und in den Suchergebnissen angezeigt werden können!), ohne die Bandbreite Ihres Servers spürbar zu belasten. Während die meisten Webmaster mit der Standard-Crawl-Einstellung gut zurechtkommen (d. h. keine Änderungen erforderlich, mehr dazu unten), haben einige Webmaster möglicherweise spezifischere Anforderungen.

Googlebot verwendet ausgefeilte Algorithmen, die bestimmen, wie viel jede von ihm besuchte Website gecrawlt werden soll. Für die überwiegende Mehrheit der Websites ist es wahrscheinlich am besten, die Standardoption „Google meine Crawl-Rate bestimmen lassen“ zu wählen. Wenn Sie jedoch ein fortgeschrittener Benutzer sind oder Bandbreitenprobleme mit Ihrem Server haben, können Sie Ihre Crawl-Rate an die für Ihre Webserver optimale Geschwindigkeit anpassen. Mit der benutzerdefinierten Crawl-Rate können Sie Googlebot einen Einblick in die maximale Anzahl von Anfragen pro Sekunde und die Anzahl der Sekunden zwischen Anfragen geben, die Sie für Ihre Umgebung am besten halten.

Googlebot bestimmt den Bereich der Crawl-Rate-Werte, die Ihnen in Webmaster Tools zur Verfügung stehen. Dies basiert auf unserem Verständnis der Leistungsfähigkeit Ihres Servers. Dieser Bereich kann von Website zu Website und im Laufe der Zeit aufgrund verschiedener Faktoren variieren. Wenn Sie die Crawl-Rate auf einen Wert unter dem Standardwert einstellen, kann dies die Abdeckung und Aktualität Ihrer Website in den Google-Suchergebnissen beeinträchtigen. Wenn Sie sie jedoch auf einen höheren Wert als den Standardwert einstellen, verbessern sich Ihre Abdeckung oder Ihr Ranking nicht. Wenn Sie eine benutzerdefinierte Crawl-Rate einstellen, gilt die neue Rate für 90 Tage, danach wird sie auf den von Google empfohlenen Wert zurückgesetzt.

Sie dürfen diese Einstellung nur für Root-Level-Websites und Websites verwenden, die nicht auf einer großen Domain wie blogspot.com gehostet werden (wir haben diesen spezielle Einstellungen zugewiesen). Um die Einstellung der Crawl-Rate zu überprüfen, melden Sie sich bei
Webmaster Tools
an und rufen Sie den Tab „Einstellungen“ auf. Wenn Sie weitere Fragen haben, besuchen Sie die
Webmaster Help Center
, um mehr darüber zu erfahren, wie Google Ihre Website crawlt, oder stellen Sie Ihre Fragen im
Webmaster Help Forum.

Verfasst von Pooja Shah, Software Engineer, Webmaster Tools Team