Bevorstehende Einstellung des Crawl Rate Limiter-Tools in der Search Console

Freitag, 24. November 2023

Das Crawl Rate Limiter-Tool in der Search Console wird am 8. Januar 2024 eingestellt. Dieses Tool war
über ein Jahrzehnt langverfügbar, aber aufgrund von Verbesserungen an unserer Crawling-Logik und anderen für Publisher verfügbaren Tools hat sich sein Nutzen verringert.

Googlebot reagiert darauf, wie die Website – genauer gesagt der Server, der die Website verarbeitet – auf die HTTP-Anfragen des Googlebots reagiert. Wenn der Server beispielsweise kontinuierlich HTTP
500 Statuscodes für eine Reihe von URLs zurückgibt, verlangsamt der Googlebot das Crawling automatisch und fast sofort. Ähnlich verlangsamt sich der Googlebot automatisch, wenn die Antwortzeit für Anfragen deutlich länger wird. Wenn bei Ihnen ein ungewöhnlich starkes Crawling auftritt, das Ihre Website nicht selbst bewältigen kann, lesen Sie diesen
Hilfeartikel.

Im Gegensatz dazu hatte das Rate Limiter-Tool eine viel langsamere Wirkung; Tatsächlich kann es über einen Tag gedauert haben, bis die neuen Limits auf das Crawling angewendet wurden. Glücklicherweise mussten Website-Besitzer jedoch selten auf das Tool zurückgreifen, und diejenigen, die es taten, stellten die Crawling-Geschwindigkeit in vielen Fällen auf ein Minimum ein. Mit der Einstellung des Crawl Limiter-Tools setzen wir auch die minimale Crawling-Geschwindigkeit auf einen niedrigeren Wert herab, der mit den alten Crawling-Geschwindigkeitslimits vergleichbar ist. Das bedeutet, dass wir die Einstellungen, die einige Website-Besitzer in der Vergangenheit vorgenommen haben, bei geringem Suchinteresse weiterhin effektiv berücksichtigen und unsere Crawler die Bandbreite der Website nicht verschwenden.

Aufgrund der Fortschritte bei der automatisierten Crawl-Rate-Handhabung und um die Dinge für die Benutzer einfach zu halten, stellen wir dieses Tool in der Search Console ein. Wir behalten den Googlebot
Berichtsformular für die Meldung ungewöhnlicher Googlebot-Aktivitäten und für Notfälle bei, aber denken Sie daran, dass der schnellste Weg zur Reduzierung der Crawl-Rate darin besteht, den Googlebot durch Serverantworten zu steuern, wie in
unserer Dokumentation.

beschrieben. Wenn Sie Fragen oder Kommentare haben, schreiben Sie in unsere
Google Search Central Community.

Veröffentlicht von Gary Illyes und Nir Kalush