Verwenden Sie keine 403- oder 404-Fehler für das Rate Limiting

Freitag, 17. Februar 2023

In den letzten Monaten haben wir einen Anstieg bei Website-Inhabern und einigen Content Delivery Networks (CDNs) festgestellt, die versuchen, Folgendes zu verwenden: 404 und andere 4xx Client-Fehler (aber nicht
429), um zu versuchen, die Crawling-Rate von Googlebot zu reduzieren.

Die Kurzversion dieses Blogbeitrags lautet: Bitte tun Sie das nicht; wir haben Dokumentationen darüber,
wie man die Crawling-Rate von Googlebot reduziert. Lesen Sie stattdessen diese und erfahren Sie, wie Sie die Crawling-Rate von Googlebot effektiv verwalten.

Zurück zu den Grundlagen: 4xx Fehler sind für Client-Fehler gedacht

Die 4xx Fehler, die Server an Clients zurückgeben, sind ein Signal des Servers, dass die Anfrage des Clients in irgendeiner Weise falsch war. Die meisten Fehler in dieser Kategorie sind ziemlich harmlos: „Nicht gefunden“-Fehler, „Verboten“, „Ich bin eine Teekanne“ (ja, das gibt es). Sie deuten nicht darauf hin, dass mit dem Server selbst etwas nicht stimmt.

Die einzige Ausnahme ist 429, was für „zu viele Anfragen“ steht. Dieser Fehler ist ein klares Signal für jeden gutartigen Roboter, einschließlich unseres geliebten Googlebot, dass er langsamer werden muss, da er den Server überlastet.

Warum 4xx Fehler für das Rate Limiting von Googlebot schlecht sind (außer 429)

Client-Fehler sind genau das: Client-Fehler. Sie deuten im Allgemeinen nicht auf einen Fehler des Servers hin: weder darauf, dass er überlastet ist, noch darauf, dass er auf einen kritischen Fehler gestoßen ist und auf die Anfrage nicht antworten kann. Sie bedeuten einfach, dass die Anfrage des Clients in irgendeiner Weise schlecht war. Es gibt keine vernünftige Möglichkeit, beispielsweise einen 404 Fehler mit der Überlastung des Servers gleichzusetzen.
Stellen Sie sich vor, das wäre der Fall: Sie erhalten eine Flut von 404 Fehlern, weil Ihr Freund versehentlich auf die falschen Seiten Ihrer Website verlinkt hat, und im Gegenzug verlangsamt Googlebot das Crawling. Das wäre ziemlich schlecht. Dasselbe gilt für 403, 410, 418.

Und noch einmal, die große Ausnahme ist die 429 Statuscode, der übersetzt „zu viele Anfragen“ bedeutet.

Was das Rate Limiting mit 4xx mit Googlebot macht

Alle 4xx HTTP-Statuscodes (wiederum außer 429) führen dazu, dass Ihre Inhalte aus der Google Suche entfernt werden. Schlimmer noch, wenn Sie Ihre robots.txt-Datei ebenfalls mit einem
4xx HTTP-Statuscode ausliefern, wird sie so behandelt, als gäbe es sie nicht. Wenn Sie dort eine Regel hatten, die das Crawling Ihrer schmutzigen Wäsche untersagte, weiß Googlebot jetzt auch davon; nicht ideal für die beiden beteiligten Parteien.

So reduzieren Sie die Crawling-Rate von Googlebot auf die richtige Weise

Wir haben umfassende Dokumentationen darüber,
wie man die Crawling-Rate von Googlebot reduziert
und auch darüber,
wie Googlebot (und die Suche-Indexierung) mit den verschiedenen HTTP-Statuscodes umgeht; schauen Sie sich diese unbedingt an. Kurz gesagt, Sie möchten eines der folgenden Dinge tun:

• Verwenden Sie die Search Console, um die Crawling-Rate vorübergehend zu reduzieren.
• Geben Sie einen 500, 503, oder 429 HTTP-Statuscode an Googlebot zurück, wenn dieser zu schnell crawlt.

Wenn Sie weitere Tipps oder Klarstellungen benötigen, erreichen Sie uns auf
Twitter oder posten Sie in
unseren Hilfeforen.

Veröffentlicht von Gary Illyes