Wie HTTP-Statuscodes die Crawler von Google beeinflussen
Diese Seite beschreibt, wie verschiedene HTTP-Statuscodes, die Fähigkeit von Google beeinträchtigen, Ihre Webinhalte zu crawlen. Wir behandeln die 20 wichtigsten Statuscodes, auf die Google im Web stößt. Exotischere Statuscodes wie 418 (I'm a teapot), werden nicht behandelt.
HTTP-Statuscodes
HTTP-Statuscodes werden von dem Server generiert, der die Website hostet, wenn er auf eine Anfrage eines Clients reagiert, zum Beispiel eines Browsers oder eines Crawlers. Jeder HTTP-Statuscode hat eine andere Bedeutung, aber oft ist das Ergebnis der Anfrage dasselbe. Zum Beispiel gibt es mehrere Statuscodes, die eine Weiterleitung signalisieren, aber ihr Ergebnis ist identisch.
Die Search Console generiert Fehlermeldungen für Statuscodes im 4xx—5xx Bereich und für fehlgeschlagene Weiterleitungen (3xx). Wenn der Server mit einem 2xx Statuscode geantwortet hat, kann der in der Antwort erhaltene Inhalt für die Indexierung in Betracht gezogen werden.
Die folgende Tabelle enthält die am häufigsten von Google angetroffenen HTTP-Statuscodes und eine Erklärung, wie Google mit jedem Statuscode umgeht.
HTTP-Statuscodes
2xx (Erfolg)
Google zieht den Inhalt für die Verarbeitung in Betracht (zum Beispiel im Fall der Google Suche für die Indexierung). Wenn der Inhalt für die Google Suche einen Fehler, eine leere Seite oder eine Fehlermeldung nahelegt, zeigt die Search Console einen soft 404 Fehler an..
200 (Erfolg)
Google leitet alles, was es erhalten hat, an den nächsten Verarbeitungsschritt weiter (der produktspezifisch ist). Für die Google Suche ist das nächste System die Indexierungs-Pipeline. Die Indexierungssysteme können den Inhalt indexieren, aber das ist nicht garantiert.
201 (erstellt)
202 (akzeptiert)
Google wartet für eine begrenzte Zeit auf den Inhalt und leitet dann alles, was es erhalten hat, an den nächsten Verarbeitungsschritt weiter (der produktspezifisch ist). Das Timeout ist vom User-Agent abhängig, zum Beispiel kann Googlebot Smartphone ein anderes Timeout haben als Googlebot Image.
204 (kein Inhalt)
Google konnte keinen Inhalt empfangen und kann ihn daher nicht verarbeiten.
3xx (Weiterleitung)
Standardmäßig folgen die Crawler von Google bis zu 10 Weiterleitungshops. Die Crawler spezifischer Produkte können jedoch andere Limits haben. Zum Beispiel folgt Googlebot beim Crawlen von allgemeinen Webinhalten im Allgemeinen 10 Weiterleitungshops, aber die Google Inspection Tools folgen keinen Weiterleitungen.
Google folgt der Weiterleitung, und Google-Systeme verwenden die Weiterleitung als starkes Signal, dass das Weiterleitungsziel verarbeitet werden sollte.
302 (gefunden)
Standardmäßig folgen die Crawler von Google der Weiterleitung, und Google-Systeme verwenden die Weiterleitung als schwaches Signal, dass das Weiterleitungsziel verarbeitet werden sollte. Andere Produkte können die Weiterleitung anders handhaben.
303 (siehe andere)
304 (nicht modifiziert)
Google-Crawler signalisieren dem nächsten Verarbeitungssystem, dass der Inhalt derselbe ist wie beim letzten Crawling. Im Fall der Google Suche kann die Indexierungs-Pipeline Signale für die URL neu berechnen, aber ansonsten hat der Statuscode keine Auswirkungen auf die Indexierung.
307 (vorübergehende Weiterleitung)
Entspricht 302.
308 (dauerhaft verschoben)
Entspricht 301.
4xx (Client-Fehler)
Google verwendet nicht den Inhalt von URLs, die 4xx Statuscodes zurückgeben. Wenn eine URL zuvor verwendet wurde, aber jetzt einen 4xx Statuscode zurückgibt, werden Google-Systeme die URL im Laufe der Zeit nicht mehr verwenden. Im Fall der Google Suche indexiert Google keine URLs, die einen 4xx Statuscode zurückgeben, und URLs, die bereits indexiert sind und einen 4xx Statuscode zurückgeben, werden aus dem Index entfernt.
Jeglicher Inhalt, den Google von URLs erhält, die einen 4xx Statuscode zurückgeben, wird ignoriert.
400 (ungültige Anfrage)
Alle 4xx Fehler, außer 429, werden gleich behandelt: Google-Crawler informieren das nächste Verarbeitungssystem, dass der Inhalt nicht existiert.
Im Fall der Google Suche entfernt die Indexierungs-Pipeline die URL aus dem Index, falls sie zuvor indexiert war. Neu angetroffene 404 Seiten werden nicht verarbeitet. Die Crawling-Frequenz nimmt allmählich ab.
401 (nicht autorisiert)
403 (verboten)
404 (nicht gefunden)
410 (verschwunden)
411 (Länge erforderlich)
429 (zu viele Anfragen)
Die Crawler von Google behandeln den 429 Statuscode als Signal, dass der Server überlastet ist, und dies wird als Serverfehler betrachtet.
5xx (Serverfehler)
5xx und 429 Serverfehler veranlassen die Crawler von Google dazu, das Crawling vorübergehend zu verlangsamen. Für die Google Suche bleiben bereits indexierte URLs im Index erhalten, werden aber schließlich entfernt.
2xx Statuscode antwortet, erhöht Google die Crawl-Rate für die Website schrittweise. 500 (interner Serverfehler)
Google verringert die Crawl-Rate für die Website. Die Verringerung der Crawl-Rate ist proportional zur Anzahl der einzelnen URLs, die einen Serverfehler zurückgeben. Für die Google Suche entfernt die Indexierungspipeline von Google URLs aus dem Index, die dauerhaft einen Serverfehler zurückgeben.
502 (ungültiges Gateway)
503 (Dienst nicht verfügbar)
Wie HTTP-Statuscodes die Crawler von Google beeinflussen | Alien Road
Alien Road
So setzen wir das um
Status codes are instructions to Google, and clients use them loosely. A soft 404, a 302 that should be a 301 and a 503 left in place too long each produce a different and predictable indexing outcome.
