Crawling infrastructure

Comment les codes d'état HTTP affectent les robots d'exploration de Google

Cette page décrit comment différents
codes d’état HTTP, ont un impact sur la capacité de Google à explorer votre contenu Web. Nous couvrons les 20 principaux codes d’état que Google rencontre sur le Web. Les codes d’état plus exotiques, tels que
418 (I'm a teapot), ne sont pas couverts.

Codes d’état HTTP

Les codes d’état HTTP sont générés par le serveur qui héberge le site lorsqu’il répond à une demande effectuée par un client, par exemple un navigateur ou un robot d’exploration. Chaque code d’état HTTP a une signification différente, mais souvent le résultat de la demande est le même. Par exemple, il existe plusieurs codes d’état qui signalent une redirection, mais leur résultat est identique.

Comment les codes d'état HTTP affectent les robots d'exploration de Google

La Search Console génère des messages d’erreur pour les codes d’état dans la 4xx—5xx plage, et pour les redirections ayant échoué (3xx). Si le serveur a répondu avec un
2xx code d’état, le contenu reçu dans la réponse peut être pris en compte pour l’indexation.

Le tableau suivant contient les codes d’état HTTP les plus rencontrés par Google et une explication sur la façon dont Google gère chaque code d’état.

Codes d’état HTTP

2xx (succès)

Google prend en compte le contenu pour le traitement (par exemple, dans le cas de la recherche Google, pour l’indexation). Si le contenu suggère une erreur pour la recherche Google, une page vide ou un message d’erreur, la Search Console affichera une
soft 404 erreur.

Comment les codes d'état HTTP affectent les robots d'exploration de Google — 2
200 (succès)

Google transmet tout ce qu’il a reçu à l’étape de traitement suivante (qui est spécifique au produit). Pour la recherche Google, le système suivant est le pipeline d’indexation. Les systèmes d’indexation peuvent indexer le contenu, mais ce n’est pas garanti.

201 (créé)
202 (accepté)

Google attend le contenu pendant une durée limitée, puis transmet tout ce qu’il a reçu à l’étape de traitement suivante (qui est spécifique au produit). Le délai d’attente dépend de l’agent utilisateur, par exemple Googlebot Smartphone peut avoir un délai d’attente différent de Googlebot Image.

204 (aucun contenu)

Google n’a pu recevoir aucun contenu et ne peut donc pas le traiter.

3xx (redirection)

Par défaut, les robots d’exploration de Google suivent jusqu’à 10 sauts de redirection. Cependant, les robots d’exploration de produits spécifiques peuvent avoir des limites différentes. Par exemple, Googlebot suit généralement 10 sauts de redirection lors de l’exploration de contenu Web général, mais les outils d’inspection Google ne suivent pas les redirections.

Tout contenu que Google reçoit de l’URL de redirection est ignoré, et le contenu de l’URL cible finale est traité à la place. Pour les fichiers robots.txt, apprenez comment
Google gère un robots.txt qui renvoie un 3xx code d’état.

301 (déplacé définitivement)

Google suit la redirection, et les systèmes Google utilisent la redirection comme un
fort signal que la cible de la redirection doit être traitée.

302 (trouvé)

Par défaut, les robots d’exploration de Google suivent la redirection, et les systèmes Google utilisent la redirection comme un
faible signal que la cible de la redirection doit être traitée. D’autres produits peuvent gérer la redirection différemment.

303 (voir autre)
304 (non modifié)

Les robots d’exploration de Google signalent au système de traitement suivant que le contenu est le même que lors de la dernière exploration. Dans le cas de la recherche Google, le pipeline d’indexation peut recalculer les signaux pour l’URL, mais sinon, le code d’état n’a aucun effet sur l’indexation.

307 (redirection temporaire)Équivalent à 302.
308 (déplacé définitivement)Équivalent à 301.

4xx (erreurs client)

Google n’utilise pas le contenu des URL qui renvoient des 4xx codes d’état. Si une URL a été utilisée précédemment mais renvoie maintenant un 4xx code d’état, les systèmes Google cesseront d’utiliser l’URL au fil du temps. Dans le cas de la recherche Google, Google n’indexe pas les URL qui renvoient un 4xx code d’état, et les URL qui sont déjà indexées et renvoient un 4xx code d’état sont supprimées de l’index.

Tout contenu que Google reçoit des URL qui renvoient un 4xx code d’état est ignoré.

400 (mauvaise demande)

Tous les 4xx erreurs, sauf 429, sont traitées de la même manière : les robots d’exploration de Google informent le système de traitement suivant que le contenu n’existe pas.

Dans le cas de la recherche Google, le pipeline d’indexation supprime l’URL de l’index si elle était précédemment indexée. Les pages nouvellement rencontrées 404 ne sont pas traitées. La fréquence d’exploration diminue progressivement.

401 (non autorisé)
403 (interdit)
404 (non trouvé)
410 (disparu)
411 (longueur requise)
429 (trop de requêtes)

Les robots d’exploration de Google traitent le 429 code d’état comme un signal indiquant que le serveur est surchargé, et cela est considéré comme une erreur de serveur.

5xx (erreurs de serveur)

5xx et 429 les erreurs de serveur incitent les robots d’exploration de Google à ralentir temporairement l’exploration. Pour la recherche Google, les URL déjà indexées sont conservées dans l’index, mais finissent par être supprimées.

5xx code d'état est ignoré. Pour les fichiers robots.txt, apprenez comment Google gère un robots.txt qui renvoie un
5xx code d'état Une fois que le serveur commence à répondre avec un.

2xx code d'état, Google augmente progressivement la fréquence d'exploration du site. 500 (erreur interne du serveur)

Google diminue la fréquence d'exploration du site. La diminution de la fréquence d'exploration est proportionnelle au nombre d'URL individuelles qui renvoient une erreur de serveur. Pour la recherche Google, le pipeline d'indexation de Google supprime de l'index les URL qui renvoient systématiquement une erreur de serveur.

502 (mauvaise passerelle)

503 (service indisponible)
Comment les codes d'état HTTP affectent les robots d'exploration de Google | Alien Road
Alien Road

Comment nous l'appliquons

Status codes are instructions to Google, and clients use them loosely. A soft 404, a 302 that should be a 301 and a 503 left in place too long each produce a different and predictable indexing outcome.

Services associés

Partager