N'utilisez pas de 403 ou de 404 pour la limitation du taux de requêtes

Vendredi 17 février 2023

Au cours des derniers mois, nous avons constaté une augmentation du nombre de propriétaires de sites Web et de certains réseaux de diffusion de contenu (CDN) essayant d’utiliser 404 et d’autres 4xx erreurs client (mais pas
429) pour tenter de réduire la vitesse d’exploration de Googlebot.

La version courte de cet article de blog est : veuillez ne pas faire cela ; nous avons de la documentation sur
comment réduire la vitesse d’exploration de Googlebot. Lisez plutôt celle-ci et apprenez à gérer efficacement la vitesse d’exploration de Googlebot.

Retour aux sources : 4xx les erreurs sont destinées aux erreurs client

Les 4xx erreurs que les serveurs renvoient aux clients sont un signal du serveur indiquant que la requête du client était incorrecte d’une certaine manière. La plupart des erreurs de cette catégorie sont plutôt bénignes : erreurs “non trouvé”, “interdit”, “je suis une théière” (oui, cela existe). Elles ne suggèrent rien de louche concernant le serveur lui-même.

La seule exception est 429, qui signifie “trop de requêtes”. Cette erreur est un signal clair pour tout robot bien élevé, y compris notre cher Googlebot, qu’il doit ralentir car il surcharge le serveur.

Pourquoi 4xx les erreurs sont mauvaises pour limiter le taux de requêtes de Googlebot (sauf 429)

Les erreurs client sont exactement cela : des erreurs client. Elles ne suggèrent généralement pas une erreur du serveur : ni qu’il est surchargé, ni qu’il a rencontré une erreur critique et est incapable de répondre à la requête. Elles signifient simplement que la requête du client était mauvaise d’une manière ou d’une autre. Il n’y a aucun moyen sensé d’assimiler par exemple une 404 erreur au fait que le serveur est surchargé.
Imaginez que ce soit le cas : vous recevez un afflux de 404 erreurs parce que votre ami a accidentellement fait un lien vers les mauvaises pages de votre site, et en retour, Googlebot ralentit son exploration. Ce serait plutôt mauvais. Il en va de même pour 403, 410, 418.

Et encore une fois, la grande exception est le 429 code d’état, qui se traduit par “trop de requêtes”.

Ce que la limitation du taux de requêtes avec 4xx fait à Googlebot

Tous 4xx les codes d’état HTTP (encore une fois, sauf 429) entraîneront la suppression de votre contenu de la recherche Google. Pire encore, si vous servez également votre fichier robots.txt avec un
4xx code d’état HTTP, il sera traité comme s’il n’existait pas. Si vous aviez une règle interdisant l’exploration de votre linge sale, Googlebot le sait désormais aussi ; ce n’est formidable pour aucune des parties concernées.

Comment réduire la vitesse d’exploration de Googlebot, de la bonne manière

Nous avons une documentation approfondie sur
comment réduire la vitesse d’exploration de Googlebot
et aussi sur
comment Googlebot (et l’indexation de la recherche) gère les différents codes d’état HTTP; assurez-vous de les consulter. En bref, vous souhaitez faire l’une de ces choses :

• Utilisez la Search Console pour réduire temporairement la vitesse d’exploration.
• Renvoyez un 500, 503, ou 429 code d’état HTTP à Googlebot lorsqu’il explore trop rapidement.

Si vous avez besoin de plus de conseils ou de clarifications, contactez-nous sur
Twitter ou publiez dans
nos forums d’aide.

Publié par Gary Illyes