Réduire le taux de crawl de Google

L’infrastructure de crawl de Google dispose d’algorithmes sophistiqués pour déterminer le taux de crawl optimal pour un site. Notre objectif est de crawler autant de pages de votre site que possible à chaque visite sans surcharger votre serveur. Dans certains cas, le crawl de votre site par Google pourrait causer une charge critique sur votre infrastructure ou entraîner des coûts indésirables lors d’une panne. Pour atténuer cela, vous pouvez décider de réduire le nombre de requêtes effectuées par les crawlers de Google.

Comprendre la cause de la forte augmentation du crawl

Une forte augmentation du crawl peut être causée par des inefficacités dans la structure de votre site ou par d’autres problèmes liés à votre site. D’après les rapports que nous avons reçus par le passé, les causes les plus courantes sont :

• Configuration inefficace des URL sur le site, généralement causée par une fonctionnalité spécifique du site :
  • Navigation à facettes ou autre fonctionnalité de tri et de filtrage du site
  • Un calendrier avec beaucoup d’URL pour des dates spécifiques
• Une cible d’annonces dynamiques du réseau de recherche

Nous vous recommandons vivement de vérifier auprès de votre société d’hébergement et de consulter les journaux d’accès récents de votre serveur pour comprendre la source du trafic et voir si elle correspond aux causes courantes susmentionnées de la forte augmentation du crawl. Ensuite, consultez nos guides sur
la gestion du crawl des URL de navigation à facettes
et
l’optimisation de l’efficacité du crawl.

Réduire d’urgence le trafic des crawlers (pour les urgences)

Si vous devez réduire d’urgence le taux de crawl pour une courte période (par exemple, quelques heures ou 1-2 jours), revenez 500, 503, ou 429 code d’état de réponse HTTP au lieu de 200 aux requêtes de crawl. L’infrastructure de crawl de Google réduit le taux de crawl de votre site lorsqu’elle rencontre un nombre important d’URL avec 500, 503, ou 429 codes d’état de réponse HTTP (par exemple, si vous
avez désactivé votre site web). Le taux de crawl réduit affecte l’ensemble du nom d’hôte de votre site (par exemple,
subdomain.example.com), à la fois le crawl des URL qui renvoient des erreurs et celui des URL qui renvoient du contenu. Une fois que le nombre de ces erreurs est réduit, le taux de crawl recommencera automatiquement à augmenter.

Requêtes exceptionnelles pour réduire le taux de crawl

Si servir des erreurs aux crawlers de Google n’est pas réalisable sur votre infrastructure,
déposez une demande spéciale
pour signaler un problème avec un taux de crawl anormalement élevé, en mentionnant le taux optimal pour votre site dans votre demande. Vous ne pouvez pas demander une augmentation du taux de crawl, et il peut falloir plusieurs jours pour que la demande soit évaluée et satisfaite.