Optimisez votre budget de crawl

Ce guide décrit comment optimiser le crawl par Google des sites très volumineux et fréquemment mis à jour.

Si votre site ne contient pas un grand nombre de pages qui changent rapidement, ou si vos pages semblent être crawlées le jour même de leur publication, vous n’avez pas besoin de lire ce guide. Pour la Recherche Google spécifiquement,
garder votre sitemap à jour et
vérifier régulièrement le rapport d’indexation des pages
est suffisant.

À qui s’adresse ce guide

Bien que les recommandations de ce guide soient généralement de bonnes pratiques, il s’agit d’un guide avancé destiné principalement aux types de sites suivants :

• Grands sites (plus d’un million de pages uniques) dont le contenu change modérément souvent (une fois par semaine)
• Sites moyens ou plus grands (plus de 10 000 pages uniques) dont le contenu change très rapidement (quotidiennement)
• Sites dont une grande partie de leurs URL totales sont classées par la Search Console comme
  Détectée, actuellement non indexée

seuils exacts.

Théorie générale du crawl
Le Web est un espace presque infini, dépassant la capacité de Google à explorer chaque URL accessible au public. Par conséquent, il existe des limites au temps et aux ressources que Google peut consacrer au crawl d’un site individuel. L’allocation de ces ressources est communément appeléebudget de crawl d’un site. Dans ce contexte, l’infrastructure de crawl de Google définit un site comme un nom d'hôte unique. Par exemple, https://www.example.com/
et https://code.example.com/ sont traités comme des sites distincts et ont des budgets de crawl distincts. Le budget de crawl d’un site est déterminé par deux éléments principaux : limite de capacité de crawl
et.

et évaluée pour déterminer son adéquation à l’index.

Limite de capacité de crawl Google souhaite crawler votre site sans surcharger vos serveurs. Pour éviter cela, les robots de Google calculent une limite de capacité de crawl
(également connue sous le nom dehostload

). Cela limite le temps total que votre serveur passe à maintenir des connexions ouvertes pour Google, en tenant compte à la fois du nombre de connexions parallèles et de leur durée. Cela garantit que Google peut couvrir tout votre contenu important sans surcharger vos serveurs.

Chaque site commence avec la même limite de capacité de crawl par défaut, conservatrice. S’il y a une demande pour crawler davantage et que le site reste sain, les systèmes de Google ajusteront automatiquement cette limite au fil du temps.

• La limite de capacité de crawl peut augmenter ou diminuer en fonction de quelques facteurs : Santé du crawl :Si le site répond de manière cohérente et que ses temps de réponse (y compris la latence et le temps jusqu'au premier octet) restent stables ou s'améliorent, la limite augmente, ce qui signifie que davantage de connexions peuvent être utilisées pour le crawl. Si le site ralentit (la latence augmente ou les temps de réponse deviennent plus longs), ou répond avec des erreurs de serveur ( 5xx HTTP codes d'état) ou des signaux de limitation de débit (tels queHTTP 429
• ), la limite diminue et Google crawle moins. Limites de crawl de Google :

Bien que les ressources de Google soient étendues, elles sont finies et nous devons prioriser l’allocation des ressources sur l’ensemble du Web.

Demande de crawl

Chaque robot a sa propre “demande” lorsqu’il s’agit de crawler le Web, déterminée par des facteurs uniques à ce robot. Par exemple, AdsBot a généralement une demande plus élevée lorsqu’un site exécute des cibles d’annonces dynamiques, et Google Shopping a une demande plus élevée pour les produits que vous avez dans vos flux marchands. PourGooglebot

• , la demande varie en fonction de la taille d’un site, de la fréquence de mise à jour, de la qualité des pages et de la pertinence, par rapport à d’autres sites. Les principaux facteurs sur lesquels vous pouvez influer sont : Inventaire perçu :
• Sans vos conseils, Google essaie de crawler toutes ou la plupart des URL qu’il connaît sur votre site. Si beaucoup de ces URL sont des doublons, ou si vous ne voulez pas qu’elles soient crawlées pour une autre raison (supprimées, sans importance, etc.), cela gaspille beaucoup de temps de crawl de Google sur votre site. C’est le facteur que vous pouvez contrôler le plus positivement. Popularité :
• Les URL qui sont plus populaires sur Internet ont tendance à être crawlées plus souvent pour les garder plus fraîches dans nos systèmes. Obsolescence :

Nos systèmes veulent recrawler les documents assez souvent pour détecter tout changement.

est partagée entre tous les robots. Cela signifie qu’une forte demande d’un robot peut réduire la capacité disponible pour les autres.

Résumé

En prenant la capacité de crawl et la demande de crawl ensemble, Google définit le budget de crawl d’un site comme l’ensemble des URL que Google peut et veut crawler. Même si la limite de capacité de crawl n’est pas atteinte, si la demande de crawl est faible, Google crawlera moins votre site.

Meilleures pratiques

• Pour maximiser votre efficacité de crawl, suivez ces meilleures pratiques : Gérez votre inventaire d’URL :
  • Utilisez les outils appropriés pour dire à Google quelles pages crawler et lesquelles ne pas crawler. Si Google passe trop de temps à crawler des URL qu’il ne devrait pas, les robots de Google pourraient ne pas explorer le reste de votre site, ou pourraient ne pas augmenter votre budget de crawl..
    Consolidez le contenu en double
  • Éliminez le contenu en double pour concentrer le crawl sur un contenu unique plutôt que sur des URL uniques.Bloquez le crawl des URL à l’aide de robots.txt
    . Certaines pages peuvent être importantes pour les utilisateurs, mais vous ne voulez peut-être pas qu’elles apparaissent sur les surfaces Google ou qu’elles soient retraitées par les systèmes de Google. Les exemples incluent les pages à défilement infini qui dupliquent des informations sur des pages liées, ou des versions triées différemment de la même page. Si vous ne pouvez pas les consolider comme décrit dans le premier point, bloquez ces pages sans importance à l’aide derobots.txt
  • Renvoyez un 404 404 410 ou
    410 404 code d’état pour les pages supprimées définitivement.
  • Google n’oubliera pas une URL qu’il connaît, mais un 410 code d’état est un signal fort pour ne plus crawler cette URL. Les URL bloquées, cependant, resteront dans votre file d’attente de crawl beaucoup plus longtemps et seront recrawlées lorsque le blocage sera supprimé..
    Éliminez les soft 404
    erreurs
    soft 404 les pages continueront d'être crawlées et gaspilleront votre budget. Vérifiez le Rapport d’indexation des pages
  • pour les soft 404 erreurs. Gardez vos sitemaps à jour.
  • Google lit régulièrement votre sitemap, alors assurez-vous d’inclure tout le contenu que vous souhaitez que Google crawl. Si votre site inclut du contenu mis à jour, nous vous recommandons d’inclure la<lastmod>
• balise..
  Évitez les longues chaînes de redirection
  • , qui ont un effet négatif sur le crawl. Rendez vos pages efficaces à charger
  • Si Google peut charger et rendre vos pages plus rapidement, nous pourrons peut-être lire plus de contenu de votre site. Améliorez la vitesse de chargement :
    Optimisez les temps de réponse de votre serveur et les ressources pour que les pages se chargent plus rapidement. Utilisez la mise en cache HTTP :Prenez en charge les 304 304 (Non modifié)
• codes d’état HTTP.
  . Si une page n’a pas changé depuis le dernier crawl de Google, renvoyer un

304

code indique à Google de réutiliser la version mise en cache, économisant ainsi la bande passante et les ressources de votre serveur.

• Dépannez les problèmes de budget de crawlVérifiez si votre site a eu des problèmes de disponibilité pendant le crawl et cherchez des moyens de rendre votre crawl plus efficace.
  Comment obtenir plus de budget de crawl ?
  Il existe deux façons d’augmenter le budget de crawl :
• Ajoutez plus de ressources serveur: Si votre site ne peut pas être crawlé en raison de la capacité du serveur de votre côté (par exemple, vous recevez