Lundi 16 janvier 2017
Récemment, nous avons entendu un certain nombre de définitions du « budget de crawl » (crawl budget). Cependant, nous n’avons pas de terme unique qui décrirait tout ce que représente le « budget de crawl » en externe. Avec cet article, nous allons clarifier ce que nous avons réellement et ce que cela signifie pour Googlebot.
Tout d’abord, nous tenons à souligner que le budget de crawl, tel qu’il est décrit ci-dessous, n’est pas quelque chose dont la plupart des éditeurs doivent s’inquiéter. Si les nouvelles pages ont tendance à être cravélées le jour même de leur publication, le budget de crawl n’est pas un élément sur lequel les webmestres doivent se concentrer. De même, si un site compte moins de quelques milliers d’URL, la plupart du temps, il sera crawlé efficacement.
Donner la priorité à ce qu’il faut crawler, quand et combien de ressources le serveur hébergeant le site peut allouer au crawl est plus important pour les grands sites, ou ceux qui génèrent automatiquement des pages en fonction de paramètres d’URL, par exemple.
Limite de vitesse de crawl
Googlebot est conçu pour être un bon citoyen du web. Le crawl est sa priorité absolue, tout en s’assurant de ne pas dégrader l’expérience des utilisateurs visitant le site. C’est ce que nous appelons la « limite de vitesse de crawl » (crawl rate limit), qui limite le taux de récupération maximal pour un site donné.
En termes simples, cela représente le nombre de connexions parallèles simultanées que Googlebot peut utiliser pour crawler le site, ainsi que le temps qu’il doit attendre entre les récupérations. La vitesse de crawl peut augmenter ou diminuer en fonction de quelques facteurs :
- Santé du crawl: Si le site répond très rapidement pendant un certain temps, la limite augmente, ce qui signifie que davantage de connexions peuvent être utilisées pour le crawl. Si le site ralentit ou répond par des erreurs de serveur, la limite diminue et Googlebot crawle moins.
- Limite définie dans
Search Console: Les propriétaires de sites web peuvent réduire le crawl de leur site par Googlebot. Notez que la définition de limites plus élevées n’augmente pas automatiquement le crawl.
Demande de crawl
Même si la limite de vitesse de crawl n’est pas atteinte, s’il n’y a pas de demande d’indexation, l’activité de Googlebot sera faible. Les deux facteurs qui jouent un rôle important dans la détermination de la demande de crawl sont :
- Popularité: Les URL qui sont plus populaires sur Internet ont tendance à être crawlées plus souvent pour les garder plus fraîches dans notre index.
- Obsolescence: Nos systèmes tentent d’empêcher que les URL ne deviennent obsolètes dans l’index.
De plus, des événements à l’échelle du site, tels que des refontes ou migrations de sites, peuvent déclencher une augmentation de la demande de crawl afin de réindexer le contenu sous les nouvelles URL.
En combinant la vitesse de crawl et la demande de crawl, nous définissons le budget de crawl comme le nombre d’URL que Googlebot peut et veut crawler.
Facteurs affectant le budget de crawl
Selon notre analyse, avoir de nombreuses URL à faible valeur ajoutée peut affecter négativement le crawl et l’indexation d’un site. Nous avons constaté que les URL à faible valeur ajoutée se répartissent dans ces catégories, par ordre d’importance :
- Navigation à facettes et
identifiants de session - Contenu dupliqué sur le site
- Pages d’erreur logicielle (soft 404)
- Pages piratées
- Espaces infinis et proxys
- Contenu de faible qualité et spam
Gaspiller des ressources de serveur sur des pages de ce type drainera l’activité de crawl des pages qui ont réellement de la valeur, ce qui peut entraîner un retard important dans la découverte de superbes contenus sur un site.
Principales questions
Le crawl est le point d’entrée des sites dans les résultats de recherche de Google. Un crawl efficace d’un site web aide à son indexation dans la recherche Google.
La vitesse du site affecte-t-elle mon budget de crawl ? Qu’en est-il des erreurs ?
Rendre un site plus rapide améliore l’expérience des utilisateurs tout en augmentant la vitesse de crawl. Pour Googlebot, un site rapide est le signe de serveurs en bonne santé, il peut donc récupérer plus de contenu sur le même nombre de connexions. D’un autre côté, un nombre important d’erreurs 5xx ou de délais d’attente de connexion (timeouts) signalent le contraire, et le crawl ralentit.
Nous vous recommandons de prêter attention au
rapport sur les erreurs de crawl dans Search Console
et de maintenir le nombre d’erreurs de serveur à un niveau bas.
Le crawl est-il un facteur de classement ?
Une vitesse de crawl accrue ne conduira pas nécessairement à de meilleures positions dans les résultats de recherche. Google utilise des centaines de signaux pour classer les résultats, et bien que le crawl soit nécessaire pour figurer dans les résultats, ce n’est pas un signal de classement.
Les URL alternatives et le contenu intégré comptent-ils dans le budget de crawl ?
En général, toute URL que Googlebot crawle comptera dans le budget de crawl d’un site. Les URL alternatives, telles que AMP ou hreflang, ainsi que le contenu intégré, tel que CSS et JavaScript, y compris les appels AJAX (comme XHR), peuvent devoir être crawlés et consommeront le budget de crawl d’un site. De même, les longues chaînes de redirection peuvent avoir un effet négatif sur le crawl.
Puis-je contrôler Googlebot avec la règle crawl-delay ?
La règle robots.txt non standard crawl-delay n’est pas traitée par Googlebot.
La règle nofollow affecte-t-elle le budget de crawl ?
Cela dépend. Toute URL qui est crawlée affecte le budget de crawl, donc même si votre page marque une URL comme nofollow , elle peut toujours être crawlée si une autre page de votre site, ou n’importe quelle page du web, ne qualifie pas le lien de nofollow.
Est-ce que les URL que j’ai bloquées via robots.txt affectent mon budget de crawl d’une manière ou d’une autre ?
Non, les URL bloquées n’affectent pas le budget de crawl.
Pour plus d’informations sur la façon d’optimiser le crawl de votre site, jetez un œil à notre article de blog sur
l’optimisation du crawl
datant de 2009 et qui est toujours d’actualité. Si vous avez des questions, posez-les sur les
forums!
Comment nous l'appliquons
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Services associés