Le budget de crawl est l’intersection de deux éléments : la limite de la fréquence de crawl (la quantité que Google peut récupérer sans surcharger votre serveur) et la demande de crawl (la quantité que Google souhaite récupérer, en fonction de la popularité et de l’obsolescence).
Qui doit réellement s’en soucier
Google indique clairement que la plupart des sites n’en ont pas besoin. Il devient pertinent pour les sites comportant plus d’environ un million d’URL qui changent régulièrement, ou les sites de taille moyenne (plus de 10 000 URL) dont le contenu change très fréquemment. En deçà, si les pages ne sont pas indexées, la cause relève presque toujours de la qualité ou de la découvrabilité plutôt que du budget.
Ce qui le gaspille
- La navigation à facettes générant des combinaisons d’URL sans fin
- Les ID de session et les paramètres de suivi dans les URL
- Les soft 404 qui renvoient un code 200
- Les calendriers infinis et les archives paginées sans fin
- Le contenu dupliqué via des variations de paramètres
Alien Road recommande : avant d’optimiser le budget de crawl, vérifiez les journaux du serveur. Nous demandons les logs bruts pour chaque projet de grand site car ils montrent ce que Googlebot a réellement demandé, et dans la plupart des cas, le crawl est gaspillé sur des URL de paramètres dont personne ne soupçonnait l’existence. Résoudre ce problème est plus rapide et plus sûr que n’importe quelle directive que vous pourriez ajouter.
Comment nous l'appliquons
Crawl budget matters on large sites and is a distraction on small ones. Our threshold matches Google’s: below roughly ten thousand URLs we do not touch it, and above that we start with server logs rather than with crawl-budget theories.
Services associés