La fréquence de crawl (抓取频次) est la fréquence à laquelle Baiduspider visite le site, et la plateforme l’expose aux côtés du diagnostic de crawl et d’un rapport sur les exceptions de crawl. Lus ensemble, ces trois éléments répondent à la plupart des questions d’indexation.
Ce qui la détermine
Baidu énonce explicitement la chaîne dans ses directives sur le volume d’index : le volume et la fréquence de publication alimentent le quota du site ; lorsqu’ils baissent, la fréquence de crawl baisse en premier, et le volume d’index suit. La fréquence de crawl est donc un indicateur avancé — elle bouge avant les chiffres que quiconque rapporte.
La performance et la disponibilité du serveur l’alimentent également. Un site lent ou inaccessible par intermittence est crawlée avec plus de prudence, ce qui est le mécanisme par lequel l’hébergement bon marché devient un problème de recherche.
Les trois rapports
- Fréquence de crawl — la tendance. Une baisse sans modification des publications indique un problème de disponibilité ou de confiance.
- Diagnostic de crawl — récupérez une URL spécifique en tant que Baiduspider et voyez ce qu’il reçoit. La réponse définitive à la question “le robot peut-il lire cette page”.
- Exceptions de crawl — erreurs rencontrées lors du crawl : échecs DNS, délais de connexion dépassés, requêtes bloquées. C’est là qu’un filtre de bot ou un pare-feu rejetant Baiduspider devient visible.
L’ordre de diagnostic
- La fréquence de crawl a-t-elle baissé avant le volume de l’index ? Si oui, travaillez sur les causes liées aux quotas : taux de publication, disponibilité, confiance.
- Y a-t-il des exceptions de crawl ? Réparez l’accès avant toute autre chose — rien en aval ne compte si le robot ne peut pas atteindre le site.
- Le diagnostic de crawl affiche-t-il la page comme prévu ? Une page récupérée avec succès mais ne contenant rien de lisible est un problème de rendu, pas un problème de crawl.
Le levier qui fonctionne réellement
Ne pas demander plus de crawl, mais éliminer le gaspillage et ajouter du sens. Bloquez les combinaisons de filtres, les résultats de recherche interne et les doublons de paramètres afin que la capacité aille vers de vraies pages ; publiez de manière cohérente pour que le quota augmente ; gardez le serveur rapide et accessible pour que le robot ne soit pas freiné. Chacun de ces éléments est sous le contrôle du site, et ensemble, ils constituent ce en quoi consiste réellement la gestion du budget de crawl.
Comment nous l'appliquons
Crawl frequency is the first number we look at when anything indexing-related is reported, because it moves before index volume and before traffic. The exceptions report is where we find bot filters rejecting Baiduspider — invisible everywhere else, and the single most common reason a technically sound site is barely crawled.
Services associés