La fréquence d’exploration est le nombre de requêtes par seconde que le robot effectue sur votre site. Elle est définie automatiquement par défaut, et l’algorithme de Yandex vise à charger autant de pages que possible sans surcharger le serveur. Elle doit être configurée séparément pour le domaine principal et chaque sous-domaine.
Avant de la réduire
Yandex demande d’abord un diagnostic, et cet ordre est délibéré. Si le trafic du robot nuit au serveur, découvrez ce que le robot demande :
- Lisez les journaux du serveur.
- Ouvrez Indexation → Statistiques d’exploration avec la vue Toutes les pages et recherchez les pages de service et les doublons — généralement des URL avec des paramètres GET.
Si le robot consacre son budget à des combinaisons de filtres et à des URL de session, la solution correcte est Disallow dans robots.txt, vérifiée à l’aide de l’outil d’analyse robots.txt — et non une fréquence d’exploration plus basse. Réduire la fréquence traite le symptôme et ralentit les pages que vous souhaitez réellement voir indexées. Cette distinction constitue tout le contenu de la page.
L’augmenter
La valeur est une recommandation. Yandex indique clairement que la fréquence réelle peut différer, en fonction de ce qu’il sait du site. Un nombre plus élevé n’achète pas une indexation plus rapide sur un site que le robot n’a aucune raison d’explorer plus intensément.
Comment la définir
Indexation → Fréquence d’exploration, activez Définir manuellement, déplacez le curseur — il commence à l’optimum calculé — et enregistrez.
Quand le mode manuel est justifié
Hébergement mutualisé où le trafic des robots augmente sensiblement les temps de réponse, événement planifié où la marge de manœuvre compte, ou un site derrière une couche de limitation de débit qui commence à renvoyer des erreurs sous la charge d’exploration. En dehors de ces cas, le réglage automatique est préférable, et une valeur manuelle définie il y a des années et oubliée constitue une limite silencieuse à la rapidité avec laquelle de nouvelles pages sont découvertes.
Comment nous l'appliquons
The first thing we check when a client asks us to slow the robot down is what it is actually fetching, because it is nearly always filter and parameter URLs rather than real pages. Blocking those returns both the server load and the crawl budget; lowering the rate returns only the load, and costs indexing speed on the pages that matter. We also make a point of looking for a manual rate someone set during a long-forgotten incident.
Services associés