Le robot planifie ses propres visites et ajuste la charge automatiquement. Les requêtes peuvent monter en flèche lorsqu’il découvre une nouvelle section, un changement structurel ou un lot de nouvelles URL. Les conseils de Yandex sont de diagnostiquer avant de brider.
Le diagnostic
- Comparez les pages chargées avec les pages dans la recherche sur la page Mes sites. Un grand écart signifie que le robot trouve de nombreuses pages similaires ou en double qui ne devraient pas être indexées.
- Ouvrez les statistiques deexploration (Crawl) ou les journaux du serveur, et examinez ce qu’il a réellement récupéré. Faites attention aux URL avec des paramètres GET — les combinaisons de filtres telles que
?price=1,000&max_price=1,000,000, ou les URL de recherche interne telles que?search=…. Yandex souligne clairement le gaspillage : le robot explore ces URL distinctes et leur contenu identique ne peut de toute façon pas participer à la recherche.
Les deux recours, par ordre
Clean-param— dirige le robot vers l’URL canonique parmi les doublons, y transfère les métriques accumulées et permet à la charge de diminuer progressivement.Disallow— l’option rapide : le robot cesse d’accéder aux pages spécifiées dans les 24 heures suivant la modification du fichier. Utilisez-la lorsque la charge pose un problème immédiat.
Si la charge ne provient manifestement pas de pages supplémentaires
Deux options : configurez le serveur pour qu’il réponde 429 Too Many Requests, ce qui indique à Yandex que le serveur est en difficulté et qu’il réduira les requêtes ; ou définissez manuellement la vitesse d’exploration dans la console. 429 La méthode est préférable car elle est dynamique — elle s’applique lorsque le serveur est sous pression et s’arrête lorsqu’il ne l’est pas.
Sous-domaines
Yandex traite chaque sous-domaine comme un site distinct et explore chacun d’eux, de sorte que la charge globale peut augmenter sans qu’aucun site individuel ne se comporte de manière inhabituelle. Si les journaux du serveur montrent que la plupart des requêtes vont vers des sous-domaines, Yandex suggère quelque chose de plus radical que le bridage : réexaminez si les sous-domaines sont réellement nécessaires et si des sections régionales du site principal serviraient tout aussi bien les visiteurs.
Comment nous l'appliquons
The 24-hour figure for Disallow taking effect is the one to know during an incident — it is the fastest lever available. But we always look at the loaded-versus-in-search gap first, because the load is nearly always filter URLs, and blocking those returns both the capacity and the crawl budget. Configuring 429 is worth doing once on any site with a history of load problems: it is self-regulating in a way a fixed crawl rate is not.
Services associés