Crawl-delay est ignorée par Yandex depuis le 22 février 2018. Tout site qui intègre encore cette directive contient une ligne qui ne fait absolument rien.
Ce qui l’a remplacée
Le paramètre de vitesse de”، exploration dans Yandex Webmaster, sous Indexation → Vitesse de crawling. Il est automatique par défaut, calculé pour charger autant de pages que possible sans surcharger le serveur, et peut être défini manuellement par site — y compris séparément pour chaque sous-domaine.
Pourquoi ce changement est une amélioration
Une directive de fichier est statique et aveugle : elle applique le même délai que le serveur soit inactif ou en difficulté, et elle ralentit le robot même lorsqu’il y a de la capacité disponible. Le paramètre de la console est une recommandation que Yandex pèse par rapport à ce qu’il sait du site, et le mode automatique s’adapte.
Avant d’y recourir
Les recommandations de Yandex sur la vitesse de crawling s’appliquent ici : découvrez ce que le robot demande réellement avant de le ralentir. Si la charge provient de combinaisons de filtres, d’URL de session et de résultats de recherche internes — comme c’est généralement le cas —, le bon remède est Disallow ou Clean-param, qui supprime les requêtes inutiles et restitue le budget de crawl aux vraies pages. Réduire la vitesse conserve le gaspillage et ralentit tout le reste en même temps.
Nettoyage
Supprimez Crawl-delay de robots.txt lors de votre prochaine modification. Cela n’a aucun effet sur Yandex, certains autres robots l’honorent toujours, et le laisser en place suggère qu’un contrôle de vitesse existe alors qu’il n’en est rien — ce qui est exactement le genre d’hypothèse qui survit à la personne qui a écrit le fichier.
Là où une véritable limite subsiste toujours
Si le trafic des robots est un réel problème opérationnel, le paramètre de la console est le seul contrôle lié à Yandex, et il doit être configuré séparément pour le domaine principal et chaque sous-domaine. Un taux défini sur le domaine principal ne fait rien pour le sous-domaine qui est réellement sous charge.
Comment nous l'appliquons
We remove stale Crawl-delay lines when auditing, because their presence convinces teams that crawl rate is under control when it is not. The per-subdomain requirement is the detail that catches people: the load is usually on one subdomain, and the setting applied to the main domain has no effect there at all.
Services associés