La directive crawl-delay est une commande dans le fichier robots.txt d’un site Web qui indique aux robots des moteurs de recherche, en particulier Yandexbot, d’attendre un nombre de secondes désigné entre des requêtes successives. En mettant en œuvre cette directive, les webmasters gèrent les ressources du serveur plus efficacement, empêchant le bot de surcharger l’infrastructure d’hébergement pendant les périodes d’indexation intensive. Ce paramètre aide à maintenir la vitesse du site pour les visiteurs humains tout en garantissant que les moteurs de recherche accèdent toujours au contenu à un rythme soutenu.
Pourquoi devriez-vous utiliser la directive crawl-delay pour Yandex ?
Gérer la fréquence à laquelle un robot d’indexation visite votre site est un élément clé de la maintenance technique. Lorsqu’un serveur reçoit des centaines de requêtes par minute d’un robot, il doit allouer des cycles de processeur et de la mémoire pour gérer chaque processus. Pour les sites dotés de backends complexes ou de grandes bases de données, cette allocation de ressources peut entraîner des temps de réponse plus lents pour les clients réels. Yandexbot peut être très actif, et si votre serveur n’est pas configuré pour gérer une forte concurrence, vous pourriez constater une augmentation des erreurs 503 Service Unavailable.
Une fréquence d’exploration élevée est généralement bénéfique pour indexer rapidement de nouveau contenu. Cependant, la stabilité du site est plus importante. Si le serveur plante ou ralentit considérablement, l’expérience utilisateur en souffre, ce qui peut indirectement affecter vos classements. En utilisant un délai, vous fournissez un tampon qui permet au serveur de respirer entre les visites de robots. Ceci est particulièrement utile pour les sites fonctionnant sur des plans d’hébergement mutualisé ou VPS avec des ressources limitées.
Nous voyons souvent des serveurs aux prises avec des requêtes simultanées provenant de plusieurs robots. Définir un délai spécifique pour Yandexbot évite ces pics sans arrêter complètement le processus d’indexation. C’est un moyen simple mais efficace d’assurer la stabilité.
Équipe SEO Alien Road
Comment formater la directive crawl-delay dans robots.txt
La syntaxe de cette directive est simple, mais elle doit être placée dans la section correcte de votre fichier robots.txt pour être reconnue. Yandex recherche cette instruction spécifiquement sous les blocs User-agent: Yandex ou User-agent: *. La valeur représente le nombre de secondes que le robot doit attendre avant de lancer une nouvelle requête une fois la précédente terminée.
- Placez la directive sur sa propre ligne dans le fichier robots.txt.
- Utilisez un deux-points suivi d’un espace, puis de la valeur numérique.
- Assurez-vous que la valeur est un nombre entier ou décimal si le moteur le prend en charge.
- La directive doit faire partie d’un bloc User-agent spécifique pour un meilleur contrôle.
- Vérifiez qu’il n’y a pas de règles Allow ou Disallow contradictoires qui pourraient perturber l’analyseur.
Par exemple, si vous souhaitez que Yandexbot attende 5 secondes entre les requêtes, votre fichier ressemblera à ceci : User-agent: Yandex suivi de Crawl-delay: 5 sur la ligne suivante. Cela indique au robot qu’il ne peut faire qu’une seule requête toutes les cinq secondes. Si votre site compte 10 000 pages, l’exploration de l’ensemble du site prendra plus de temps, mais la charge sur votre serveur restera constamment faible.
Yandex prend-il en charge les valeurs fractionnaires pour les délais ?
Alors que de nombreux webmasters utilisent des nombres entiers comme 1, 2 ou 10, la documentation de Yandex indique que les valeurs fractionnaires sont également acceptables. Par exemple, une valeur de 0.5 signifierait un délai d’une demi-seconde, permettant deux requêtes par seconde. Il s’agit d’un paramètre plus agressif qu’une seconde complète, mais il fournit tout de même un petit écart qui peut empêcher un déluge littéral de requêtes en une seule milliseconde.
Il vaut la peine de tester différentes valeurs pour trouver le bon équilibre. Un délai trop long peut signifier que vos derniers articles de blog ou mises à jour de produits mettent des semaines à apparaître dans les résultats de recherche. Inversement, un délai trop court peut ne pas résoudre vos problèmes de performance de serveur. La plupart des sites Web de taille moyenne constatent qu’une valeur comprise entre 0.5 et 2.0 fonctionne bien pour leurs besoins.
Comment Alien Road applique la directive crawl-delay
Lors d’une mission typique, notre équipe commence par examiner les journaux de serveur et les statistiques d’exploration fournies dans les consoles de recherche. Nous recherchons des schémas où l’activité des robots est corrélée à une utilisation élevée de la mémoire ou à une latence accrue pour les utilisateurs. Alien Road utilise une approche axée sur les données pour déterminer si un délai est nécessaire ou si le serveur a simplement besoin d’une meilleure mise en cache.
- Étape 1 : Analysez les journaux du serveur pour identifier la fréquence de pointe des requêtes Yandexbot.
- Étape 2 : Comparez les temps d’exploration aux temps de réponse du serveur (TTFB) pour voir si le robot ralentit le site.
- Étape 3 : Implémentez une valeur conservatrice de Crawl-delay, telle que 2, dans le fichier robots.txt.
- Étape 4 : Surveillez le rapport Statistiques d’exploration dans Yandex Webmaster pour vous assurer que le robot visite toujours les pages essentielles.
- Étape 5 : Ajustez la valeur en fonction de la vitesse d’indexation et de la santé du serveur sur une période de 14 jours.
Par exemple, une boutique Shopify vendant des produits de luxe peut avoir des milliers de combinaisons de filtres que Yandexbot essaie d’indexer. Cela peut créer une charge massive. En appliquant un délai spécifique, nous garantissons que le site reste rapide pour les acheteurs tout en permettant à Yandex de découvrir les pages de produits les plus importantes. Nous privilégions l’expérience utilisateur car un site lent finit par perdre à la fois des clients et des classements de recherche.
Pouvez-vous utiliser les outils Yandex Webmaster à la place ?
Oui, Yandex fournit une interface graphique dans Yandex Webmaster pour définir le taux d’exploration. Celle-ci se trouve dans le menu ‘Paramètres d’indexation’. L’outil vous permet de déplacer un curseur pour indiquer la vitesse souhaitée. Cette méthode est souvent plus facile pour ceux qui ne sont pas à l’aise avec la modification de fichiers texte sur leur serveur. Cependant, la directive robots.txt est considérée comme plus définitive par de nombreux experts techniques en SEO car elle réside directement à la racine du site.
Si vous définissez à la fois une directive dans robots.txt et une valeur dans le panneau webmaster, Yandex suit généralement l’instruction du panneau car il s’agit d’un paramètre plus récent et plus direct. Nous vous recommandons d’utiliser une méthode de manière cohérente pour éviter toute confusion. Si vous avez un développeur qui gère le serveur, le fichier robots.txt est généralement le meilleur endroit pour cette configuration.
Bien que la directive soit utile, c’est un outil rudimentaire. Nous préférons la combiner avec la mise en cache côté serveur pour réduire le poids de traitement réel de chaque visite de robot. De cette façon, même si le robot visite fréquemment, le serveur n’a pas à travailler aussi dur.
Équipe SEO Alien Road
Quelles sont les erreurs courantes avec cette directive ?
Une erreur majeure est de définir un délai beaucoup trop élevé, comme 60 secondes. Un délai de 60 secondes signifie que le robot ne peut explorer que 1 440 pages par jour. Pour un grand site e-commerce de 500 000 pages, il faudrait plus d’un an pour explorer tout le site une seule fois. Cela détruit efficacement vos performances SEO. Une autre erreur est d’oublier que les différents robots ont des noms différents. Utiliser ‘User-agent: Googlebot’ avec un crawl-delay n’affectera en rien Yandex.
Les erreurs de syntaxe sont également courantes. Placer la directive en dehors d’un bloc User-agent la rend invalide. De même, utiliser une mauvaise majuscule ou orthographe — comme ‘Crawl-speed’ au lieu de ‘Crawl-delay’ — amènera Yandexbot à ignorer complètement la règle. Utilisez toujours un outil de validation pour vérifier votre fichier robots.txt après avoir apporté des modifications.
Par où commencer cette semaine
Commencez par vérifier votre compte Yandex Webmaster pour voir s’il y a des avertissements concernant la disponibilité du serveur. Si vous voyez des erreurs 5xx fréquentes pendant les temps d’exploration, c’est le signe clair que vous devez implémenter un délai. Ajoutez un simple Crawl-delay: 2 à votre fichier robots.txt sous l’agent Yandex. Surveillez les performances de votre serveur pendant trois jours pour voir si la charge du processeur se stabilise. Si vous ne constatez aucune amélioration, vous devrez peut-être examiner des optimisations plus approfondies côté serveur ou l’indexation de la base de données.