L’optimisation du budget de crawl robots.txt est le processus de gestion de l’accès des robots des moteurs de recherche à des parties spécifiques d’un site web afin de maximiser l’efficacité de l’indexation. Les grands sites de commerce électronique ont souvent des millions d’URL générées par des filtres, des options de tri et des ID de session qui n’apportent aucune valeur aux utilisateurs de recherche. En utilisant le fichier robots.txt pour bloquer ces chemins, vous dirigez les bots Yandex à consacrer leur temps aux descriptions de produits uniques et aux pages de catégories principales plutôt que de gaspiller des ressources sur des données redondantes. Cette méthode évite la surcharge du serveur et améliore la vitesse à laquelle les nouveaux produits apparaissent dans les résultats de recherche.
Pourquoi le budget de crawl est-il important pour les grands magasins ?
Le budget de crawl est le nombre total de pages qu’un bot de moteur de recherche décide de crawler sur votre site dans un laps de temps spécifique. Pour un catalogue en ligne massif, ce budget est une ressource finie qui doit être gérée avec soin. Si Yandex consacre toute sa visite à crawler des combinaisons de filtres de faible qualité, il pourrait ne jamais atteindre vos nouveaux arrivages ou vos listes de prix mises à jour. Cela conduit à des données obsolètes dans les résultats de recherche et à des opportunités de vente perdues.
Yandex détermine ce budget en fonction de plusieurs facteurs, notamment l’autorité de votre domaine et la vitesse de votre serveur. Lorsqu’un serveur répond lentement, le robot réduit automatiquement son taux de crawl pour éviter de faire planter le site. Par conséquent, maintenir une réponse rapide du serveur est tout aussi important que les règles que vous écrivez dans vos fichiers texte. Un site avec des milliers de paramètres générés dynamiquement peut rapidement épuiser sa capacité d’hébergement si les robots automatisés demandent chaque permutation possible sans contrôle approprié.
Comment structurer le robots.txt pour les grands catalogues e-commerce ?
Le fichier robots.txt pour un site axé sur Yandex doit être spécifique. Bien que de nombreux moteurs suivent des règles générales, Yandex prend en charge des directives uniques qui aident à gérer des structures d’URL complexes. L’étape la plus importante consiste à identifier quels répertoires sont purement fonctionnels et lesquels contiennent du contenu indexable. Les dossiers administratifs, les résultats de recherche internes et les pages de compte utilisateur doivent toujours être restreints.
L’utilisation de la directive Disallow est le moyen standard d’empêcher les bots d’entrer dans des chemins spécifiques. Cependant, pour le commerce électronique, la logique concerne souvent les paramètres plutôt que les dossiers. Vous pourriez avoir une page de catégorie qui génère des milliers de variantes basées sur des gammes de prix, des couleurs ou des tailles. Bloquer celles-ci via des règles Disallow standard peut être délicat si vous souhaitez toujours que la page de catégorie principale soit indexée. C’est là qu’une logique plus avancée devient nécessaire.
- User-agent: Yandex – Commencez par vous adresser au robot spécifique pour des règles personnalisées.
- Disallow: /admin/ – Gardez les systèmes backend privés et économisez les ressources de crawl.
- Disallow: /search/ – Empêchez l’indexation des pages de résultats de recherche internes.
- Disallow: /*?*sort= – Bloquez les paramètres de tri qui créent du contenu en double.
- Clean-param: ref / – Utilisez cette directive spécifique à Yandex pour ignorer les ID de suivi.
- Sitemap: https://example.com/sitemap.xml – Pointez toujours vers votre plan pour une découverte plus rapide.
Comment Yandex gère-t-il les paramètres d’URL redondants ?
Yandex fournit un outil spécial appelé Clean-param pour gérer les URL qui contiennent des paramètres qui ne modifient pas le contenu de la page. C’est courant avec les ID de session, les balises de référence et certains filtres de tri. Au lieu de bloquer l’URL complètement, Clean-param dit au robot de traiter plusieurs URL différentes comme une seule adresse. C’est un moyen très efficace de consolider le budget de crawl.
Par exemple, si votre page produit peut être atteinte via ‘product-123’ et ‘product-123?from=newsletter’, le robot voit deux pages différentes. En définissant ‘from’ dans la directive Clean-param, vous dites à Yandex qu’il s’agit de la même chose. Cela empêche le robot de télécharger le même contenu deux fois. Cela aide également à concentrer le poids du lien sur l’URL principale, ce qui peut améliorer sa position dans les résultats de recherche.
Gérer le budget de crawl ne consiste pas à cacher du contenu, mais à prioriser l’énergie du serveur pour les pages les plus rentables. Sur un site typique, nous voyons que 30 pour cent du budget de crawl est souvent gaspillé sur des ID de session qui auraient dû être nettoyés il y a des semaines.
Équipe SEO Alien Road
Comment Alien Road applique l’optimisation robots.txt
Notre équipe commence chaque projet par une analyse détaillée de l’état actuel de l’indexation en utilisant Yandex Webmaster. Nous regardons le groupe ‘Toutes les requêtes’ pour voir quelles URL apparaissent actuellement dans les 50 premiers résultats. Si nous constatons que beaucoup d’entre elles sont des pages de résultats de recherche ou des listes filtrées sans contenu unique, nous les marquons pour exclusion. Cela garantit que le groupe ‘Enregistré’, qui a une limite de 1 000 requêtes, est rempli de phrases commerciales à forte intention plutôt que de déchets.
Dans une mission typique pour un client e-commerce à Istanbul, nous pourrions constater qu’un site avec 10 000 produits réels a plus de 200 000 URL indexées. Cet écart suggère un gaspillage massif de ressources. Nous rédigeons un fichier robots.txt spécifique qui utilise la directive Clean-param pour gérer les paramètres de suivi sans bloquer toute la page. Nous surveillons ensuite les ‘Indicateurs de résumé’ — impressions, clics et position — sur une période de 7 jours. Ce suivi nous aide à garantir que le trafic vers les pages principales reste stable tandis que le nombre total d’URL crawlées diminue à un niveau sain.
Quelles sont les limites du fichier robots.txt ?
C’est une erreur courante de penser que robots.txt supprimera immédiatement une page de l’index. Bien qu’il empêche le bot de crawler la page, si cette page a beaucoup de liens externes, elle pourrait toujours apparaître dans les résultats de recherche comme une entrée ‘lien uniquement’. Pour supprimer complètement une page, une balise ‘noindex’ ou un code d’état 404 est souvent préférable. Robots.txt est un outil d’efficacité, pas un outil de suppression absolue.
De plus, la taille du fichier robots.txt lui-même a des limites. Yandex traite généralement les 512 premiers Ko du fichier. Si votre fichier est plus grand, le robot pourrait ignorer les règles en bas. Pour les très grands sites avec des règles complexes, il est préférable d’utiliser des caractères génériques et des modèles plutôt que de lister chaque URL. Garder le fichier simple et propre garantit que tous les bots de recherche peuvent lire et suivre les instructions sans erreur.
- Auditez les URL actuellement indexées dans Yandex Webmaster sous la section ‘Toutes les requêtes’.
- Identifiez les paramètres qui ne modifient pas le contenu de la page pour l’utilisation de Clean-param.
- Vérifiez les journaux du serveur pour voir quelles URL de faible valeur sont demandées le plus fréquemment.
- Testez les nouvelles règles robots.txt à l’aide de l’outil de validation dans le panneau Webmaster.
- Surveillez les temps de réponse du serveur pour vous assurer que la charge de crawl du bot ne provoque pas de ralentissement.
- Examinez le groupe de requêtes ‘Enregistré’ pour suivre les performances des pages commercialement clés.
Gestion des filtres et pratiques de vérification de la réponse du serveur
Réduire la charge de crawl du bot Yandex via des pratiques de vérification de la réponse du serveur implique plus que simplement bloquer des dossiers. Vous devez configurer votre serveur web pour renvoyer les codes d’état corrects. Si un produit est définitivement en rupture de stock, renvoyer un code 404 ou 410 indique au bot d’arrêter de visiter cette URL. Cela libère du budget pour les produits actifs. Si le serveur renvoie un code 200 OK pour une erreur ‘Page non trouvée’, le bot continuera de revenir, gaspillant un temps précieux.
Dans un scénario e-commerce typique, une boutique en ligne avec des milliers de paramètres de filtre générés dynamiquement peut rapidement épuiser la capacité du serveur. Chaque requête consomme des connexions de base de données et des cycles CPU. Si ces ressources sont épuisées par des robots automatisés, les vrais acheteurs humains connaîtront des temps de chargement lents, conduisant à des paniers abandonnés. Une planification d’infrastructure solide nécessite de comprendre comment ces requêtes automatisées interagissent avec votre couche applicative.
L’efficacité de l’indexation est souvent le moyen le plus rapide de voir des améliorations de classement pour le nouvel inventaire. Lorsque le bot arrête de frapper 40 000 pages de filtre mortes, il trouve vos nouveaux arrivages en quelques heures au lieu de quelques semaines.
Équipe SEO Alien Road
Actions immédiates pour votre audit SEO technique
Cette semaine, commencez par télécharger vos journaux de crawl et comparez-les à vos produits les plus vendus. Si vous voyez que le robot Yandex passe plus de temps sur d’anciennes balises promotionnelles ou des filtres de tri par prix que sur vos best-sellers, il est temps de mettre à jour votre robots.txt. Utilisez la directive Clean-param pour tous les ID de suivi et assurez-vous que votre sitemap est à jour. Surveillez quotidiennement les ‘Indicateurs de résumé’ de Webmaster pour voir comment ces changements affectent votre taux de clic moyen et votre position moyenne.
Alien Road recommande d’effectuer cette vérification une fois par mois, surtout après avoir ajouté de nouvelles gammes de produits ou modifié la structure de votre site. Une gestion cohérente du budget de crawl garantit que votre site reste sain, rapide et visible pour les clients prêts à acheter.