Robots Refresher: robots.txt — un moyen flexible de contrôler la façon dont les machines explorent votre site web

Vendredi 7 mars 2025

Outil de longue date pour les propriétaires de sites web, robots.txt est utilisé activement depuis plus de 30 ans et est largement pris en charge par les opérateurs de robots d’exploration (tels que les outils pour propriétaires de sites, les services et les moteurs de recherche). Dans cette édition de la série de rafraîchissements des robots, nous examinerons de plus près robots.txt comme un moyen flexible d’indiquer aux robots ce que vous voulez qu’ils fassent (ou ne fassent pas) sur votre site web.

Commencer avec robots.txt

La façon dont ces fichiers fonctionnent est simple : vous créez un fichier texte nommé “robots.txt” puis vous le téléchargez sur votre site web — et si vous utilisez un système de gestion de contenu (CMS), c’est probablement encore plus facile. Vous pouvez laisser votre fichier robots.txt vide (ou ne pas en avoir du tout) si l’ensemble de votre site peut être exploré, ou vous pouvez ajouter des règles pour gérer l’exploration. Par exemple, pour indiquer à tous les bots (également appelés crawlers, robots, spiders) de ne pas accéder à votre page “Ajouter au panier”, vous pouvez écrire ceci dans votre fichier robots.txt :

Choses plus spécifiques que vous pouvez faire avec robots.txt

robots.txt est le couteau suisse pour exprimer ce que vous voulez que différents robots fassent ou ne fassent pas sur votre site web : il peut comporter seulement quelques lignes ou être complexe avec des règles plus élaborées ciblant des modèles d’URL très spécifiques. Vous pouvez utiliser un fichier robots.txt pour résoudre des problèmes techniques (tels que les pages paginées inutiles), ou pour des raisons éditoriales ou personnelles (comme le simple fait de ne pas vouloir que certains éléments soient explorés). Par exemple, vous pourriez :

Informer plusieurs bots (mais pas tous) de la même règle Ce groupe indique à la fois à examplebot et à otherbot de se tenir à l’écart du chemin /search .
Dire à un bot d’éviter les chemins qui contiennent un morceau de texte spécifique Par exemple, vous pourriez dire à documentsbot de ne pas explorer les fichiers dont le nom contient “.pdf”.
Dire à un bot qu’il peut explorer votre blog, mais pas les brouillons
Bloquer un robot d’exploration d’une partie de votre site web tout en permettant à d’autres robots d’accéder à votre site Ce fichier robots.txt interdit au aicorp-trainer-bot mentionné d’accéder à tout autre élément que la page d’accueil, tout en permettant à d’autres robots d’exploration (tels que les moteurs de recherche) d’accéder au site.
Laisser un commentaire pour votre futur vous Vous pouvez commencer une ligne par # pour vous rappeler pourquoi vous avez placé une certaine règle là.

Pour encore plus, vous pouvez consulter notre liste de règles robots.txt utiles.

Apporter des modifications à votre fichier robots.txt (en pratique)

Le protocole d’exclusion des robots (REP) fonctionne en associant des règles (“ autoriser” ou “interdire“) et en spécifiant à quels robots ces règles s’appliquent. Vous n’avez pas besoin d’apprendre à programmer ou de manipuler des outils ; vous pouvez simplement placer ces règles dans un fichier texte et le télécharger sur votre site web.Pour la plupart des sites web, c’est encore plus simple que cela ! Si vous utilisez un CMS, il intègre généralement déjà quelque chose pour vous aider à modifier votre fichier robots.txt. Par exemple, certains CMS vous permettent de personnaliser votre fichier robots.txt à l’aide de cases à cocher ou d’un formulaire simple, et beaucoup disposent de plugins qui vous aident à configurer et à écrire des règles pour votre fichier robots.txt. Pour vérifier ce qui est possible dans votre CMS, vous pouvez effectuer une recherche pour le nom de votre CMS + “edit robots.txt file”.

Une fois que tout est configuré, vous pouvez également effectuer des tests pour vous assurer que votre fichier est configuré comme vous le souhaitez. De nombreux outils de test créés par la communauté web aident à cela, comme

l’outil de test robots.txt de TametheBot
et cet
analyseur robots.txt qui utilisent la bibliothèque d’analyse robots.txt open source . Si vous avez des questions sur robots.txt, vous pouvez nous trouver sur.

LinkedIn ou discuter avec des experts partageant les mêmes idées dans
nos forums communautaires . Publié par.

Martin Splitt et
John Mueller , équipe Search RelationsDécouvrez le reste de la série Robots Refresher :

ruubots Refresher: robots.txt — гибкий способ управления сканированием вашего сайта роботами