Vendredi 28 mars 2025
Dans les articles précédents sur le protocole d’exclusion des robots (REP), nous avons exploré ce que vous pouvez déjà faire avec ses différents composants — à savoir robots.txt et les contrôles au niveau des URI.
Dans cet article, nous explorerons comment le REP peut jouer un rôle de soutien dans la relation en constante évolution entre les clients automatiques et le web humain.
Le REP — en particulier robots.txt — est devenu un standard en 2022 sous le nom de
RFC9309.
Cependant, le gros du travail a été fait avant sa standardisation : c’est l’épreuve du temps entre 1994 et 2022 qui l’a rendu suffisamment populaire pour être adopté par des milliards d’hôtes et pratiquement tous les principaux opérateurs de robots d’indexation (à l’exclusion des robots malveillants tels que les scanners de logiciels malveillants). C’est une solution simple et élégante pour exprimer des préférences avec une syntaxe simple mais polyvalente. En 25 ans d’existence, il a à peine eu besoin d’évoluer par rapport à sa forme d’origine, il n’a obtenu qu’une règle
allow si l’on ne considère que les règles universellement prises en charge par les robots d’indexation.
Cela ne signifie pas qu’il n’y a pas d’autres règles ; chaque opérateur de robots d’indexation peut créer ses propres règles. Par exemple, des règles telles que “clean-param” et “crawl-delay” ne font pas partie de la RFC9309, mais elles sont prises en charge par certains moteurs de recherche — bien que pas par Google Search.
La règle “sitemap“, qui ne fait pas non plus partie de la RFC9309, est prise en charge par tous les grands moteurs de recherche. Avec un soutien suffisant, elle pourrait devenir une règle officielle dans le REP.
Parce que le REP peut en fait recevoir des “mises à jour”. C’est un protocole largement pris en charge et il doit grandir avec internet. Apporter des modifications n’est pas impossible, mais ce n’est pas facile ; et cela ne devrait pas être facile, précisément parce que le REP est largement pris en charge. Comme pour tout changement apporté à un standard, il doit y avoir un consensus selon lequel les changements profitent à la majorité des utilisateurs du protocole, tant du côté des éditeurs que des opérateurs de robots d’indexation.
En raison de sa simplicité et de sa large adoption, le REP est un excellent candidat pour transporter de nouvelles préférences d’exploration : des milliards d’éditeurs connaissent déjà robots.txt et sa syntaxe par exemple, ce qui rend les modifications plus naturelles pour eux. D’un autre côté, les opérateurs de robots d’indexation disposent déjà de parseurs et de matchers robustes et bien testés (et Google a également ouvert le code source de son propre robots.txt parser),
ce qui signifie qu’il est hautement improbable qu’il y ait des problèmes d’analyse avec les nouvelles règles.
Il en va de même pour les extensions au niveau des URI du REP, l’en-tête HTTP X-robots-tag et son équivalent en balise méta. S’il est nécessaire d’ajouter une nouvelle règle pour exprimer des préférences de refus, ils sont facilement extensibles. Comment cependant ?
La chose la plus importante que vous, le lecteur, puissiez faire est de parler de votre idée publiquement et de rassembler des partisans pour cette idée. Le REP étant un standard public, aucune entité ne peut y apporter unilatéralement des modifications ; certes, elles peuvent implémenter la prise en charge de quelque chose de nouveau de leur côté, mais cela ne deviendra pas LE standard. Mais parler de ce changement et montrer à l’écosystème — à la fois aux opérateurs de robots et à l’écosystème de publication — qu’il profite à tout le monde favorisera le consensus, ce qui ouvre la voie à la mise à jour du standard.
De même, si le protocole manque de quelque chose, parlez-en publiquement. sitemap
est devenu une règle largement prise en charge dans robots.txt car elle était utile aux créateurs de contenu comme aux moteurs de recherche, ce qui a ouvert la voie à l’adoption de l’extension. Si vous avez une nouvelle idée de règle, demandez aux consommateurs de robots.txt et aux créateurs ce qu’ils en pensent, et travaillez avec eux pour résoudre les problèmes potentiels (et probables) qu’ils soulèvent et rédiger une proposition.
Si votre motivation est de servir le bien commun, cela en vaut la peine.
Découvrez le reste de la série d’actualisations Robots :
Comment nous l'appliquons
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Services associés