Lundi 1er juillet 2019
Pendant 25 ans, le protocole d’exclusion des robots (REP) a été l’un des composants les plus fondamentaux et essentiels du web. Il permet aux propriétaires de sites web d’exclure les clients automatisés, par exemple
les robots d’indexation, d’accéder
à leurs sites, partiellement ou totalement.
En 1994, Martijn Koster
(lui-même webmaster) a créé la norme initiale après que des robots ont submergé son site. Avec
les contributions d’autres webmasters, le REP est né et a été adopté par les moteurs de recherche pour aider
les propriétaires de sites web à gérer leurs ressources serveur plus facilement.
Cependant, le REP n’a jamais été transformé en un
standard internet officiel, ce qui signifie
que les développeurs ont interprété le protocole de manière quelque peu différente au fil des ans. Et depuis sa
création, le REP n’a pas été mis à jour pour couvrir les cas particuliers d’aujourd’hui. C’est un
problème complexe pour les propriétaires de sites web car ce standard de fait ambigu rendait difficile l’écriture
correcte des règles.
Nous voulions aider les propriétaires de sites web et les développeurs à créer des expériences incroyables sur Internet au lieu
de s’inquiéter de la manière de contrôler les robots d’indexation. Avec l’auteur original du protocole,
des webmasters et d’autres moteurs de recherche, nous avons documenté la façon dont le REP est utilisé sur le web moderne et
l’avons soumis à l’IETF.
Le projet de REP proposé reflète plus de 20 ans d’expérience concrète reposant sur les règles robots.txt, utilisées à la fois par Googlebot et d’autres grands robots d’indexation, ainsi que par environ un demi-milliard de sites web qui s’appuient sur le REP. Ces contrôles précis donnent aux éditeurs le pouvoir de décider ce qu’ils souhaitent voir indexé sur leur site et potentiellement affiché aux utilisateurs intéressés. Il ne modifie pas
les règles créées en 1994, mais définit plutôt pratiquement tous les scénarios non définis pour l’analyse et la correspondance de robots.txt, et l’étend pour le web moderne. Notamment :
- Tout
protocole de transfert basé sur les URI
peut utiliser robots.txt. Par exemple, il n’est plus limité au HTTP et peut être utilisé pour le FTP ou
CoAP
également. - Les développeurs doivent analyser au moins les 500 premiers
kio d’un robots.txt.
Définir une taille de fichier maximale garantit que les connexions ne restent pas ouvertes trop longtemps, réduisant
la charge inutile sur les serveurs. - Un nouveau délai de mise en cache maximal de 24 heures ou une valeur de directive de cache si elle est disponible, donne aux propriétaires de sites web la flexibilité de mettre à jour leur robots.txt quand ils le souhaitent, et les robots d’indexation ne surchargent pas les sites web avec des requêtes robots.txt. Par exemple, dans le cas de HTTP, des en-têtes Cache-Control pourraient être utilisés pour déterminer le temps de mise en cache.
- La spécification prévoit désormais que lorsqu’un fichier robots.txt précédemment accessible devient inaccessible en raison de pannes de serveur, les pages interdites connues ne sont pas explorées pendant une période assez longue.
De plus, nous avons mis à jour la
forme de Backus-Naur augmentée
dans le projet Internet pour mieux définir la syntaxe de robots.txt, ce qui est essentiel pour que les développeurs analysent les lignes.
RFC signifie Request for Comments, et nous le pensons : nous avons publié le projet sur l’IETF pour obtenir les commentaires des développeurs qui se soucient des blocs de construction fondamentaux d’Internet. Alors que nous travaillons pour donner aux créateurs web les contrôles dont ils ont besoin pour nous dire quelle quantité d’informations ils souhaitent rendre accessible à Googlebot et, par extension, éligible à apparaître dans la Recherche, nous devons nous assurer de ne pas nous tromper.
Si vous souhaitez nous laisser un commentaire, nous poser des questions ou simplement dire bonjour, vous pouvez nous trouver sur
Twitter et dans notre
communauté de webmasters, à la fois hors ligne
Comment nous l'appliquons
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Services associés