Pendant 25 ans, le protocole d'exclusion des robots (REP) a été l'un des composants les plus fondamentaux et essentiels du web.

L’analyseur robots.txt de Google est désormais open source

Lundi 1er juillet 2019 Pendant 25 ans, le
protocole d’exclusion des robots (REP)
n’a été qu’un standard de fait. Cela a parfois eu des implications frustrantes. D’une part, pour
les webmasters, cela signifiait de l’incertitude dans les cas limites, comme lorsque leur éditeur de texte incluait des caractères BOM

dans
leurs fichiers robots.txt. D’autre part, pour les développeurs de robots et d’outils, cela a également apporté
de l’incertitude ; par exemple, comment devaient-ils gérer des fichiers robots.txt de plusieurs centaines de
mégaoctets ? Aujourd’hui, nous avons annoncé

que nous menons l’effort
pour faire du REP un standard Internet. Bien qu’il s’agisse d’une étape importante, cela implique un travail supplémentaire pour
les développeurs qui analysent les fichiers robots.txt. Nous sommes là pour vous aider : nous avons
mis en open source

la bibliothèque C++ que nos systèmes de production utilisent pour analyser et faire correspondre les règles dans les fichiers
robots.txt. Cette bibliothèque existe depuis 20 ans et contient des morceaux de code écrits
dans les années 90. Depuis lors, la bibliothèque a évolué ; nous avons beaucoup appris sur la façon dont les webmasters écrivent
les fichiers robots.txt et sur les cas limites que nous devions couvrir, et nous avons également ajouté ce que nous avons appris au fil
des ans au projet Internet lorsque cela avait du sens.

Nous avons également inclus un outil de test dans le paquet open source pour vous aider à tester quelques règles. Une fois
compilé, l'utilisation est très simple :

robots_main <robots.txt content> <user_agent> <url>
Si vous souhaitez consulter la bibliothèque, rendez-vous sur notre dépôt GitHub pourl’analyseur robots.txt
. Nous serions ravis
de voir ce que vous pouvez construire avec ! Si vous avez construit quelque chose en utilisant la bibliothèque, laissez-nous un commentaire surTwitter
, et si vous avez des commentaires
ou des questions sur la bibliothèque, trouvez-nous sur.

GitHub Publié par,
Edu PeredaLode Vandevenne
, etGary Illyes