Lundi 21 septembre 2020
L’année dernière, nous avons publié le
parseur et comparateur robots.txt que nous utilisons dans nos systèmes de production pour le monde open source. Depuis lors, nous avons vu des gens créer de nouveaux outils avec,
contribuer à la bibliothèque open source (ce qui améliore efficacement nos systèmes de production – merci !), et publier de nouvelles versions linguistiques telles que golang et
rust, qui permettent aux développeurs de créer plus facilement de nouveaux outils.
La saison des stages se terminant ici chez Google, nous voulions mettre en avant deux nouvelles versions liées à robots.txt qui ont été rendues possibles par deux stagiaires travaillant au sein de l’équipe Search Open Sourcing,
Andreea Dutulescu et
Ian Dolzhanskii.
Test de spécification Robots.txt
Tout d’abord, nous publions un
framework de test pour les développeurs de parseurs robots.txt, créé par Andreea. Le projet fournit un outil de test qui permet de valider si un parseur robots.txt respecte le protocole d’exclusion des robots (Robots Exclusion Protocol), et dans quelle mesure. Actuellement, il n’existe aucun moyen officiel et approfondi d’évaluer l’exactitude d’un parseur. Andreea a donc créé un outil qui peut être utilisé pour créer des parseurs robots.txt conformes au protocole.
Parseur et comparateur Java robots.txt
Deuxièmement, nous publions un
portage Java officiel du parseur robots.txt en C++, créé par Ian. Java est le
3e langage de programmation le plus populaire
sur GitHub et il est également largement utilisé chez Google. Il n’est donc pas surprenant qu’il ait été le portage linguistique le plus demandé. Le parseur est une traduction 1 pour 1 du parseur C++ en termes de fonctions et de comportement, et il a été rigoureusement testé pour vérifier sa parité avec un vaste corpus de règles robots.txt. Les équipes prévoient déjà d’utiliser le parseur Java robots.txt dans les systèmes de production de Google, et nous espérons qu’il vous sera également utile.
Comme d’habitude, nous accueillons vos contributions à ces projets. Si vous avez construit quelque chose avec le
parseur robots.txt C++ ou avec ces nouvelles versions, faites-le-nous savoir afin que nous puissions potentiellement vous aider à faire passer le mot ! Si vous avez trouvé un bug, aidez-nous à le corriger en ouvrant une issue sur GitHub ou en contribuant directement avec une pull request. Si vous avez des questions ou des commentaires sur ces projets, contactez-nous sur
Twitter!
.
Comment nous l'appliquons
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Services associés