Neue Open-Source-robots.txt-Projekte

Montag, 21. September 2020

Letztes Jahr haben wir den
robots.txt Parser und Matcher, den wir in unseren Produktionssystemen verwenden, für die Open-Source-Welt veröffentlicht. Seitdem haben wir gesehen, wie Leute neue Tools damit entwickeln,
dazu beitragen zur Open-Source-Bibliothek (was unsere Produktionssysteme effektiv verbessert – danke!) und neue Sprachversionen wie golang und
rustveröffentlichen, die es Entwicklern erleichtern, neue Tools zu entwickeln.

Da die Praktikantenzeit hier bei Google zu Ende geht, wollten wir zwei neue Veröffentlichungen im Zusammenhang mit robots.txt hervorheben, die durch zwei Praktikanten im Team für Search Open Sourcing ermöglicht wurden:
Andreea Dutulescu und
Ian Dolzhanskii.

Robots.txt-Spezifikationstest

Als Erstes veröffentlichen wir ein
Test-Framework für Entwickler von robots.txt-Parsern, das von Andreea erstellt wurde. Das Projekt bietet ein Test-Tool, mit dem validiert werden kann, ob und in welchem Maße ein robots.txt-Parser das Robots Exclusion Protocol einhält. Derzeit gibt es keine offizielle und gründliche Möglichkeit, die Korrektheit eines Parsers zu bewerten. Deshalb hat Andreea ein Tool entwickelt, mit dem robots.txt-Parser erstellt werden können, die das Protokoll einhalten.

Java robots.txt Parser und Matcher

Zweitens veröffentlichen wir eine offizielle
Java-Portierung des C++ robots.txt-Parsers,die von Ian erstellt wurde. Java ist die
drittbeliebteste Programmiersprache
auf GitHub und wird auch bei Google intensiv genutzt, daher ist es kein Wunder, dass sie die am häufigsten angefragte Sprachportierung war. Der Parser ist eine 1-zu-1-Übersetzung des C++ Parsers in Bezug auf Funktionen und Verhalten, und er wurde gründlich auf Parität mit einem großen Korpus von robots.txt-Regeln getestet. Teams planen bereits, den Java robots.txt Parser in Google-Produktionssystemen zu verwenden, und wir hoffen, dass Sie ihn ebenfalls nützlich finden werden.

Wie immer freuen wir uns über Ihre Beiträge zu diesen Projekten. Wenn Sie etwas mit dem
C++ robots.txt Parser oder mit diesen neuen Veröffentlichungen gebaut haben, lassen Sie es uns wissen, damit wir Ihnen möglicherweise helfen können, die Nachricht zu verbreiten! Wenn Sie einen Bug gefunden haben, helfen Sie uns, ihn zu beheben, indem Sie ein Issue auf GitHub öffnen oder direkt mit einem Pull Request beitragen. Wenn Sie Fragen oder Kommentare zu diesen Projekten haben, erreichen Sie uns auf
Twitter!

.

Es war uns eine echte Freude, Andreea und Ian bei uns zu haben, und wir sind traurig, dass ihr Praktikum zu Ende geht. Ihre Beiträge tragen dazu bei, das Internet zu einem besseren Ort zu machen, und wir hoffen, dass wir sie in Zukunft wieder bei Google willkommen heißen können. Veröffentlicht von Edu Pereda
undGary Illyes