Новые проекты robots.txt с открытым исходным кодом

Понедельник, 21 сентября 2020 г.

В прошлом году мы выпустили
парсер и сопоставитель (matcher) robots.txt , которые мы используем в наших производственных системах, для мира открытого исходного кода. С тех пор мы видели, как люди создают с его помощью новые инструменты,
вносят свой вклад в библиотеку с открытым исходным кодом (эффективно улучшая наши производственные системы — спасибо!) и выпускают новые языковые версии, такие как golang и
rust, которые облегчают разработчикам создание новых инструментов.

Поскольку сезон стажировок здесь, в Google, подходит к концу, мы хотели бы отметить два новых релиза, связанных с robots.txt, которые стали возможны благодаря двум стажерам, работающим в команде Search Open Sourcing,
Андрее Дутулеску (Andreea Dutulescu) и
Иану Должанскому (Ian Dolzhanskii).

Тест спецификации Robots.txt

Во-первых, мы выпускаем
фреймворк для тестирования для разработчиков парсеров robots.txt, созданный Андреей. Проект предоставляет инструмент тестирования, который может проверить, следует ли парсер robots.txt Протоколу исключения роботов (Robots Exclusion Protocol), и в какой степени. В настоящее время не существует официального и тщательного способа оценки правильности парсера, поэтому Андреа создала инструмент, который можно использовать для создания парсеров robots.txt, соответствующих протоколу.

Java-парсер и сопоставитель robots.txt

Во-вторых, мы выпускаем официальную
Java-версию парсера C++ robots.txt, созданную Ианом. Java — это
3-й по популярности язык программирования
на GitHub, и он также широко используется в неустанной работе Google, поэтому неудивительно, что это был самый запрашиваемый языковой порт. Парсер представляет собой прямой перевод парсера C++ 1-к-1 с точки зрения функций и поведения, и он был тщательно протестирован на паритет с большим набором правил robots.txt. Команды уже планируют использовать Java-парсер robots.txt в производственных системах Google, и мы надеемся, что вы тоже найдете его полезным.

Как всегда, мы приветствуем ваш вклад в эти проекты. Если вы создали что-то с помощью
парсэра C++ robots.txt или с помощью этих новых релизов, дайте нам знать, чтобы мы могли помочь вам рассказать об этом! Если вы нашли ошибку, помогите нам исправить ее, открыв проблему (issue) на GitHub или внеся свой вклад непосредственно с помощью запроса на вытягивание (pull request). Если у вас есть вопросы или комментарии по поводу этих проектов, обращайтесь к нам в
Twitter!

.

Для нас было искренним удовольствием принимать у себя Андрею и Иана, и нам грустно, что их стажировка подошла к концу. Их вклад помогает сделать интернет лучше, и мы надеемся, что в будущем мы снова сможем приветствовать их в Google. Опубликовано Эду Переда (Edu Pereda)
иГари Иллиес (Gary Illyes)