Парсер robots.txt от Google теперь имеет открытый исходный код

Понедельник, 1 июля 2019 г.

В течение 25 лет протокол исключения роботов (REP)
был лишь стандартом де-факто. Иногда это имело неприятные последствия. С одной стороны, для
веб-мастеров это означало неопределенность в нестандартных ситуациях, например, когда их текстовый редактор включал символы
BOM в
файлы robots.txt. С другой стороны, это также привносило неопределенность для разработчиков краулеров и инструментов; например, как им следует поступать с файлами robots.txt размером в сотни
мегабайт?

Сегодня мы объявили о том, что возглавляем работу
по превращению REP в интернет-стандарт. Хотя это важный шаг, он означает дополнительную работу для
разработчиков, которые парсят файлы robots.txt.

Мы здесь, чтобы помочь: мы открыли исходный код
библиотеки C++, которую наши производственные системы используют для парсинга и сопоставления правил в файлах
robots.txt. Эта библиотека существует уже 20 лет и содержит фрагменты кода, написанные
в 90-х. С тех пор библиотека развивалась; мы многое узнали о том, как веб-мастера пишкт
файлы robots.txt, и о крайних случаях, которые нам приходилось учитывать, и по мере возможности добавляли накопленный за годы опыт в интернет-черновик.

Мы также добавили инструмент тестирования в пакет с открытым исходным кодoм, чтобы помочь вам протестировать несколько правил. После
тта сборки использование очень простое:

robots_main <robots.txt content> <user_agent> <url>

Если вы хотите ознакомиться с библиотекой, перейдите в наш репозиторий GitHub для
парсера robots.txt. Мы будем рады
увидеть, что вы можете создать с ее помощью! Если вы создали что-то с использованием библиотеки, оставьте нам комментарий в
Twitter, а если у вас есть комментарии
или вопросы по библиотеке, найдите нас на
GitHub.

Опубликовано Edu Pereda,
Lode Vandevenne, и
Gary Illyes, команда Search Open Sourcing