Обновление по роботам: Протокол исключения роботов, готовый к будущему

Пятница, 28 марта 2025 г.

В предыдущих публикациях о протоколе исключения роботов (REP) мы рассмотрели, что вы уже можете делать с его различными компонентами — а именно robots.txt и элементами управления на уровне URI.
В этой публикации мы рассмотрим, как REP может сыграть поддерживающую роль в постоянно развивающихся отношениях между автоматическими клиентами и человеческим интернетом.

REP — в частности robots.txt — стал стандартом в 2022 году как
RFC9309.
Тем не менее, основная работа была проделана до его стандартизации: именно проверка временем в период с 1994 по 2022 год сделала его достаточно популярным, чтобы его приняли миллиарды хостов и практически все основные операторы краулеров (за исключением вредоносных краулеров, таких как сканеры вредоносного ПО). Это простое и элегантное решение для выражения предпочтений с помощью простого, но универсального синтаксиса. За 25 лет своего существования он практически не претерпел изменений по сравнению со своей первоначальной формой, получив лишь правило
allow , если рассматривать только те правила, которые универсально поддерживаются краулерами.

Это не значит, что других правил не существует; любой оператор краулера может придумать свои собственные правила. Например, такие правила, как “clean-param” и “crawl-delay” не являются частью RFC9309, но поддерживаются некоторыми поисковыми системами, хотя и не Google Search.
Правило “sitemap“, которое также не входит в RFC9309, поддерживается всеми основными поисковыми системами. При достаточной поддержке оно может стать официальным правилом в REP.

Потому что REP действительно может получать «обновления». Это широко поддерживаемый протокол, и он должен развиваться вместе с интернетом. Вносить в него изменения не невозможно, но и не легко; и это не должно быть легко именно потому, что REP широко поддерживается. Как и в случае с любыми изменениями в стандарте, должен существовать консенсус в отношении того, что изменения приносят пользу большинству пользователей протокола, как со стороны издателей, так и со стороны операторов краулеров.

Благодаря своей простоте и широкому распространению, REP является отличным кандидатом для внедрения новых предпочтений сканирования: миллиарды издателей уже знакомы с robots.txt и его синтаксисом, например, поэтому вносить в него изменения для них более естественно. С другой стороны, операторы краулеров уже имеют надежные, хорошо протестированные парсеры и сопоставители (а Google также открыла исходный код своего собственного robots.txt parser),
что означает, что с новыми правилами вряд ли возникнут проблемы с парсингом.

То же самое относится и к расширениям уровня URI REP, заголовку HTTP X-robots-tag и его аналогу в виде метатега. Если возникает необходимость в новом правиле для передачи предпочтений отказа от участия, они легко расширяются. Но как?

Самое важное, что вы, читатель, можете сделать, — это публично рассказать о своей идее и собрать сторонников для нее. Поскольку REP является общественным стандартом, ни одна организация не может вносить в него односторонние изменения; конечно, они могут реализовать поддержку чего-то нового со своей стороны, но это не станет ТЕМ самым стандартом. Но разговоры об этом изменении и демонстрация экосистеме — как операторам краулеров, так и издательской экосистеме — того, что оно приносит пользу всем, будут способствовать достижению консенсуса, а это прокладывает путь к обновлению стандарта.

Аналогичным образом, если в протоколе чего-то не хватает, говорите об этом публично. sitemap
стал широко поддерживаемым правилом в robots.txt, потому что он был полезен как создателям контента, так и поисковым системам, что проложило путь к принятию этого расширения. Если у вас есть новая идея правила, спросите потребителей robots.txt и создателей, что они думают об этом, и поработайте с ними, чтобы устранить потенциальные (и вероятные) проблемы, которые они поднимают, и составить предложение.

Если вашей движущей силой является служение общему благу, оно того стоит.

Опубликовано Gary Illyes, Команда по связям с поисковыми системами

Ознакомьтесь с остальными материалами серии об обновлении роботов: