Аутентификация запросов с помощью Web Bot Auth (экспериментальная функция)

Google тестирует использование Web Bot Auth
интернет-черновика IETF, который представляет собой новый криптографический протокол, помогающий веб-сайтам проверять подлинность ботов. Мы тестируем протокол с некоторыми AI-агентами, размещенными в инфраструктуре Google. В этом руководстве объясняется, что такое Web Bot Auth, каков текущий статус и как вы можете внедрить проверку на экспериментальном этапе.

проверки ботов

Что такое Web Bot Auth?

Web Bot Auth — это экспериментальный криптографический протокол, используемый для аутентификации запросов, отправляемых ботами. Вместо того чтобы полагаться исключительно на самостоятельно сообщаемые заголовки и IP-адреса, Web Bot Auth позволяет агентам криптографически подписывать свои запросы.

• Использование Web Bot Auth помогает владельцам веб-сайтов идентифицировать автоматизированный трафик на своих сайтах и предотвращает попытки других субъектов выдать себя за авторитетных агентов. Web Bot Auth может принести следующие преимущества: Криптографическая достоверность:
• Перейдите от легко подделываемых заголовков к проверенной идентификации и отделите идентификацию агента от IP-адресов. Лучшая наблюдаемость:
• Получите более четкое представление о том, как агенты взаимодействуют с вашим контентом. Подготовка к будущему:

Помогите создать сеть, в которой поставщики агентов и веб-сайты могут выстраивать взаимное доверие и принимать обоснованные решения о доступе.

Текущий статус Web Bot Auth: экспериментальный Реализация Google Web Bot Auth в настоящее время является
экспериментальной

• по следующим причинам:
  Web Bot Auth в настоящее время является проектом спецификации, разработанным рабочей группой IETFWBA Working Group
• , и со временем может измениться. Google продолжает участвовать в работе рабочей группы по мере ее развития.

Проверка ботов на основе User-Agent и IP в настоящее время является стандартом де-факто, вокруг которого десятилетиями строились системы, политики и лучшие практики. Их изменение требует времени и осторожного подхода, и мы находимся на ранней стадии, все еще оценивая технические характеристики и потенциальные последствия протокола для экосистемы.

Что это значит?

• Экспериментальный статус означает, что:
• Не все пользовательские агенты Google используют Web Bot Auth.
• Google пока не подписывает каждый запрос агентов, использующих протокол. Мы рекомендуем, чтобы в дополнение к Web Bot Auth вы продолжали полагаться на
  IP-адреса, обратный DNS и строки пользовательского агента

по мере того, как мы постепенно внедряем подписанный трафик.

Для тех, кто заинтересован в участии на экспериментальном этапе, мы предоставляем руководство о том, как распознавать и добавлять в белый список AI-агентов Google.

Как добавить AI-агентов Google в белый список с помощью Web Bot Auth

• Если вы разработчик или системный администратор, желающий добавить наших экспериментальных AI-агентов в белый список, вы можете внедрить проверку с помощью протокола Web Bot Auth:
• Использование продукта или услуги, поддерживающей Web Bot Auth

Самостоятельная проверка запросов

Используйте продукт или услугу, поддерживающую Web Bot Auth Основные службы обнаружения ботов, CDN и WAF поддерживают Web Bot Auth. Некоторые инфраструктурные службы предоставляют способы поиска пользовательского агента
Google-Agent и добавления его в белый список; обратитесь к своему провайдеру за точными инструкциями. Подмножество
подмножество запросов, сделанных Google-Agent , подписаны с помощью Web Bot Auth; в этих случаях они аутентифицируются какhttps://agent.bot.goog

. Если ваш провайдер поддерживает протокол, он, скорее всего, проверяет это автоматически.

Самостоятельная проверка запросов
Если вы хотите самостоятельно аутентифицировать наши запросы, обратитесь к
спецификации архитектуры HTTP Message Signatures для автоматизированного трафика ипримерам реализации на GitHub

1. . В целом, основные шаги протокола: Получите набор открытых ключей нашего агента с
   https://agent.bot.goog/.well-known/http-message-signatures-directory и кэшируйте их в соответствии с заголовком Cache-Control

2. Обязательно удаляйте старые кэшированные ключи, отсутствующие в файле, так как они могут быть просрочены или отозваны. Участвующие запросы, отправленные на ваш сервер, будут иметь заголовок HTTP-запроса Signature-Agent , установленный на g=”https://agent.bot.goog” g= (обратите внимание на
3. метку ). Проверьте заголовок Signatureв соответствии сSignature-Input, следуя стандарту HTTP Message Signatures ( RFC 9421 ). Используйте заголовки Signature g.
4. и Signature-Input, помеченные как. Не забудьте вернуться к проверке на основе IP, так как не все запросы подписаны.

Для запросов, чувствительных к задержке, вы можете вернуть ответ заранее и проверить подпись в пределах окна истечения срока действия. В этом случае санкции будут применены постфактум, и вы сможете применить их к будущим запросам вызывающей стороны.

Следующие шаги

• Свяжитесь с вашим хостинг-провайдером или поставщиком услуг безопасности, чтобы узнать, поддерживают ли они проверку Web Bot Auth.
• Будьте в курсе технических спецификаций Рабочей группы Web Bot Auth.
• Примите участие в обсуждении в списке рассылки IETF.
• Отправьте нам отзыв через нашу форму обратной связи Web Bot Auth.