Какие यूजर-агенты (user-agents) использует Google и как подтвердить, что запрос, заявляющий о том, что он исходит от Googlebot, действительно принадлежит ему.
Google использует несколько краулеров. Основные из них: Googlebot Smartphone (основной краулер для индексации), Googlebot Desktop, Googlebot Image, Googlebot Video, а также отдельные агенты для AdsBot и запросов, инициируемых пользователями.
Верификация имеет значение Строки user-agent легко подделать. Скраперы регулярно выдают себя за Googlebot, чтобы обойти ограничения частоты запросов. Проверьте запрос с помощью обратного DNS-поиска по IP-адресу отправителя, он должен разрешаться в googlebot.com илиgoogle.com
, а затем сделайте прямой поиск обратно на тот же IP. Google также публикует свои диапазоны IP-адресов в формате JSON.
Частота сканирования
Google автоматически регулирует частоту сканирования на основе ответа сервера. Постоянные ошибки 5xx или медленные ответы заставляют его снижать активность. В Search Console больше нет ручной настройки частоты сканирования; если вам нужно срочно ее замедлить, возвращайте код 503 или 429, но ненадолго, так как продолжительные ответы с кодом 5xx приводят к удалению из индекса. Alien Road рекомендует:
Как мы это применяем
Verifying crawler identity matters when a client’s security team starts blocking traffic. We have seen legitimate Googlebot requests blocked by a firewall rule, which removes a site from the index within weeks.
Связанные услуги