Список специальных краулеров Google

Специальные краулеры используются определенными продуктами Google, когда между сканируемым сайтом и продуктом существует соглашение о процессе сканирования. Например, AdsBot игнорирует глобальный пользовательский агент robots.txt (*) с разрешения издателя рекламы. Общие
технические свойства
краулеров Google также применимы к специальным краулерам.

Специальные краулеры могут игнорировать правила robots.txt и поэтому работают из другого диапазона IP-адресов, чем обычные краулеры. Диапазоны IP-адресов публикуются в объекте
special-crawlers.json . Обратная DNS-маска специальных краулеров соответствует
rate-limited-proxy-***-***-***-***.google.com.

В следующем списке показаны специальные краулеры, строки их пользовательских агентов в том виде, в котором они отображаются в HTTP-запросах, токены их пользовательских агентов для строки User-agent: в robots.txt, а также продукты, на которые влияют настройки сканирования для краулера. Этот список не является исчерпывающим, он охватывает только те запросы, которые чаще всего встречаются в файлах журналов и по которым к нам поступали вопросы.

APIs-Google

Пользовательский агент в HTTP-запросах
robots.txt	Токен пользовательского агента в robots.txt APIs-Google Глобальный пользовательский агент (*) игнорируется. Пример группы robots.txt
Затронутые продукты	Настройки сканирования, адресованные APIs-Google пользовательскому агенту, влияют на доставку push-уведомлений через Google APIs.

AdsBot Mobile Web

Пользовательский агент в HTTP-запросах
robots.txt	Токен пользовательского агента в robots.txt AdsBot-Google-Mobile Глобальный пользовательский агент (*) игнорируется. Пример группы robots.txt
Затронутые продукты	Настройки сканирования, адресованные AdsBot-Google-Mobile пользовательскому агенту, влияют на способность Google Ads проверять качество рекламы на веб-страницах.

.

AdsBot
Пользовательский агент в HTTP-запросах	robots.txt Токен пользовательского агента в robots.txt AdsBot-Google*Глобальный пользовательский агент ( ) игнорируется.
Пример группы robots.txt	Затронутые продукты Настройки сканирования, адресованные AdsBot-Google пользовательскому агенту, влияют на способность Google Ads проверять.

качество рекламы на веб-страницах

.	AdSense Пользовательский агент в HTTP-запросах
Десктопный агент	Мобильный агент robots.txt Токен пользовательского агента в robots.txt*Mediapartners-Google Глобальный пользовательский агент (
) игнорируется.	Пример группы robots.txt Затронутые продукты Настройки сканирования, адресованные

Mediapartners-Google

пользовательскому агенту, влияют на Google AdSense. Краулер AdSense посещает участвующие сайты, чтобы показывать на них релевантную рекламу.
Google-Safety	Пользовательский агент в HTTP-запросах
robots.txt	Пользовательский агент Google-Safety игнорирует правила robots.txt.