Список распространенных краулеров Google

Распространенные краулеры Google используются для поиска информации для создания поисковых индексов Google,
выполнения других специфических для продуктов сканирований и для анализа. Они всегда соблюдают
правила robots.txt
при автоматическом сканировании. Общие
технические свойства

краулеров Google также применимы к распространенным краулерам.
Распространенные краулеры обычно сканируют из диапазонов IP, опубликованных в объекте common-crawlers.json , а обратная DNS-маска их имени хоста соответствует crawl-***-***-***-***.googlebot.com
или.

geo-crawl-***-***-***-***.geo.googlebot.com . В следующем списке представлены распространенные краулеры, их строки пользовательского агента, как они отображаются в HTTP-запросах, их токены пользовательского агента для строки User-agent:

Узнайте, как проверить, является ли посетитель краулером Google

Googlebot User-Agent	в HTTP-запросах Googlebot Smartphone Googlebot Desktop Редко: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)	robots.txt Токен User-agent в robots.txt Googlebot
Пример группы в robots.txt	Затронутые продукты Настройки сканирования, адресованные пользовательскому агенту Googlebot

, влияют на Поиск Google (включая Discover и все функции Поиска Google), а также на другие продукты, такие как Google Картинки, Google Видео, Google Новости и Discover.

Googlebot Image
User-Agent в HTTP-запросах	robots.txt Токен User-agent в robots.txt Googlebot-Image Googlebot
Пример группы в robots.txt	Затронутые продукты Настройки сканирования, адресованные пользовательскому агенту Googlebot-Image

, влияют на Google Картинки, Discover, Google Видео и все функции в Поиске Google, где представлены изображения, логотипы и фавиконы.

Googlebot Video
User-Agent в HTTP-запросах	robots.txt Токен User-agent в robots.txt Googlebot-Video Googlebot
Пример группы в robots.txt	Затронутые продукты Настройки сканирования, адресованные пользовательскому агенту Googlebot-Video

, влияют на функции Поиска Google, связанные с видео, и другие продукты, зависящие от видео.

Googlebot News	User-Agent в HTTP-запросах У Googlebot-news нет отдельной строки пользовательского агента HTTP-запроса. Сканирование выполняется с помощью.
различных строк пользовательского агента Googlebot	robots.txt Токен User-agent в robots.txt Googlebot-News Googlebot
Пример группы в robots.txt	Затронутые продукты Настройки сканирования, адресованные пользовательскому агенту Googlebot-News , влияют на продукт Google Новости, включая news.google.com

и приложение Google Новости.

Google StoreBot	User-Agent в HTTP-запросах Агент для настольных ПК
Мобильный агент	robots.txt Токен User-agent в robots.txt Storebot-Google
Затронутые продукты	Настройки сканирования для Storebot-Google агент пользователя влияют на все поверхности Google Shopping (например, вкладку «Покупки» в Google Поиске и Google Shopping).

Google-InspectionTool

User-Agent в HTTP-запросах	Агент для настольных ПК Мобильный агент
robots.txt	Токен User-agent в robots.txt Google-InspectionTool Googlebot Пример группы в robots.txt
Затронутые продукты	Настройки сканирования для Google-InspectionTool агент пользователя влияют на инструменты тестирования поиска, такие как Rich Result Test и Проверка URL в Search Console. Это не влияет на Google Поиск или другие продукты.

GoogleOther

User-Agent в HTTP-запросах
robots.txt	Токен User-agent в robots.txt GoogleOther Пример группы в robots.txt
Затронутые продукты	Настройки сканирования для GoogleOther агент пользователя не влияют на какой-либо конкретный продукт. GoogleOther — это общий сканер, который может использоваться различными командами по продуктам для получения общедоступного контента с сайтов. Например, он может использоваться для разового сканирования в целях внутренних исследований и разработок.

GoogleOther-Image

User-Agent в HTTP-запросах
robots.txt	Токен User-agent в robots.txt GoogleOther-Image GoogleOther Пример группы в robots.txt
Затронутые продукты	Настройки сканирования для GoogleOther-Image агент пользователя не влияют на какой-либо конкретный продукт, подобно GoogleOther. GoogleOther-Image — это версия GoogleOther, оптимизированная для получения общедоступных URL-адресов изображений.

GoogleOther-Video

User-Agent в HTTP-запросах
robots.txt	Токен User-agent в robots.txt GoogleOther-Video GoogleOther Пример группы в robots.txt
Затронутые продукты	Настройки сканирования для GoogleOther-Video агент пользователя не влияют на какой-либо конкретный продукт, подобно GoogleOther. GoogleOther-Video — это версия GoogleOther, оптимизированная для получения общедоступных URL-адресов видео.

Google-CloudVertexBot

Подстрока User-Agent в HTTP-запросах
robots.txt	Токен User-agent в robots.txt Google-CloudVertexBot Googlebot Пример группы в robots.txt
Затронутые продукты	Настройки сканирования для Google-CloudVertexBot агент пользователя влияют на сканирование, запрошенное владельцами сайтов для создания Vertex AI Agents. Это не влияет на Google Поиск или другие продукты.

Google-Extended

User-Agent в HTTP-запросах	У Google-Extended нет отдельной строки агента пользователя для HTTP-запросов. Сканирование выполняется с использованием существующих строк агента пользователя Google; токен user-agent в robots.txt используется для управления.
robots.txt	Токен User-agent в robots.txt Google-Extended Пример группы в robots.txt
Затронутые продукты	Google-Extended — это автономный токен продукта, который веб-издатели могут использовать для управления тем, может ли контент, который Google сканирует с их сайтов, использоваться для обучения будущих поколений моделей Gemini, обеспечивающих работу Gemini Apps и Vertex AI API for Gemini и для обоснования (предоставление контента из индекса Google Search модели во время запроса для повышения фактической точности и релевантности) в Gemini Apps и Обоснование с помощью Google Search в Vertex AI. Google-Extended не влияет на включение сайта в Google Search и не используется в качестве сигнала ранжирования в Google Search.

Примечание о Chrome/W.X.Y.Z в пользовательских агентах

Строка Chrome/W.X.Y.Z в строках пользовательских агентов в списке является заполнителем, который представляет версию браузера Chrome, используемую этим пользовательским агентом: например,
41.0.2272.96. Этот номер версии со временем увеличивается, чтобы
соответствовать последней версии выпуска Chromium, используемой Googlebot.

Если вы ищете в своих журналах или фильтруете свой сервер по пользовательскому агенту с этим шаблоном, используйте подстановочные знаки для номера версии вместо указания точного номера версии.