Список fetcher-ов, запускаемых пользователями Google

Fetcher-ы, запускаемые пользователями, инициируются пользователями для выполнения функции получения данных в продукте Google. Например,
Google Site Verifier
действует по запросу пользователя, или сайт, размещенный в Google Cloud (GCP), имеет функцию, позволяющую пользователям сайта получать внешний RSS-канал. Поскольку получение данных было запрошено пользователем, эти fetcher-ы, как правило, игнорируют правила robots.txt. Общие
технические свойства
краулеров Google также применимы к fetcher-ам, запускаемым пользователями.

IP-диапазоны, используемые fetcher-ами, запускаемыми пользователями, опубликованы в объектах
user-triggered-fetchers.json,
user-triggered-fetchers-google.jsonи user-triggered-agents.json
. Маска обратного DNS fetcher-ов, запускаемых пользователями, в зависимости от того, принадлежит ли fetcher Google или пользователю, соответствует ***-***-***-***.gae.googleusercontent.com или
google-proxy-***-***-***-***.google.com соответственно.

В следующем списке представлены fetcher-ы, запускаемые пользователями, их строки пользовательского агента (user agent), как они отображаются в HTTP-запросах, и продукты, с которыми они связаны. Список не является исчерпывающим; он охватывает только тех запрашивающих, которые с наибольшей вероятностью появятся в файлах журналов и по которым мы получали вопросы.

Chrome Web Store

User-Agent в HTTP-запросах
Связанные продукты	Fetcher Chrome Web Store запрашивает URL-адреса, которые разработчики предоставляют в метаданных своих расширений и тем Chrome.

Feedfetcher

User-Agent в HTTP-запросах
Связанные продукты	Feedfetcher используется для сканирования RSS- или Atom-каналов для Google News и WebSub.

Gemini Notebook

User-Agent в HTTP-запросах	Мобильный агент Настольный агент Предыдущий агент (поддерживается до августа 2026 года) Google-NotebookLM
Связанные продукты	Fetcher Gemini Notebook запрашивает отдельные URL-адреса, которые пользователи Gemini Notebook предоставили в качестве источников для своих проектов.

Google-Agent

User-Agent в HTTP-запросах	Мобильный агент Настольный агент
Связанные продукты	Google-Agent используется агентами, размещенными в инфраструктуре Google, для навигации по сети и выполнения действий по запросу пользователя. Он использует IP-диапазоны из user-triggered-agents.json.

аутентифицировать запросы с помощью Web Bot Auth

Google Messages
User-Agent в HTTP-запросах	Связанные продукты

Fetcher Google Messages используется для создания предварительного просмотра ссылок для URL-адресов, отправленных в сообщениях чата.

Google Pinpoint
User-Agent в HTTP-запросах	Связанные продукты Fetcher Google-Pinpoint запрашивает отдельные URL-адреса, которые пользователи Pinpoint

указали в качестве источников для своих личных коллекций документов.

Google Publisher Center
User-Agent в HTTP-запросах	Связанные продукты Google Publisher Center получает и обрабатывает каналы, которые издатели явно предоставили

для использования на целевых страницах Google News.

Google Read Aloud	User-Agent в HTTP-запросах Мобильный агент Настольный агент Предыдущий агент (устаревший)
google-speakr	Связанные продукты По запросу пользователя Google Read Aloud получает и зачитывает веб-страницы с помощью преобразования текста в речь (TTS).

Google Site Verifier

User-Agent в HTTP-запросах
Связанные продукты	Google Site Verifier получает токены подтверждения Search Console.