Liste der von Google-Nutzern ausgelösten Fetcher

Von Nutzern ausgelöste Fetcher werden von Nutzern initiiert, um eine Abruffunktion innerhalb eines Google-Produkts auszuführen. Zum Beispiel
Google Site Verifier
handelt auf Anfrage eines Nutzers, oder eine auf Google Cloud (GCP) gehostete Website verfügt über eine Funktion, die es den Nutzern der Website ermöglicht, einen externen RSS-Feed abzurufen. Da der Abruf von einem Nutzer angefordert wurde, ignorieren diese Fetcher im Allgemeinen robots.txt-Regeln. Die allgemeinen
technischen Eigenschaften
der Crawler von Google gelten auch für die von Nutzern ausgelösten Fetcher.

Die IP-Bereiche, die von den nutzergesteuerten Fetchern verwendet werden, sind in den Objekten
user-triggered-fetchers.json,
user-triggered-fetchers-google.jsonund user-triggered-agents.json
veröffentlicht. Die Reverse-DNS-Maske der nutzergesteuerten Fetcher entspricht, je nachdem, ob der Fetcher Google oder einem Nutzer gehört, ***-***-***-***.gae.googleusercontent.com bzw.
google-proxy-***-***-***-***.google.com .

Die folgende Liste zeigt die nutzergesteuerten Fetcher, ihre User-Agent-Strings, wie sie in den HTTP-Anfragen erscheinen, und die Produkte, mit denen sie verknüpft sind. Die Liste ist nicht erschöpfend; sie deckt nur die Anfragenden ab, die am wahrscheinlichsten in Protokolldateien auftauchen und zu denen wir Fragen erhalten haben.

Chrome Web Store

User-Agent in HTTP-Anfragen
Zugehörige Produkte	Der Chrome Web Store-Fetcher fordert URLs an, die Entwickler in den Metadaten ihrer Chrome-Erweiterungen und -Themes bereitstellen.

Feedfetcher

User-Agent in HTTP-Anfragen
Zugehörige Produkte	Feedfetcher wird zum Crawlen von RSS- oder Atom-Feeds für Google News und WebSub verwendet.

Gemini Notebook

User-Agent in HTTP-Anfragen	Mobiler Agent Desktop-Agent Ehemaliger Agent (unterstützt bis August 2026) Google-NotebookLM
Zugehörige Produkte	Der Gemini Notebook-Fetcher fordert einzelne URLs an, die Gemini Notebook Nutzer als Quellen für ihre Projekte angegeben haben.

Google-Agent

User-Agent in HTTP-Anfragen	Mobiler Agent Desktop-Agent
Zugehörige Produkte	Google-Agent wird von Agenten verwendet, die auf der Google-Infrastruktur gehostet werden, um im Web zu navigieren und Aktionen auf Nutzeranfrage auszuführen. Er verwendet IP-Bereiche aus user-triggered-agents.json.

Anfragen mit Web Bot Auth authentifizieren

Google Messages
User-Agent in HTTP-Anfragen	Zugehörige Produkte

Der Google Messages-Fetcher wird verwendet, um Link-Vorschauen für URLs zu generieren, die in Chat-Nachrichten gesendet werden.

Google Pinpoint
User-Agent in HTTP-Anfragen	Zugehörige Produkte Der Google-Pinpoint Fetcher fordert einzelne URLs an, die Pinpoint

Nutzer als Quellen für ihre persönlichen Dokumentensammlungen angegeben haben.

Google Publisher Center
User-Agent in HTTP-Anfragen	Zugehörige Produkte Google Publisher Center ruft und verarbeitet Feeds, die Publisher explizit bereitgestellt haben

zur Verwendung auf Google News-Landingpages.

Google Read Aloud	User-Agent in HTTP-Anfragen Mobiler Agent Desktop-Agent Ehemaliger Agent (veraltet)
google-speakr	Zugehörige Produkte Auf Nutzeranfrage ruft Google Read Aloud Webseiten ab und liest sie mithilfe von Text-to-Speech (TTS) vor..

Google Site Verifier

User-Agent in HTTP-Anfragen
Zugehörige Produkte	Google Site Verifier ruft Search Console-Bestätigungstokens ab.