Liste der gängigen Google-Crawler

Die gängigen Crawler von Google werden verwendet, um Informationen für den Aufbau der Suchindizes von Google zu finden,
andere produktspezifische Crawls durchzuführen und für Analysen. Sie befolgen beim automatischen Crawlen immer die
robots.txt-Regeln
. Die allgemeinen
technischen Eigenschaften

der Google-Crawler gelten auch für die gängigen Crawler.
Die gängigen Crawler crawlen im Allgemeinen aus den IP-Bereichen, die im common-crawlers.json -Objekt veröffentlicht sind, und die Reverse-DNS-Maske ihres Hostnamens entspricht crawl-***-***-***-***.googlebot.com
oder.

geo-crawl-***-***-***-***.geo.googlebot.com . Die folgende Liste zeigt die gängigen Crawler, ihre User-Agent-Strings, wie sie in den HTTP-Anfragen erscheinen, ihre User-Agent-Token für die User-agent:

Erfahren Sie, wie Sie überprüfen können, ob ein Besucher ein Google-Crawler ist

Googlebot User-Agent	in HTTP-Anfragen Googlebot Smartphone Googlebot Desktop Selten: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)	robots.txt User-Agent-Token in robots.txt Googlebot
Beispiel für eine robots.txt-Gruppe	Betroffene Produkte Crawling-Einstellungen, die an den Googlebot

-User-Agent gerichtet sind, wirken sich auf die Google-Suche (einschließlich Discover und alle Google-Suchfunktionen) sowie auf andere Produkte wie Google Bilder, Google Video, Google News und Discover aus.

Googlebot Image
User-Agent in HTTP-Anfragen	robots.txt User-Agent-Token in robots.txt Googlebot-Image Googlebot
Beispiel für eine robots.txt-Gruppe	Betroffene Produkte Crawling-Einstellungen, die an den Googlebot-Image

-User-Agent gerichtet sind, wirken sich auf Google Bilder, Discover, Google Video und alle Funktionen in der Google-Suche aus, bei denen Bilder, Logos und Favicons präsentiert werden.

Googlebot Video
User-Agent in HTTP-Anfragen	robots.txt User-Agent-Token in robots.txt Googlebot-Video Googlebot
Beispiel für eine robots.txt-Gruppe	Betroffene Produkte Crawling-Einstellungen, die an den Googlebot-Video

-User-Agent gerichtet sind, wirken sich auf videobezogene Google-Suchfunktionen und andere Produkte aus, die von Videos abhängig sind.

Googlebot News	User-Agent in HTTP-Anfragen Googlebot-news hat keinen separaten HTTP-Anfrage-User-Agent-String. Das Crawlen erfolgt mit.
verschiedenen Googlebot-User-Agent-Strings	robots.txt User-Agent-Token in robots.txt Googlebot-News Googlebot
Beispiel für eine robots.txt-Gruppe	Betroffene Produkte Crawling-Einstellungen, die an den Googlebot-News -User-Agent gerichtet sind, wirken sich auf das Google News-Produkt aus, einschließlich news.google.com

und der Google News-App.

Google StoreBot	User-Agent in HTTP-Anfragen Desktop-Agent
Mobil-Agent	robots.txt User-Agent-Token in robots.txt Storebot-Google
Betroffene Produkte	Crawling-Einstellungen für den Storebot-Google User-Agent wirken sich auf alle Oberflächen von Google Shopping aus (zum Beispiel den Shopping-Tab in der Google Suche und Google Shopping).

Google-InspectionTool

User-Agent in HTTP-Anfragen	Desktop-Agent Mobil-Agent
robots.txt	User-Agent-Token in robots.txt Google-InspectionTool Googlebot Beispiel für eine robots.txt-Gruppe
Betroffene Produkte	Crawling-Einstellungen für den Google-InspectionTool User-Agent wirken sich auf Suchtest-Tools wie den Rich Result Test und URL-Prüfung in der Search Console aus. Dies hat keine Auswirkungen auf die Google Suche oder andere Produkte.

GoogleOther

User-Agent in HTTP-Anfragen
robots.txt	User-Agent-Token in robots.txt GoogleOther Beispiel für eine robots.txt-Gruppe
Betroffene Produkte	Crawling-Einstellungen für den GoogleOther User-Agent hat keine Auswirkungen auf ein bestimmtes Produkt. GoogleOther ist der allgemeine Crawler, der von verschiedenen Produktteams zum Abrufen öffentlich zugänglicher Inhalte von Websites verwendet werden kann. Er kann beispielsweise für einmalige Crawls für interne Forschung und Entwicklung verwendet werden.

GoogleOther-Image

User-Agent in HTTP-Anfragen
robots.txt	User-Agent-Token in robots.txt GoogleOther-Image GoogleOther Beispiel für eine robots.txt-Gruppe
Betroffene Produkte	Crawling-Einstellungen für den GoogleOther-Image User-Agent hat keine Auswirkungen auf ein bestimmtes Produkt, ähnlich wie GoogleOther. GoogleOther-Image ist die für das Abrufen öffentlich zugänglicher Bild-URLs optimierte Version von GoogleOther.

GoogleOther-Video

User-Agent in HTTP-Anfragen
robots.txt	User-Agent-Token in robots.txt GoogleOther-Video GoogleOther Beispiel für eine robots.txt-Gruppe
Betroffene Produkte	Crawling-Einstellungen für den GoogleOther-Video User-Agent hat keine Auswirkungen auf ein bestimmtes Produkt, ähnlich wie GoogleOther. GoogleOther-Video ist die für das Abrufen öffentlich zugänglicher Video-URLs optimierte Version von GoogleOther.

Google-CloudVertexBot

User-Agent-Teilstring in HTTP-Anfragen
robots.txt	User-Agent-Token in robots.txt Google-CloudVertexBot Googlebot Beispiel für eine robots.txt-Gruppe
Betroffene Produkte	Crawling-Einstellungen für den Google-CloudVertexBot User-Agent wirkt sich auf Crawls aus, die von Website-Betreibern für den Aufbau von Vertex AI Agentsangefordert wurden. Dies hat keine Auswirkungen auf die Google Suche oder andere Produkte.

Google-Extended

User-Agent in HTTP-Anfragen	Google-Extended hat keinen separaten User-Agent-String für HTTP-Anfragen. Das Crawling erfolgt mit vorhandenen Google User-Agent-Strings; das User-Agent-Token in der robots.txt wird zur Steuerung verwendet.
robots.txt	User-Agent-Token in robots.txt Google-Extended Beispiel für eine robots.txt-Gruppe
Betroffene Produkte	Google-Extended ist ein eigenständiges Produkt-Token, mit dem Web-Publisher steuern können, ob von Google gecrawlte Inhalte ihrer Websites zum Training zukünftiger Generationen von Gemini-Modellen verwendet werden dürfen, die Gemini Apps und Vertex AI API for Gemini antreiben und für Grounding (Bereitstellung von Inhalten aus dem Google Search-Index für das Modell zum Zeitpunkt der Anfrage, um Faktentreue und Relevanz zu verbessern) in Gemini Apps und Grounding mit Google Search auf Vertex AI. Google-Extended hat keinen Einfluss auf die Aufnahme einer Website in die Google Search und wird auch nicht als Ranking-Signal in der Google Search verwendet.

Ein Hinweis zu Chrome/W.X.Y.Z in User-Agents

Die Zeichenfolge Chrome/W.X.Y.Z in den User-Agent-Strings in der Liste ist ein Platzhalter, der die Version des Chrome-Browsers darstellt, die von diesem User-Agent verwendet wird: zum Beispiel,
41.0.2272.96. Diese Versionsnummer erhöht sich im Laufe der Zeit, um
der neuesten Chromium-Release-Version zu entsprechen, die vom Googlebot verwendet wird.

Wenn Sie Ihre Protokolle durchsuchen oder Ihren Server nach einem User-Agent mit diesem Muster filtern, verwenden Sie Platzhalter für die Versionsnummer, anstatt eine genaue Versionsnummer anzugeben.