Liste der Google-Sondercrawler

Die Sondercrawler werden von bestimmten Google-Produkten verwendet, bei denen eine Vereinbarung zwischen der gecrawlten Website und dem Produkt über den Crawling-Prozess besteht. Zum Beispiel AdsBot ignoriert den globalen robots.txt-User-Agent (*) mit Erlaubnis des Ad-Publishers. Die allgemeinen
technischen Eigenschaften
der Google-Crawler gelten auch für die Sondercrawler.

Die Sondercrawler ignorieren möglicherweise robots.txt-Regeln und arbeiten daher in einem anderen IP-Bereich als die gängigen Crawler. Die IP-Bereiche werden im Objekt
special-crawlers.json veröffentlicht. Die Reverse-DNS-Maske der Sondercrawler entspricht
rate-limited-proxy-***-***-***-***.google.com.

Die folgende Liste zeigt die Sondercrawler, ihre User-Agent-Strings, wie sie in den HTTP-Anfragen erscheinen, ihre User-Agent-Token für die Zeile User-agent: in robots.txt und die Produkte, die von den Crawling-Präferenzen für den Crawler betroffen sind. Die Liste ist nicht erschöpfend, sie umfasst nur die Anfrager, die am wahrscheinlichsten in Protokolldateien auftauchen und zu denen wir Fragen erhalten haben.

APIs-Google

User-Agent in HTTP-Anfragen
robots.txt	User-Agent-Token in robots.txt APIs-Google Der globale User-Agent (*) wird ignoriert. Beispiel für eine robots.txt-Gruppe
Betroffene Produkte	Crawling-Präferenzen, die sich an den APIs-Google User-Agent richten, beeinflussen die Zustellung von Push-Benachrichtigungen durch Google APIs.

AdsBot Mobile Web

User-Agent in HTTP-Anfragen
robots.txt	User-Agent-Token in robots.txt AdsBot-Google-Mobile Der globale User-Agent (*) wird ignoriert. Beispiel für eine robots.txt-Gruppe
Betroffene Produkte	Crawling-Präferenzen, die sich an den AdsBot-Google-Mobile User-Agent richten, beeinflussen die Fähigkeit von Google Ads, die Anzeigenqualität von Webseiten.

zu überprüfen.

AdsBot
User-Agent in HTTP-Anfragen	robots.txt User-Agent-Token in robots.txt AdsBot-Google*Der globale User-Agent ( ) wird ignoriert.
Beispiel für eine robots.txt-Gruppe	Betroffene Produkte Crawling-Präferenzen, die sich an den AdsBot-Google User-Agent richten, beeinflussen die Fähigkeit von Google Ads,.

die Anzeigenqualität von Webseiten

zu überprüfen.	AdSense User-Agent in HTTP-Anfragen
Desktop-Agent	Mobiler Agent robots.txt User-Agent-Token in robots.txt*Mediapartners-Google Der globale User-Agent (
) wird ignoriert.	Beispiel für eine robots.txt-Gruppe Betroffene Produkte Crawling-Präferenzen, die sich an den

Mediapartners-Google

User-Agent richten, beeinflussen Google AdSense. Der AdSense-Crawler besucht teilnehmende Websites, um ihnen relevante Anzeigen bereitzustellen.
Google-Safety	User-Agent in HTTP-Anfragen
robots.txt	Der Google-Safety-User-Agent ignoriert robots.txt-Regeln.