Übersicht über Google-Crawler und Fetcher (User-Agents)

Google verwendet Crawler und Fetcher, um Aktionen für seine Produkte auszuführen, entweder automatisch oder durch eine Nutzeranfrage ausgelöst. Crawler (manchmal auch “Roboter” oder “Spider” genannt) ist ein allgemeiner Begriff für jedes Programm, das verwendet wird, um
Websites automatisch zu entdecken und zu scannen. Fetcher fungieren als Programm wie
wget , die typischerweise eine einzelne Anfrage im Namen eines Nutzers stellen. Die Clients von Google fallen in drei Kategorien:

Technische Eigenschaften von Googles Crawlern und Fetchern

Googles Crawler und Fetcher sind so konzipiert, dass sie gleichzeitig von Tausenden von Maschinen ausgeführt werden, um die Leistung zu verbessern und mit dem Wachstum des Webs zu skalieren. Um die Bandbreitennutzung zu optimieren, sind diese Clients über viele Rechenzentren auf der ganzen Welt verteilt, sodass sie sich in der Nähe der Websites befinden, auf die sie möglicherweise zugreifen. Daher können Ihre Protokolle Besuche von mehreren IP-Adressen zeigen. Google sendet Anfragen hauptsächlich von IP-Adressen in den Vereinigten Staaten. Falls Google erkennt, dass eine Website Anfragen aus den Vereinigten Staaten blockiert, versucht es möglicherweise, von IP-Adressen aus anderen Ländern zu crawlen.

Unterstützte Übertragungsprotokolle

Googles Crawler und Fetcher unterstützen HTTP/1.1 und
HTTP/2. Die Crawler verwenden die Protokollversion, die die beste Crawling-Leistung bietet, und können je nach vorherigen Crawling-Statistiken zwischen den Protokollen wechseln. Die Standard-Protokollversion, die von Googles Crawlern verwendet wird, ist HTTP/1.1; Crawling über HTTP/2 kann Rechenressourcen (z. B. CPU, RAM) für Ihre Website und den Googlebot sparen, aber ansonsten gibt es keinen Google-produktspezifischen Vorteil für die Website (z. B. keinen Ranking-Boost in der Google Suche). Um das Crawling über HTTP/2 zu deaktivieren, weisen Sie den Server, der Ihre Website hostet, an, mit einem 421 HTTP-Statuscode
zu antworten, wenn Google versucht, über HTTP/2 auf Ihre Website zuzugreifen. Wenn das nicht machbar ist, können Sie
eine Nachricht an das Crawling-Team senden

(diese Lösung ist jedoch vorübergehend).
Die Crawler-Infrastruktur von Google unterstützt auch das Crawling über FTP (wie in RFC959
und dessen Updates definiert) und FTPS (wie in RFC4217

und dessen Updates definiert), jedoch ist das Crawling über diese Protokolle selten.

Unterstützte Inhaltskodierungen
Googles Crawler und Fetcher unterstützen die folgenden Inhaltskodierungen (Kompressionen):,
gzipdeflate
, undBrotli (br)
. Die von jedem Google User-Agent unterstützten Inhaltskodierungen werden im Accept-Encoding
-Header jeder Anfrage beworben, die sie stellen. Zum Beispiel:.

Accept-Encoding: gzip, deflate, br

Dateigrößenbeschränkungen
Standardmäßig crawlen Googles Crawler und Fetcher nur die ersten 15 MB einer Datei, und jeglicher Inhalt über diesem Limit wird ignoriert. Einzelne Projekte können jedoch unterschiedliche Limits für ihre Crawler und Fetcher sowie für verschiedene Dateitypen festlegen. Zum Beispiel kann ein Google-Crawler wie Googlebot

ein kleineres Größenlimit haben (z. B. 2 MB) oder ein größeres Dateigrößenlimit für ein PDF als für HTML festlegen.

Crawl-Rate und Host-Last
Unser Ziel ist es, bei jedem Besuch so viele Seiten wie möglich von Ihrer Website zu crawlen, ohne Ihren Server zu überlasten. Wenn Ihre Website Schwierigkeiten hat, mit den Crawling-Anfragen von Google Schritt zu halten, können Siedie Crawl-Rate reduzieren
. Beachten Sie, dass das Senden des unangemessenen
HTTP-Antwortcodes

an Googles Crawler beeinflussen kann, wie Ihre Website in Google-Produkten erscheint.

HTTP-Caching
Googles Crawling-Infrastruktur unterstützt heuristisches HTTP-Caching, wie imHTTP-Caching-Standard definiert, insbesondere durch den ETag -Antwort- und If-None-Match -Anfrage-Header sowie den Last-Modified -Antwort- und If-Modified-Since

-Werte festzulegen, unabhängig von der Präferenz der Google-Crawler. Diese Header werden auch von anderen Anwendungen wie CMS verwendet. Wenn sowohl ETag - als auch Last-Modified -Antwort-Header-Felder in der HTTP-Antwort vorhanden sind, verwenden Googles Crawler den ETag Wert wie
vom HTTP-Standard gefordert. Speziell für Google-Crawler empfehlen wir die Verwendung von
ETag
anstatt des Last-Modified -Headers, um die Caching-Präferenz anzugeben, da
ETag keine Probleme mit der Datumsformatierung hat.

Andere HTTP-Caching-Direktiven werden nicht unterstützt.

Einzelne Google-Crawler und Fetcher nutzen Caching möglicherweise oder auch nicht, abhängig von den Anforderungen des Produkts, mit dem sie verknüpft sind. Zum Beispiel Googlebot unterstützt Caching beim erneuten Crawlen von URLs für die Google-Suche, und Storebot-Google unterstützt Caching nur unter bestimmten Bedingungen.

Um HTTP-Caching für Ihre Website zu implementieren, wenden Sie sich an Ihren Hosting- oder Content-Management-System-Anbieter.

ETag und If-None-Match

Googles Crawling-Infrastruktur unterstützt ETag und If-None-Match wie durch den
HTTP Caching standarddefiniert.
Erfahren Sie mehr über den
ETag
-Antwort-Header und sein Gegenstück im Anfrage-Header,.

If-None-Match

Last-Modified und If-Modified-Since Googles Crawling-Infrastruktur unterstützt Last-Modified
und If-Modified-Since
wie durch den
HTTP Caching standard

• definiert, mit den folgenden Einschränkungen: Das Datum im Last-Modified
  -Header muss gemäß demHTTP standard formatiert sein. Um Parsing-Probleme zu vermeiden, empfehlen wir die Verwendung des folgenden Datumsformats:“Wochentag,“.
• DD Mon YYYY HH:MM:SS
  Zeitzone". Zum Beispiel, ” Fri, 4 Sep 1998 19:15:56 GMT Obwohl nicht erforderlich, sollten Sie auch in Betracht ziehen, das
  max-age
  -Feld des Cache-Control -Antwort-Headers festzulegen, um Crawlern zu helfen, zu bestimmen, wann die spezifische URL erneut gecrawlt werden soll. Setzen Sie den Wert des.

max-age
-Feldes auf die erwartete Anzahl von Sekunden, in denen der Inhalt unverändert bleibt. Zum Beispiel,
Cache-Control: max-age=94043 Erfahren Sie mehr über den.

Last-Modified

-Antwort-Header und sein Gegenstück im Anfrage-Header,

1. If-Modified-Since Überprüfen Sie Googles Crawler und Fetcher Googles Crawler identifizieren sich auf drei Arten:
2. Der HTTP
3. user-agent

-Anfrage-Header.
Die Quell-IP-Adresse der Anfrage..