Googlebot

Googlebot ist der allgemeine Name für zwei Arten von
Web-Crawlern die von der Google-Suche verwendet werden:

• Googlebot Smartphone:
  ein mobiler Crawler, der einen Nutzer auf einem Mobilgerät simuliert.
• Googlebot Desktop:
  ein Desktop-Crawler, der einen Nutzer auf einem Desktop-Computer simuliert.

Sie können den Untertyp von Googlebot identifizieren, indem Sie sich den
HTTP User-Agent Anfrage-Header
in der Anfrage ansehen. Beide Crawler-Typen gehorchen jedoch demselben Produkt-Token (User-Agent-Token) in der robots.txt, daher können Sie Googlebot Smartphone oder Googlebot Desktop nicht selektiv über die robots.txt ansprechen.

Für die meisten Websites indexiert die Google-Suche primär
die mobile Version
des Inhalts. Daher wird die Mehrheit der Googlebot-Crawl-Anfragen mit dem mobilen Crawler und eine Minderheit mit dem Desktop-Crawler durchgeführt.

Wie Googlebot auf Ihre Website zugreift

Für die meisten Websites sollte Googlebot im Durchschnitt nicht öfter als alle paar Sekunden auf Ihre Website zugreifen. Aufgrund von Verzögerungen kann die Rate jedoch über kurze Zeiträume hinweg leicht höher erscheinen. Wenn Ihre Website Schwierigkeiten hat, mit den Crawling-Anfragen von Google Schritt zu halten, können Sie die Crawl-Rate reduzieren.

Beim Crawlen für die Google-Suche crawlt Googlebot die ersten 2 MB eines
unterstützten Dateitypsund die ersten 64 MB einer PDF-Datei. Aus Rendering-Perspektive wird jede im HTML referenzierte Ressource (wie CSS und JavaScript) separat abgerufen, und jeder Ressourcenabruf unterliegt demselben Dateigrößenlimit, das für andere Dateien gilt (außer bei PDF-Dateien).
Sobald das Limit erreicht ist, stoppt Googlebot den Abruf und sendet nur den bereits heruntergeladenen Teil der Datei zur Indexierung. Das Dateigrößenlimit gilt für die unkomprimierten Daten. Andere Google-Crawler, zum Beispiel Googlebot Video und Googlebot Image, können
unterschiedliche Limits.

haben. Beim Crawlen von IP-Adressen in den USA ist die Zeitzone von Googlebot
Pacific Time.

Andere
technische Eigenschaften von Googlebot
werden im Überblick über die Crawler von Google beschrieben.

Googlebot den Zugriff auf Ihre Website blockieren

Googlebot entdeckt neue URLs zum Crawlen primär über Links, die in zuvor gecrawlten Seiten eingebettet sind. Es ist fast unmöglich, eine Website geheim zu halten, indem man keine Links darauf veröffentlicht. Sobald beispielsweise jemand von Ihrer “geheimen” Website auf eine andere Website klickt, kann die URL Ihrer “geheimen” Website im Referrer-Tag erscheinen und von der anderen Website in deren Referrer-Log gespeichert und veröffentlicht werden.

Wenn Sie verhindern möchten, dass Googlebot Inhalte auf Ihrer Website crawlt, haben Sie eine
Reihe von Optionen. Denken Sie daran, dass es einen Unterschied zwischen Crawling und Indexierunggibt; das Blockieren von Googlebot beim Crawlen einer Seite verhindert nicht, dass die URL der Seite in den Suchergebnissen erscheint:

• Googlebot am Crawlen einer Seite hindern? Verwenden Sie eine robots.txt-Datei
  Möchten Sie nicht, dass Google eine Seite indexiert?.
• Verwenden Sie noindex
  Verhindern, dass eine Seite für Crawler oder Nutzer zugänglich ist?.
• Verwenden Sie eine andere Methode, wie z. B. Passwortschutz
  Das Blockieren von Googlebot wirkt sich auf die Google-Suche (einschließlich Discover und alle Google-Suchfunktionen) sowie auf andere Produkte wie Google Bilder, Google Video und Google News aus..

Googlebot verifizieren

Bevor Sie sich entscheiden, Googlebot zu blockieren, beachten Sie, dass der HTTP

User-Agent Anfrage-Header, der von Googlebot verwendet wird, oft von anderen Crawlern gefälscht wird. Es ist wichtig zu überprüfen, ob eine problematische Anfrage tatsächlich von Google stammt. Der beste Weg, um zu überprüfen, ob eine Anfrage tatsächlich von Googlebot stammt, ist eine Reverse-DNS-Suche
auf der Quell-IP der Anfrage durchzuführen oder die Quell-IP mit den
Googlebot IP-Bereichen
abzugleichen..