Inside Googlebot: Crawling, Fetching und die von uns verarbeiteten Bytes entmystifiziert

Dienstag, 31. März 2026

Wenn Sie
Episode 105 des Podcasts Search Off the Recordgehört haben,
haben Sie vielleicht mitbekommen, wie wir tief in ein Thema eintauchen, das uns sehr am Herzen
liegt (und an unseren Servern): die inneren Abläufe von Googlebot.

Lange Zeit hat der Name „Googlebot“ das Bild eines einzelnen,
unermüdlichen Roboters heraufbeschworen, der systematisch das Internet liest. Doch die Realität ist etwas
komplexer – und weitaus interessanter. Heute möchten wir einen Blick unter
die Haube unserer Crawling-Infrastruktur werfen, mit einem besonderen Fokus auf das, was uns selbst Kopfzerbrechen bereitet: Byte-Größenlimits.

Erstens: Googlebot ist kein einzelnes Programm

Klären wir zuerst einen historischen Irrglauben. Anfang der 2000er Jahre hatte Google
ein einziges Produkt, also hatten wir auch einen Crawler. Der Name „Googlebot“ blieb hause. Doch
heute ist Googlebot nur ein Nutzer von etwas, das einer zentralisierten
Crawling-Plattform ähnelt.

Wenn Sie Googlebot in Ihren Server-Logs sehen, betrachten Sie einfach nur Google
Search. Dutzende anderer Clients – Google Shopping, AdSense und
weitere – leiten alle ihre Crawl-Anfragen über dieselbe zugrundeliegende
Infrastruktur unter verschiedenen Crawler-Namen weiter, von denen die größeren dokumentiert sind auf der
Google Crawler-Infrastruktur-Website.

Das 2MB-Limit: Was passiert mit Ihren Bytes?

Hier wird es etwas verwirrend. Jeder Client der Crawler-
Infrastruktur muss einige Einstellungen für seine Abrufe festlegen.
Diese Einstellungen umfassen den User-Agent-String, nach welchen User-Agent-Token in
robots.txt gesucht wird und wie viele Bytes von einer einzelnen URL abgerufen werden.

Googlebot ruft derzeit bis zu 2MB für jede einzelne URL ab (ausgenommen
PDFs). Das bedeutet, er crawlt nur die ersten 2MB einer Ressource, einschließlich des
HTTP-Headers. Für PDF-Dateien liegt das Limit bei 64MB.

Bild- und Video-Crawler haben typischerweise eine breite Palette an Schwellenwerten,
und das hängt stark von dem Produkt ab, für das sie abrufen. Zum
Beispiel kann das Abrufen eines Favicons ein sehr niedriges Limit haben, im Gegensatz zur Bildersuche.

Für jeden anderen Crawler, der kein Limit angibt, beträgt der Standard 15MB,
unabhängig vom Inhaltstyp.

Was bedeutet das für die Bytes, die Ihr Server über das Netzwerk sendet?

1. Partielles Abrufen: Wenn Ihre HTML-Datei größer als 2MB ist,
   lehnt Googlebot die Seite nicht ab. Stattdessen stoppt er den Abruf exakt an
   der 2MB-Grenze. Beachten Sie, dass das Limit die HTTP-Anfrage-Header einschließt.
2. Verarbeitung der Grenze: Dieser heruntergeladene Teil (die ersten
   2MB an Bytes) wird an unsere Indizierungssysteme und den Web
   Rendering Service (WRS) weitergegeben, als ob es die vollständige Datei wäre.
3. Die unsichtbaren Bytes: Alle Bytes, die
   nach
   dieser
   2MB-Schwelle existieren, werden vollständig ignoriert. Sie werden nicht abgerufen, sie werden nicht gerendert und sie werden nicht indiziert. Einbinden von Ressourcen: Jede referenzierte Ressource im
   HTML (ohne Medien, Schriftarten und einige exotische Dateien) wird vom
   WRS mit Googlebot wie das übergeordnete HTML abgerufen. Sie haben ihren eigenen, separaten
   pro-URL-Byte-Zähler und zählen nicht zur Größe der übergeordneten Seite.
4. Für die allitausendste Mehrheit des Webs ist eine 2MB HTML-Nutzlast massiv, und Sie
   werden dieses Limit nie erreichen. Wenn Ihre Seite jedoch aufgeblähte Inline-
   Base64-Bilder, massive Blöcke von Inline-CSS/JavaScript enthält oder mit
   Megabytes an Menüs beginnt, könnten Sie versehentlich Ihren tatsächlichen Textinhalt
   oder kritische strukturierte Daten über die 2MB-Marke hinausdrücken. Wenn diese entscheidenden Bytes nicht abgerufen werden, existieren sie für Googlebot schlichtweg nicht. Rendering der Bytes

Sobald der Crawler die Bytes erfolgreich abgerufen hat (bis zum Limit),
gibt er den Staffelstab an den WRS weiter. Der WRS verarbeitet JavaScript und führt
Client-seitigen Code ähnlich wie ein moderner Browser aus, um den visuellen und textlichen
Endzustand der Seite zu verstehen. Das Rendering ruft JavaScript- und
CSS-Dateien ab und führt sie aus, verarbeitet XHR-Anfragen, um den Textinhalt
und die Struktur der Seite besser zu verstehen (er fordert keine Bilder oder Videos an). Für jede
angeforderte Ressource gilt ebenfalls das 2MB-Limit.

Denken Sie jedoch daran, dass der WRS nur den Code ausführen kann, den der Crawler
tatsächlich abgerufen hat. Außerdem
arbeitet der WRS zustandslos
(stateless) – er löscht lokalen Speicher und Sitzungsdaten zwischen Anfragen. Dies kann
besondere Auswirkungen darauf haben, wie dynamische, JavaScript-abhängige Elemente
von unseren Systemen interpretiert werden.

Best Practices für Ihre Bytes

Um sicherzustellen, dass Googlebot Ihre Inhalte effizient abrufen und verstehen kann,
behalten Sie diese Byte-basierten Best Practices im Hinterkopf:
Halten Sie Ihr HTML schlank:
Verschieben Sie schweres CSS und JavaScript in
externe Dateien. Während das initiale HTML-Dokument auf 2MB begrenzt ist, werden externe
Skripte und Stylesheets separat abgerufen (vorbehaltlich ihrer eigenen Limits).

Reihenfolge ist wichtig:

Platzieren Sie Ihre kritischsten Elemente –
wie Meta-Tags,

• <title> -Elemente,
• <link> -Elemente, Canonicals und wesentliche strukturierte
  Daten – weiter oben im HTML-Dokument. Dies stellt sicher, dass sie
  wahrscheinlich nicht unterhalb der Grenze landen. Überwachen Sie Ihre Server-Logs: Behalten Sie Ihre Server-
  Antwortzeiten im Auge. Wenn Ihr Server Schwierigkeiten hat, Bytes auszuliefern,
  ziehen sich unsere Crawler automatisch zurück, um eine Überlastung Ihrer Infrastruktur zu vermeiden,
  was Ihre Crawl-Frequenz verringert.
  Beachten Sie, dass dieses Limit nicht in Stein gemeißelt ist und sich
  mit der Zeit ändern kann, wenn sich das Web weiterentwickelt und HTML-Seiten an Größe zunehmen. (Oder schrumpfen.
  Hoffentlich schrumpfen.)
• Crawling ist keine Magie; es ist ein hochgradig orchestrierter, skalierter Bytes-Austausch.
  Indem Sie verstehen, wie unsere zentrale Abrufinfrastruktur diese Bytes abruft und
  begrenzt, können Sie sicherstellen, dass die wichtigsten Inhalte Ihrer Website immer
  berücksichtigt werden. Viel Erfolg beim Optimieren!

Möchten Sie mehr Hintergründe hören? Schauen Sie sich Episode 105 des Podcasts Search Off the Record auf YouTube an

oder überall dort, wo Sie Podcasts erhalten!

Veröffentlicht von

Gary
Inside Googlebot: demystifying crawling, fetching, and the bytes we process | Alien Road
If you tuned into episode 105 of the Search Off the Record podcast, you might have heard us diving deep into a topic that is close to our hearts (and our…

Neuer Speicherort für die IP-Bereichsdateien der Google Crawler
Dienstag, 31. März 2026.