Änderungsprotokoll

Diese Seite beschreibt die neuesten wichtigen Aktualisierungen der Crawling-Dokumentation von Google.

Um die neuesten Aktualisierungen der Crawling-Dokumentation direkt zu erhalten, fügen Sie die URL dieser Seite Ihrem Feedreaderhinzu oder fügen Sie die Feed-URL direkt hinzu:
https://developers.google.com/crawling/docs/changelog/crawling_docs_updates.rss.

Juli 2026

22. Juli

Leitfaden zum Crawl-Budget überarbeitet und präzisiert

Was: Die Seite
Optimieren Sie Ihr Crawl-Budget wurde überarbeitet und präzisiert, um Klarheit, Terminologie-Konsistenz und Lesefluss zu verbessern.

Warum: Um die Dokumentation verständlicher zu machen und sicherzustellen, dass technische Begriffe (wie Crawl-Kapazitätslimit) durchgehend einheitlich verwendet werden.

16. Juli

Aktualisierung des NotebookLM User-Agents

Was: Der NotebookLM User-Agent wurde auf Google-GeminiNotebookaktualisiert. Wenn Sie den alten Wert fest in Ihrem Code hinterlegt haben, aktualisieren Sie die Zeichenfolge, um potenzielle Bugs zu vermeiden. Wir unterstützen den alten Wert weiterhin, um einen reibungslosen Übergang zu ermöglichen.

Warum: NotebookLM heißt jetzt Gemini Notebook.

14. Juli

User-Agent-Zeichenfolge korrigiert für Google-InspectionTool User-Agent

Was: Die Zeichenfolge des
Google-InspectionTool
User-Agents wurde aktualisiert.

Warum: Die User-Agent-Zeichenfolge für Google-InspectionTool enthielt versehentlich ein Semikolon, das nicht mit der tatsächlichen User-Agent-Zeichenfolge in der Produktion übereinstimmte. Dies wurde in unserer Dokumentation nun korrigiert.

Mai 2026

4. Mai

Hinzufügen der Dokumentation für Web Bot Auth

Was: Dokumentation darüber hinzugefügt, wie Anfragen mit Web Bot Auth authentifiziert werden.

Warum: Um Website-Betreibern in der experimentellen Phase Anweisungen zur Verifizierung von Anfragen mit Web Bot Auth zu geben, da einige Google-User-Agents nun beginnen, Web Bot Auth zu verwenden.

März 2026

März 20

Den Google-Agent User-Agent hinzugefügt

Was: Hinzugefügt wurde der Google-Agent User-Agent und die IP-Bereiche für nutzergetriggerte Agents zur Dokumentation hinzugefügt Überprüfung von Anfragen von Google-Crawlern und -Fetchern.

Warum: Der Google-Agent User-Agent wird in den nächsten Wochen eingeführt und von Google-Agents verwendet, die auf der Google-Infrastruktur gehostet werden, um im Web zu navigieren und auf Nutzeranfrage Aktionen auszuführen.

März 3

Eine Übersichtseite über das Web-Crawling von Google hinzugefügt

Was: Eine neue Seite hinzugefügt darüber, wie das Crawling von Google funktioniert.

Warum: Basierend auf Fragen, die wir im Laufe der Jahre erhalten haben, haben wir eine Ressourcenseite mit grundlegenden Bildungsinformationen zum Crawling zusammengestellt, um verschiedene für Website-Betreiber verfügbare Ressourcen besser hervorzuheben.

Februar 2026

Februar 11

Den Speicherort der IP-Bereiche von Google für häufige Crawler, spezielle Crawler und nutzergetriggerte Fetcher aktualisiert

Was: Den Speicherort von Googles
IP-Bereichen für häufige Crawler, spezielle Crawler und nutzergetriggerte Fetcher aktualisiert
zum /crawling/ipranges Verzeichnis. Der alte Speicherort funktioniert vorerst weiterhin, wir empfehlen jedoch, Ihre Links auf den neuen Speicherort zu aktualisieren.

Warum: Ihr vorheriger Speicherort unter /search/apis/ipranges war nicht der logischste Ort, da diese IP-Bereiche von vielen Google-Produkten (nicht nur der Suche) verwendet werden.

Februar 3

Informationen zu den Standard-Dateigrößenlimits für Google-Crawler und -Fetcher hinzugefügt

Was: Die Informationen zu den Standard-Dateigrößenlimits von Google-Crawlern und -Fetchern wurden verschoben von den
Googlebot-Dokumentation
für
Crawler-Dokumentation.

Warum: Der ursprüngliche Speicherort dieser Information war nicht der logischste, da sie für alle Crawler und Fetcher von Google gilt, weshalb wir sie in die Crawler-Infrastruktur-Dokumentation verschoben haben.

Januar 2026

21. Januar

Google Messages zur Liste der vom Nutzer ausgelösten Fetcher hinzugefügt

Was: Den Google Messages Fetcher zur Liste der vom Nutzer ausgelösten Fetcher hinzugefügt.

Warum: Um Website-Besitzern zu helfen, Traffic von Google Messages zu identifizieren, wenn Link-Vorschauen für URLs generiert werden, die in Chat-Nachrichten gesendet wurden.

Dezember 2025

18. Dezember

Weitere Dokumentation auf die Google-Crawler-Dokumentationswebsite migriert

Was: Die folgende Dokumentation wurde auf die
Crawler-Infrastruktur-Website von Googlemigriert. Die Funktionalität hat sich nicht geändert, lediglich der Ort der Dokumentation sowie einige geringfügige Formulierungsänderungen zur Klarstellung, dass gewisse Richtlinien sowohl für Google Suche als auch für andere Google-Produkte gelten.

• Verwaltung des Crawlings von URLs mit facettenreicher Navigation
• Optimieren Sie Ihr Crawl-Budget
• Wie HTTP-Statuscodes die Crawler von Google beeinflussen
• DNS- und Netzwerkfehler debuggen

Warum: Diese Dokumentation ist für viele Google-Produkte, die Google-Crawler verwenden, relevanter als nur für die Suche.

2. Dezember

Seite des Google Read Aloud User-Agents aktualisiert

Was: Die
Seite des Google Read Aloud User-Agents
wurde aktualisiert, um zusätzliche Details zu ihrer Funktionsweise bereitzustellen – insbesondere, dass sie zustandsloses Rendering verwendet und auf die Seite zugreifen muss, um die dort verwendeten Meta-Tags zu sehen.

Warum: Wir haben Feedback über die Hilfsorganisation erhalten, dass weitere Informationen hilfreich wären.

November 2025

20. November

Dokumentation auf die neue Google-Crawler-Dokumentationswebsite migriert

Was: Crawler-Dokumentation migriert von der
Google Search Central
zu einer neuen Google Crawling-Dokumentationsseite. Der Inhalt hat sich nicht geändert,
nur der Standort. Zu den nennenswerten Änderungen gehören:

• Übersicht der Google-Crawler und -Fetchers
• Anfragen von Google-Crawlern und -Fetchers verifizieren
• Die Google-Crawling-Rate reduzieren
• Gängige Google-Crawler
• Wie Google die robots.txt-Spezifikation interpretiert

Warum: Die Crawling-Infrastruktur von Google wird über verschiedene Google-Produkte hinweg geteilt, die über die Suche hinausgehen, einschließlich Google Shopping, News, Gemini, AdSense und mehr. Die neue Seite ist ein logischeres Zuhause für diese Dokumentation und erleichtert die Dokumentation neuer Funktionen und Updates, die für all diese Produkte relevant sind.

12. November

Hinzugefügt wurde die Google-Pinpoint Fetch-Funktion

Was: Wir haben die
Google-Pinpoint
Fetch-Funktion zur Liste der vom Nutzer ausgelösten Fetcher hinzugefügt.

Warum: Der Google-Pinpoint Fetcher wird vom Pinpoint-Recherchetool verwendet.

3. November

Neuer nutzergesteuerter Fetcher hinzugefügt

Was: Basierend auf Feedback haben wir den
Google-CWS
Fetcher zur Liste der vom Nutzer ausgelösten Fetcher hinzugefügt.

Oktober 2025

15. Oktober

Die Liste der Google-Produkte, die den Read Aloud-Dienst nutzen, wurde aktualisiert

Was: Aktualisierung der Dokumentation zu Google Read Aloud mit einer aktualisierten Liste der Google-Produkte, die den Read Aloud-Dienst nutzen.

Warum: Andere Google-Produkte können jetzt den Google Read Aloud-Dienst nutzen.

9. Oktober

Hinzugefügt Google-NotebookLM zur Liste der vom Nutzer ausgelösten Abrufer

Was: Basierend auf Feedback haben wir hinzugefügt
Google-NotebookLM
zur Liste der vom Nutzer ausgelösten Abrufer.

Juli 2025

Juli 1

Den Google Read Aloud User-Agent aktualisiert

Was: Aktualisiert Google Read Aloud User-Agent
in HTTP-Anfragen mit neueren Browserversionen.

Warum: Um Websites entgegenzukommen, die alte Browserversionen nicht unterstützen.

April 2025

April 25

Die Beschreibung des Google-Extended Produkt-Tokens aktualisiert

Was: Basierend auf Publisher-Feedback haben wir das Google-Extended
Produkt-Token aktualisiert, um zusätzliche Spezifität und Klarheit zu bieten.

Die Beschreibung der Crawler-Präferenzen korrigiert, die sich an den Googlebot-News User-Agent richten

Was: Aktualisiert die
Googlebot-News
User-Agent-Beschreibung.

Warum: Die Beschreibung, wie Crawling-Präferenzen, die sich an
Googlebot-News richten, fälschlicherweise angaben, dass sie den News-Tab bei Google beeinflussen würden, was nicht der Fall ist.