Crawling infrastructureAPIs-Google User-Agent
APIs-Google ist der User-Agent, den Google APIs verwenden, um Push-Benachrichtigungen zuzustellen. Lesen Sie diesen Leitfaden, um zu erfahren, wie APIs-Google…
Crawling infrastructure
Crawling infrastructureAnfragen mit Web Bot Auth (experimentell) authentifizieren
Erfahren Sie, was Web Bot Auth ist, wie der aktuelle Status der Google-Implementierung ist und wie Sie die Verifizierung während…
Crawling infrastructureÄnderungsprotokoll
Verfolgen Sie die wichtigsten Aktualisierungen der Crawling-Dokumentation von Google, einschließlich Änderungen an der Liste von Google-User-Agents, Crawlern und nutzergenerierten Abrufdiensten.
Crawling infrastructureNetzwerk- und DNS-Fehler für Google-Crawler beheben
Erfahren Sie, wie sich verschiedene Netzwerk- und DNS-Fehler auf Google-Crawler auswirken können und wie Sie diese Fehler beheben.
Crawling infrastructureFeedfetcher
Feedfetcher ist die Art und Weise, wie Google Website-Feeds abruft. Lesen Sie diesen Leitfaden, um zu erfahren, was Google Feedfetcher…
Crawling infrastructureGoogle Read Aloud User-Agent
Google-Read-Aloud ist der User-Agent für den Google Read Aloud-Dienst. Erfahren Sie mehr darüber, wie dieser Dienst für Ihre Website funktionieren…
Crawling infrastructureWie Google die robots.txt-Spezifikation interpretiert
Erfahren Sie spezifische Details zu den verschiedenen robots.txt-Regeln und wie Google die robots.txt-Spezifikation interpretiert.
Crawling infrastructureWie HTTP-Statuscodes die Crawler von Google beeinflussen
Erfahren Sie, wie sich verschiedene HTTP-Statuscodes auf die Crawler von Google auswirken können.
Crawling infrastructureSo schreiben und übermitteln Sie eine robots.txt-Datei
Eine robots.txt-Datei befindet sich im Stammverzeichnis Ihrer Website. Erfahren Sie, wie Sie eine robots.txt-Datei erstellen, sehen Sie sich Beispiele an…
Crawling infrastructureListe der von Google-Nutzern ausgelösten Fetcher
Von Google-Nutzern ausgelöste Fetcher führen Aktionen im Auftrag von Nutzern aus. Diese Übersicht hilft Ihnen zu verstehen, welche Fetcher Google…
Crawling infrastructureListe der gängigen Google-Crawler
Google-Crawler entdecken und scannen Websites. Diese Übersicht hilft Ihnen, die gängigen Google-Crawler einschließlich des Googlebot-User-Agents zu verstehen.
Crawling infrastructureListe der Google-Sondercrawler
Google-Sondercrawler werden von bestimmten Google-Produkten verwendet, bei denen eine Vereinbarung zwischen der gecrawlten Website und dem Produkt über den Crawling-Prozess…
Crawling infrastructureVerwaltung des Crawlings von URLs mit facettierter Navigation
Erfahren Sie, was facettierte Navigation ist und wie Sie das Crawling einer großen Anzahl von URLs mit facettierter Navigation durch…
Crawling infrastructureOptimieren Sie Ihr Crawl-Budget
Erfahren Sie, was das Crawl-Budget ist und wie Sie das Crawlen großer und häufig aktualisierter Websites durch Google optimieren können.
Übersicht über Google-Crawler und Fetcher (User-Agents)
Verstehen Sie die technischen Eigenschaften von Google-Crawlern und Fetchern, einschließlich unterstützter Übertragungsprotokolle, Caching und Dateigrößenbeschränkungen.
Crawling infrastructureGoogle-Crawling-Rate reduzieren
Wenn die Crawling-Rate von Google Ihren Server überlastet, lesen Sie dieses Dokument, um zu erfahren, wie Sie die Crawling-Rate von…
Wissenswertes über das Web-Crawling von Google
Erfahren Sie, wie Google das Web crawlt.
Crawling infrastructureAktualisieren Sie Ihre robots.txt-Datei
Mit dem robots.txt-Bericht können Sie prüfen, ob Google Ihre robots.txt-Dateien verarbeiten kann. Befolgen Sie diese Schritte, um aktualisierte robots.txt-Dateien bei…
Crawling infrastructureAnfragen von Google-Crawlern und -Fetchern verifizieren
Sie können überprüfen, ob es sich bei einem Web-Crawler tatsächlich um den Googlebot (oder einen anderen Google User Agent) handelt.…