Crawling infrastructureFeedfetcher
Feedfetcher ist die Art und Weise, wie Google Website-Feeds abruft. Lesen Sie diesen Leitfaden, um zu erfahren, was Google Feedfetcher…
Crawling infrastructure
Crawling infrastructureGoogle Read Aloud User-Agent
Google-Read-Aloud ist der User-Agent für den Google Read Aloud-Dienst. Erfahren Sie mehr darüber, wie dieser Dienst für Ihre Website funktionieren…
Crawling infrastructureWie Google die robots.txt-Spezifikation interpretiert
Erfahren Sie spezifische Details zu den verschiedenen robots.txt-Regeln und wie Google die robots.txt-Spezifikation interpretiert.
Crawling infrastructureWie HTTP-Statuscodes die Crawler von Google beeinflussen
Erfahren Sie, wie sich verschiedene HTTP-Statuscodes auf die Crawler von Google auswirken können.
Crawling infrastructureSo schreiben und übermitteln Sie eine robots.txt-Datei
Eine robots.txt-Datei befindet sich im Stammverzeichnis Ihrer Website. Erfahren Sie, wie Sie eine robots.txt-Datei erstellen, sehen Sie sich Beispiele an…
Crawling infrastructureListe der von Google-Nutzern ausgelösten Fetcher
Von Google-Nutzern ausgelöste Fetcher führen Aktionen im Auftrag von Nutzern aus. Diese Übersicht hilft Ihnen zu verstehen, welche Fetcher Google…
Crawling infrastructureListe der gängigen Google-Crawler
Google-Crawler entdecken und scannen Websites. Diese Übersicht hilft Ihnen, die gängigen Google-Crawler einschließlich des Googlebot-User-Agents zu verstehen.
Crawling infrastructureListe der Google-Sondercrawler
Google-Sondercrawler werden von bestimmten Google-Produkten verwendet, bei denen eine Vereinbarung zwischen der gecrawlten Website und dem Produkt über den Crawling-Prozess…
Crawling infrastructureVerwaltung des Crawlings von URLs mit facettierter Navigation
Erfahren Sie, was facettierte Navigation ist und wie Sie das Crawling einer großen Anzahl von URLs mit facettierter Navigation durch…
Crawling infrastructureOptimieren Sie Ihr Crawl-Budget
Erfahren Sie, was das Crawl-Budget ist und wie Sie das Crawlen großer und häufig aktualisierter Websites durch Google optimieren können.
Übersicht über Google-Crawler und Fetcher (User-Agents)
Verstehen Sie die technischen Eigenschaften von Google-Crawlern und Fetchern, einschließlich unterstützter Übertragungsprotokolle, Caching und Dateigrößenbeschränkungen.
Crawling infrastructureGoogle-Crawling-Rate reduzieren
Wenn die Crawling-Rate von Google Ihren Server überlastet, lesen Sie dieses Dokument, um zu erfahren, wie Sie die Crawling-Rate von…
Wissenswertes über das Web-Crawling von Google
Erfahren Sie, wie Google das Web crawlt.
Crawling infrastructureAktualisieren Sie Ihre robots.txt-Datei
Mit dem robots.txt-Bericht können Sie prüfen, ob Google Ihre robots.txt-Dateien verarbeiten kann. Befolgen Sie diese Schritte, um aktualisierte robots.txt-Dateien bei…
Crawling infrastructureAnfragen von Google-Crawlern und -Fetchern verifizieren
Sie können überprüfen, ob es sich bei einem Web-Crawler tatsächlich um den Googlebot (oder einen anderen Google User Agent) handelt.…