Welche User Agents Google verwendet und wie man bestätigt, dass eine Anfrage, die behauptet, Googlebot zu sein, dies auch wirklich ist.
Google betreibt mehrere Crawler. Die wichtigsten sind Googlebot Smartphone (der primäre Crawler für die Indexierung), Googlebot Desktop, Googlebot Image, Googlebot Video sowie separate Agents für AdsBot und vom Nutzer ausgelöste Abrufe.
Verifizierung ist wichtig User-Agent-Strings lassen sich trivial fälschend einsetzen. Scraper behaupten routinemäßig, Googlebot zu sein, um Ratenlimits zu umgehen. Verifizieren Sie dies mit einer Reverse-DNS-Abfrage der anfragenden IP, die zu googlebot.com odergoogle.com
auflösen muss, gefolgt von einer Forward-Abfrage zurück zur selben IP. Google veröffentlicht seine IP-Bereiche außerdem als JSON.
Crawling-Rate
Google passt die Crawling-Rate automatisch basierend auf der Serverantwort an. Anhaltende 5xx-Fehler oder langsame Antworten führen dazu, dass gedrosselt wird. In der Search Console gibt es keine manuelle Einstellung für die Crawling-Rate mehr; wenn Sie die Rate dringend drosseln müssen, geben Sie 503 oder 429 zurück, aber nur kurzzeitig, da anhaltende 5xx-Antworten zur De-Indexierung führen. Alien Road empfiehlt:
So setzen wir das um
Verifying crawler identity matters when a client’s security team starts blocking traffic. We have seen legitimate Googlebot requests blocked by a firewall rule, which removes a site from the index within weeks.
Verwandte Leistungen