Sie können überprüfen, ob eine Anfrage an Ihren Server tatsächlich
von Googlestammt. Die Verifizierung ist für Crawler wie den Googlebot sowie für andere Anfragen möglich. Dies ist nützlich, wenn Sie befürchten, dass Spammer oder andere Störenfriede auf Ihre Website zugreifen und dabei vorgeben, von Google zu sein.
Google-Crawler und -Fetcher lassen sich in drei Kategorien unterteilen:
| Typ | Beschreibung | Reverse-DNS-Maske | IP-Bereiche |
|---|---|---|---|
| Häufige Crawler | Die gängigen Crawler, die für Google-Produkte (wie den Googlebot) verwendet werden. Sie respektieren stets die robots.txt-Regeln für automatische Crawls. | crawl-***-***-***-***.googlebot.com odergeo-crawl-***-***-***-***.geo.googlebot.com | common-crawlers.json |
| Spezielle Crawler | Crawler oder Fetcher, die spezifische Funktionen für Google-Produkte (wie AdsBot) ausführen, bei denen eine Vereinbarung zwischen der gecrawlten Website und dem Produkt bezüglich des Zugriffs besteht, oder die für missbrauchsspezifisches Crawling oder Fetchen eingesetzt werden. Diese Crawler oder Fetcher respektieren die robots.txt-Regeln möglicherweise oder auch nicht. | rate-limited-proxy-***-***-***-***.google.com | special-crawlers.json |
| Vom Nutzer ausgelöste Fetcher | Tools und Produktfunktionen, bei denen der Endnutzer einen Abruf auslöst. Zum Beispiel Google Site Verifier agitiert auf Anfrage eines Nutzers. Da der Abruf von einem Nutzer angefordert wurde, ignorieren diese Fetcher die robots.txt-Regeln. Von Google gesteuerte Fetcher stammen von IPs im user-triggered-fetchers-google.json Objekt und lösen sich auf zu einemgoogle.com Hostnamen. IPs im user-triggered-fetchers.json Objekt lösen sich auf zu gae.googleusercontent.com | Hostnamen. Diese IPs werden zum Beispiel verwendet, wenn eine auf Google Cloud (GCP) betriebene Website eine Funktion besitzt, die das Abrufen externer RSS-Feeds auf Anfrage des Website-Nutzers erfordert. ***-***-***-***.gae.googleusercontent.comoder | google-proxy-***-***-***-***.google.com, user-triggered-fetchers.jsonuser-triggered-fetchers-google.json , |
und
- user-triggered-agents.jsonEs gibt zwei Methoden zur Verifizierung von Google-Anfragen:
- Manuell: Verwenden Sie für einmalige Abfragen Befehlszeilentools. Diese Methode ist für die meisten Anwendungsfälle ausreichend.
Automatisch
- : Verwenden Sie für groß angelegte Abfragen eine automatische Lösung, um die IP-Adresse eines Crawlers mit der Liste der veröffentlichten Google-IP-Adressen abzugleichen.
Befehlszeilentools verwendenFühren Sie eine Reverse-DNS-Abfrage für die zugreifende IP-Adresse aus Ihren Protokollen durch, indem Sie den Befehl - host
verwenden.,Verifizieren Sie, dass der Domainname entwedergooglebot.com
google.com. - , oder
googleusercontent.com
ist. Führen Sie eine Forward-DNS-Abfrage für den in Schritt 1 abgerufenen Domainnamen durch, indem Sie den Befehl - host
für den abgerufenen Domainnamen verwenden.
Verifizieren Sie, dass dieser mit der ursprünglichen zugreifenden IP-Adresse aus Ihren Protokollen übereinstimmt.
Beispiel 1:
Beispiel 2:
Beispiel 3:
- Automatische Lösungen verwenden
- Alternativ können Sie den Googlebot anhand der IP-Adresse identifizieren, indem Sie die IP-Adresse des Crawlers mit den IP-Bereichslisten der Google-Crawler und -Fetcher abgleichen:
- Häufige Crawler wie der Googlebot
- Spezielle Crawler wie AdsBot
- Vom Nutzer ausgelöste Fetcher (Nutzer)
Vom Nutzer ausgelöste Fetcher (Google)
Vom Nutzer ausgelöste AgentenFür andere Google-IP-Adressen, von denen aus auf Ihre Website zugegriffen werden kann (zum Beispiel
Apps Scripts), gleichen Sie die zugreifende IP-Adresse mit der allgemeinen
Liste der Google-IP-Adressen.
So setzen wir das um
Verification by reverse DNS is the only reliable way to separate real Googlebot from crawlers that spoof the user agent. We build this into the client’s log pipeline rather than checking manually.
Verwandte Leistungen