Überprüfung von Googlebot: So führen Sie Reverse-DNS-Lookups für die Sicherheit durch

Die Überprüfung des Googlebot-Traffics durch einen Reverse-DNS-Lookup ist die Standardmethode, um zu bestätigen, dass eine Anfrage an Ihren Server tatsächlich von Google stammt. Böswillige Akteure fälschen häufig den Googlebot-User-Agent, um Sicherheitsfilter zu umgehen oder proprietäre Inhalte zu scrapen. Durch die Durchführung einer DNS-Prüfung bestätigen Sie, dass die IP-Adresse in einen Domainnamen innerhalb des googlebot.com- oder google.com-Namensraums aufgelöst wird, was echten Suchverkehr effektiv von unbefugten automatisierten Bots trennt.

Warum ist die Überprüfung von Googlebot-IP-Adressen unerlässlich?

Moderne Webserver haben es mit ständigem automatisiertem Datenverkehr zu tun. Während ein Teil dieses Datenverkehrs von Suchmaschinen stammt, besteht ein Großteil aus Scrapern und Sicherheitsscannern. Wenn Ihre Firewall-Einstellungen zu streng sind, blockieren Sie möglicherweise versehentlich Googlebot, was dazu führt, dass Seiten aus den Suchergebnissen entfernt werden. Wenn Sie hingegen jede Anfrage, die behauptet, ein Bot zu sein, auf eine Whitelist setzen, setzen Sie Ihre Infrastruktur Schwachstellen aus.

Sicherheitsteams kämpfen oft mit dem Gleichgewicht zwischen Zugänglichkeit und Schutz. Wenn eine IP-Adresse behauptet, Googlebot zu sein, liefert sie eine User-Agent-Zeichenfolge, die leicht gefälscht werden kann. Ohne einen sekundären Bestätigungsmechanismus kann Ihr Server nicht zwischen einem hilfreichen Crawler und einem bösartigen Skript unterscheiden, das versucht, Ihre Bandbreite zu verbrauchen oder die Website auf Schwachstellen zu untersuchen.

Wenn Sie alle Bots zulassen, die behaupten, Googlebot zu sein, öffnen Sie Ihre Website für Angriffe. Die Überprüfung fungiert als kritischer Torwächter für Ihren Server. Indem Sie die Quelle jeder Anfrage überprüfen, stellen Sie sicher, dass nur legitimer Suchverkehr Ihre Serverressourcen verbraucht. Dies ist notwendig, um proprietäre Daten zu schützen und die Seitengeschwindigkeit für echte Benutzer aufrechtzuerhalten.

Die Überprüfung der IP-Adresse ist die einzige Möglichkeit, die wahre Identität eines Crawlers zu bestätigen.

Google Search Central

Wie identifiziert sich Googlebot gegenüber Servern?

Googlebot identifiziert sich mithilfe einer spezifischen User-Agent-Zeichenfolge im HTTP-Header der Anfrage. Diese Zeichenfolgen unterscheiden sich für verschiedene Arten von Crawlern, wie z. B. Googlebot Smartphone oder Googlebot Desktop. Da dieser Header jedoch vom Client bereitgestellt wird, ist er für sich genommen kein sicherer Identifikator. Eine Anfrage, die behauptet, Googlebot zu sein, ist nur gültig, wenn bestätigt wird, dass die Quell-IP-Adresse zu Google gehört.

Die Infrastruktur hinter Googlebot ist riesig und nutzt eine große Bandbreite an IP-Adressen, die sich ändern, wenn ihre Netzwerkanforderungen wachsen. Deshalb ist die Überprüfung der IP-Adresse die einzige Möglichkeit, die wahre Identität eines Crawlers zu bestätigen. Durch die Verknüpfung der IP mit einer verifizierten Google-Domain können Administratoren ihre Sicherheitsrichtlinien souverän aufrechterhalten, ohne ihre organische Suchsichtbarkeit zu beeinträchtigen.

In einer typischen Serverumgebung sendet der Crawler eine Anfrage wie ‘Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)’. Da diese Zeichenfolge von jedem kopiert werden kann, muss Ihr Server den DNS-Lookup durchführen, um sicherzustellen, dass die Verbindung von Googles Infrastruktur stammt.

So führen Sie einen manuellen Reverse-DNS-Lookup durch

Sie können die Identität einer IP-Adresse mithilfe von Befehlszeilentools überprüfen, die auf den meisten Betriebssystemen verfügbar sind. Diese Tools fragen das Domain Name System ab, um den Hostnamen zu finden, der mit der spezifischen IP-Adresse verknüpft ist. Befolgen Sie diese Schritte, um eine verdächtige IP zu überprüfen:

• Öffnen Sie Ihr Terminal oder Ihre Eingabeaufforderung auf Ihrem lokalen Computer oder Server.
• Verwenden Sie den Befehl host gefolgt von der IP-Adresse, z. B. ‘host 66.249.66.1’.
• Beobachten Sie die Ausgabe, um zu sehen, ob der Hostname auf googlebot.com oder google.com endet.
• Führen Sie einen Forward-DNS-Lookup für den resultierenden Hostnamen durch, um sicherzustellen, dass er mit der ursprünglichen IP-Adresse übereinstimmt, und schließen Sie so den Überprüfungsprozess ab.

Die manuelle Durchführung dieser Lookups ist nützlich für Stichproben bestimmter Protokolle. Wenn Sie eine verdächtige IP-Adresse identifizieren, die Ihren Server mit hoher Frequenz aufruft, liefert ein einfacher Terminalbefehl eine sofortige Antwort. Wenn der Reverse-DNS-Lookup fehlschlägt oder eine Domain zurückgibt, die nicht mit Google in Verbindung steht, haben Sie eine gefälschte Anfrage identifiziert, die blockiert werden sollte.

Für größere Datensätze ist die manuelle Überprüfung nicht effizient. Sie sollten Skriptsprachen wie Python oder Bash verwenden, um diese Prüfungen anhand Ihrer Zugriffsprotokolle zu automatisieren. Dies ermöglicht es Ihnen, Tausende von Einträgen in Sekunden zu verarbeiten und illegitimen Datenverkehr automatisch ohne manuelles Eingreifen herauszufiltern.

Wie Alien Road dies für die Kundensicherheit anwendet

Bei Alien Road verwalten wir die serverseitige Sicherheit für unsere Kunden, indem wir automatisierte Skripte implementieren, die diese Prüfungen in Echtzeit durchführen. Während unserer Erkundungsphase prüfen wir bestehende Firewall-Regeln, um sicherzustellen, dass sie legitimen Suchverkehr nicht blockieren. Wir richten Protokollanalysetools ein, die eingehende Bot-Muster überwachen und alle IP-Adressen kennzeichnen, die einen gefälschten User-Agent präsentieren, aber den Reverse-DNS-Verifizierungstest nicht bestehen.

Schritte, die wir während der Ersteinrichtung unternehmen

• Überprüfung der Serverprotokolle, um die häufigsten Crawler-IPs und -Muster zu identifizieren.
• Konfiguration von Web Application Firewalls, um nur verifizierte Googlebot-IP-Bereiche zuzulassen.
• Einrichtung automatisierter Warnungen, die unser Team benachrichtigen, wenn sich ein Crawler unregelmäßig verhält.
• Überprüfung der robots.txt-Anweisungen, um sicherzustellen, dass die Website von großen Suchmaschinen indexierbar bleibt.

In einem typischen Engagement stellen wir fest, dass viele Kunden veraltete Firewall-Regeln haben, die legitimen Googlebot-Datenverkehr blockieren. Wir beheben dies, indem wir ihre Sicherheitseinstellungen an die veröffentlichten Richtlinien von Google anpassen. Unser Ziel ist es sicherzustellen, dass bösartige Scraper blockiert werden, während Googlebot jede Seite der Website erreichen kann, um Suchmaschinen-Rankings aufrechtzuerhalten oder zu verbessern.

Was sind die häufigsten Fallstricke bei der Bot-Verifizierung?

Ein häufiger Fehler ist es, sich ausschließlich auf die im HTTP-Header bereitgestellte User-Agent-Zeichenfolge zu verlassen. Viele Benutzer gehen davon aus, dass es sich um Googlebot handeln muss, weil sich eine Anfrage als ‘Googlebot’ identifiziert. Dies ist falsch, da der User-Agent ein selbst gemeldetes Feld ist, das von jedem leicht bearbeitet werden kann. Ein weiteres Problem besteht darin, die zweite Hälfte der Überprüfung nicht durchzuführen: den Forward-DNS-Lookup. Bestätigen Sie immer, dass der Domainname wieder in die ursprüngliche IP-Adresse aufgelöst wird, um Spoofing-Angriffe zu vermeiden.

Ein weiterer Fehler besteht darin, bestimmte IP-Adressen in Ihrer Firewall fest zu kodieren. Da Google seine Infrastruktur aktualisiert, können sich diese IPs im Laufe der Zeit ändern. Wenn Ihre Firewall-Regeln statisch sind, blockieren Sie möglicherweise neue Googlebot-Instanzen, die gerade erst zu ihrem Netzwerk hinzugefügt wurden. Verwenden Sie stattdessen Skripte, die den Verifizierungsstatus jedes Bots, der behauptet, die Suchmaschine zu vertreten, dynamisch überprüfen.

Ignorieren Sie nicht den Aspekt des Ressourcenverbrauchs. Wenn Sie komplexe Skripte ausführen, um jede einzelne Anfrage zu überprüfen, könnten Sie Ihren Server versehentlich verlangsamen. Wir empfehlen, die Ergebnisse Ihrer DNS-Lookups für einen angemessenen Zeitraum zwischenzuspeichern, um sicherzustellen, dass Ihre Sicherheitsmaßnahmen keine negativen Auswirkungen auf die Seitengeschwindigkeit für menschliche Besucher haben.

Wo man diese Woche anfangen sollte

Überprüfen Sie die Zugriffsprotokolle Ihres Servers, um zu sehen, welche Bots Ihre ressourcenintensivsten Seiten anfordern. Wenn Sie ein hohes Verkehrsaufkommen von IPs bemerken, die behaupten, Googlebot zu sein, führen Sie einen manuellen Reverse-DNS-Check für die fünf häufigsten Adressen durch. Wenn diese nicht in eine Google-eigene Domain aufgelöst werden, aktualisieren Sie Ihre Firewall-Regeln, um diese spezifischen Adressen zu blockieren, und stellen Sie sicher, dass Ihre Serverressourcen für legitime Benutzer und Such-Crawler verfügbar bleiben. Diese proaktive Wartung hält Ihr technisches Fundament sicher.