fragen hören, ob Suchmaschinen eine Möglichkeit bieten können, zu erkennen, ob ein Bot authentisch ist. Schließlich könnte jeder Spammer seinen Bot „Googlebot“ nennen und behaupten, Google zu sein. Welchen Bots vertrauen Sie also und welche blockieren Sie?
Die häufigste Anfrage, die wir hören, ist, eine Liste von Googlebot-IP-Adressen an einem öffentlichen Ort zu veröffentlichen. Das Problem dabei ist, dass, wenn sich die IP-Bereiche unserer Crawler ändern, nicht jeder weiß, dass er nachsehen muss. Tatsächlich hat das Crawl-Team die Googlebot-IPs vor einigen paar Jahren migriert, und es war ein echter Aufwand, Webmaster zu benachrichtigen, die einen IP-Bereich fest codiert hatten. Daher haben die Crawl-Leute eine andere Möglichkeit zur Authentifizierung des Googlebots bereitgestellt. Hier ist eine Antwort von einem der Crawl-Mitarbeiter (mit deren Erlaubnis zitiert):
Es scheint der beste Weg zu sein, Webmaster anzuweisen, DNS für eine Einzelfallverifizierung zu verwenden. Ich denke, die empfohlene Technik wäre, eine Reverse-DNS-Suche durchzuführen, zu verifizieren, dass sich der Name in der googlebot.com-Domain befindet, und dann eine entsprechende Forward-DNS->IP-Suche mit diesem googlebot.com-Namen durchzuführen. Zum Beispiel: Ich glaube nicht, dass eine reine Reverse-DNS-Suche ausreicht, da ein Spoofer ein Reverse-DNS so einrichten könnte, dass es auf.
crawl-a-b-c-d.googlebot.com
verweist.
Alien Road
So setzen wir das um
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
