Wenn Ihre Website ortsabhängige Seiten verwendet (das heißt, Ihre Website gibt je nach ermitteltem Land oder bevorzugter Sprache des Besuchers unterschiedliche Inhalte zurück), crawlt, indexiert oder rankt Google möglicherweise nicht alle Ihre Inhalte für verschiedene Regionen. Dies liegt daran, dass die Standard-IP-Adressen des Googlebot-Crawlers scheinbar in den USA basieren. Darüber hinaus sendet der Crawler HTTP-Anfragen, ohne Accept-Language im Anfrage-Header zu setzen.
Googlebot crawlt zusätzlich zu den US-basierten IP-Adressen mit IP-Adressen außerhalb der USA.
Wie wir schon immer empfohlen haben, sollten Sie den Googlebot wie jeden anderen Nutzer aus einem bestimmten Land behandeln, wenn er von dort zu kommen scheint. Das bedeutet, dass wenn Sie Nutzern mit Sitz in den USA den Zugriff auf Ihre Inhalte sperren, aber Besuchern aus Australien das Anzeigen erlauben, Ihr Server den Googlebot blockieren sollte, wenn er aus den USA zu kommen scheint, ihm aber den Zugriff erlauben sollte, wenn er aus Australien zu kommen scheint.
Weitere Überlegungen
Googlebot verwendet für alle Crawling-Konfigurationen dieselbe User-Agent-Zeichenfolge. Erfahren Sie mehr über
- die von Google-Crawlern verwendeten User-Agent-Zeichenfolgen Sie können.
- geoverteilte Crawls von Googlebot über Reverse-DNS-Lookups überprüfen. Wenn Ihre Website das
- Robots-Exclusion-Protokoll verwendet, stellen Sie sicher, dass Sie es konsistent über alle Regionen hinweg anwenden. Das bedeutet, dassRobots Meta-
Schlagwörterund die
robots.txt-Datei in jeder Region dieselben Regeln festlegen müssen. Wie Google sprach- und ortsabhängige Seiten crawlt | Alien Road
So setzen wir das um
Locale-adaptive serving is fragile because Googlebot crawls from a limited set of locations. Where a client insists on it, we make sure the fallback experience is the one Google sees, and we prefer separate URLs whenever the business can accept them.
Verwandte Leistungen