Ein neuer Googlebot User-Agent zum Crawlen von Smartphone-Inhalten

Donnerstag, 23. Januar 2014

Im Laufe der Jahre hat Google verschiedene Crawler verwendet, um Inhalte für klassische Mobiltelefone und Smartphones zu crawlen und zu indizieren. Diese mobilgerätespezifischen Crawler wurden alle als Googlebot-Mobile bezeichnet. Klassische Handys und Smartphones haben jedoch erheblich unterschiedliche Gerätefähigkeiten, und wir haben Fälle erlebt, in denen ein Webmaster versehentlich das Crawlen oder Indizieren von Smartphones blockiert hat, obwohl er eigentlich nur das Crawlen oder Indizieren von klassischen Handys blockieren wollte. Diese Mehrdeutigkeit machte es für Google unmöglich, Smartphone-Inhalte einiger Websites zu indizieren oder zu erkennen, dass diese Websites für Smartphones optimiert sind.

Ein neuer Googlebot für Smartphones

Um die Situation zu klären und Webmastern größere Kontrolle zu geben, werden wir “Googlebot-Mobile” für Smartphones ab in 3-4 Wochen als User-Agent einstellen. Von da an wird sich der User-Agent für Smartphones einfach als “Googlebot” identifizieren, aber dennoch im
mobil anderen Bereich des User-Agent -Strings aufgeführt werden. Hier sind die
neuen und alten User-Agents:

Der neue Googlebot für Smartphones User-Agent

:

(aktualisiert im August 2015)

Der Googlebot-Mobile für Smartphones User-Agent , den wir bald einstellen werden:

Diese Änderung betrifft nur Googlebot-Mobile für Smartphones. Der User-Agent des regulären Googlebot ändert sich nicht, und die verbleibenden beiden Googlebot-Mobile-Crawler verweisen weiterhin auf klassische Handys in ihren User-Agent -Strings; zur Referenz sind dies:

Regulärer Googlebot User-Agent:

Die beiden Googlebot-Mobile User-Agents für klassische Mobiltelefone:

Sie können Ihre Website testen mit der
Funktion “Abruf wie durch Google” in den Webmaster-Tools,
und Sie können eine vollständige Liste unserer
bestehenden Crawler in der Hilfe einsehen.

Crawling und Indizierung

Bitte beachten Sie diese wichtige Auswirkung des User-Agent -Updates: Der neue
Googlebot für Smartphones Crawler folgt den robots.txt-, robots -Meta- Tag- und HTTP-Header-Regeln für Googlebot anstelle von Googlebot-Mobile. Wenn beispielsweise der neue Crawler bereitgestellt wird, blockiert diese robots.txt-Regel das gesamte Crawling durch den neuen Googlebot für Smartphones User-Agentsowie den regulären
Googlebot:

Diese robots.txt-Regel blockiert das Crawling durch die Crawler für klassische Mobiltelefone von Google:

Basierend auf unseren internen Analysen betrifft dieses Update weniger als 0,001 % der URLs und gibt Webmastern gleichzeitig eine größere Kontrolle über das Crawling und die Indizierung ihrer Inhalte. Wie immer können Sie bei Fragen:

• Lesen Sie unsere
  Empfehlungen für die Erstellung von für Smartphones optimierten Websites
• Erfahren Sie mehr über
  die Steuerung von Googlebot-Crawling und -Indizierung
• Fragen Sie in unseren
  Webmaster-Hilfeforen
  oder besuchen Sie eine unserer
  Webmaster Central Bürozeiten-Hangouts.

Veröffentlicht von Zhijian He, Smartphone Search Engineer