Neuer User Agent für News

Mittwoch, 2. Dezember 2009

Heute kündigen wir einen neuen User Agent für robots.txt namens Googlebot-News an, der Publishern noch mehr Kontrolle über ihre Inhalte gibt. Falls Sie noch nicht davon gehört haben
robots.txt, das ist ein webweiter Standard, der
seit 1994
in Verwendung ist und von allen großen Suchmaschinen sowie gutartigen „Robotern“, die das Web verarbeiten, unterstützt wird. Wenn eine Suchmaschine überprüft, ob sie die Erlaubnis hat, eine Webseite zu crawlen und zu indexieren, ist der Mechanismus „Prüfen, ob wir diese Seite crawlen dürfen“ robots.txt.

Publisher konnten uns ganz einfach kontaktieren
über ein Formular
wenn sie nicht in Google News aufgenommen werden wollten, aber im Web-Suchindex von Google erscheinen mochten. Jetzt können Publisher ihre Inhalte in Google News noch automatisierter verwalten. Website-Besitzer Googlebot-News können einfach spezifische Regeln zu ihrer robots.txt-Datei hinzufügen. Ähnlich wie die Googlebot und Googlebot-Image User Agents kann der neue
Googlebot-News User Agent verwendet werden, um festzulegen, welche Seiten einer Website gecrawlt werden und letztendlich in Google News erscheinen sollen.

Hier sind ein paar Beispiele für Publisher:

Seiten sowohl in die Websuche von Google als auch in News aufnehmen:

Dies ist der einfachste Fall. Tatsächlich ist für diesen Fall nicht einmal eine robots.txt-Datei erforderlich.

Seiten in die Websuche von Google aufnehmen, aber nicht in News:

Diese robots.txt-Datei besagt, dass für den allgemeinen Web-Crawler von Google namens Googlebotkeine Dateien gesperrt sind, der User Agent Googlebot-News jedoch für alle Dateien auf der Website blockiert ist.

Seiten in Google News aufnehmen, aber nicht in die Websuche von Google:

Beim Parsen einer robots.txt-Datei hält sich Google an die spezifischste Regel. Die ersten beiden Zeilen besagen, dass Googlebot (der User Agent für den Webindex von Google) vom Crawlen jeglicher Seiten der Website ausgeschlossen ist. Die nächste Regel, die für den spezifischeren User Agent für Google News gilt, hebt die Blockierung von Googlebot auf und erteilt Google News die Erlaubnis, Seiten von der Website zu crawlen.

Verschiedene Seitengruppen von der Websuche von Google und Google News blockieren:

Die von der Websuche von Google und Google News blockierten Seiten können unabhängig voneinander gesteuert werden. Diese robots.txt-Datei blockiert aktuelle Nachrichtenartikel (URLs im Ordner /latest_news) von der Websuche von Google, erlaubt ihnen aber, in Google News zu erscheinen. Umgekehrt blockiert sie Premium-Inhalte (URLs im Ordner /archives) von Google News, erlaubt ihnen jedoch, in der Websuche von Google zu erscheinen.

Die Websuche von Google und Google News davon abhalten, Seiten zu crawlen:

Diese robots.txt-Datei teilt Google mit, dass Googlebot, der User Agent für unseren Websuche-Crawler, keine Seiten der Website crawlen soll. Da keine spezifische Regel für Googlebot-News angegeben ist, hält sich unsere News-Suche an die allgemeinen Richtlinien für Googlebot und crawlt keine Seiten für Google News.

Für einige Suchanfragen zeigen wir Ergebnisse aus Google News in einem separaten Feld oder Bereich auf der Suchergebnisseite der Websuche an, zusammen mit unseren regulären Websuchergebnissen. Das tun wir manchmal auch für Bilder, Videos, Karten und Produkte. Dies ist bekannt als
Universal Search-Ergebnisse. Da Google News universelle „News“-Suchergebnisse antreibt, werden die Nachrichtenbeiträge Ihrer Website nicht in die Universal Search-Ergebnisse aufgenommen, wenn Sie den
Googlebot-News User Agent blockieren.

Wir testen derzeit unsere Unterstützung für den neuen User Agent. Wenn Sie auf Probleme stoßen
lassen Sie es uns bitte wissen. Bitte beachten Sie, dass
es für Google möglich ist
in manchen Situationen einen Link zu einer Seite zurückzugeben, selbst wenn wir diese Seite nicht gecrawlt haben. Wenn Sie möchten
mehr über robots.txt lesen, stellen wir auf unserer Website zusätzliche Dokumentation zur Verfügung. Wir hoffen, dass Webmaster die Flexibilität und einfachere Verwaltung genießen werden, die der Googlebot-News User Agent bietet.

Verfasst von
Jonathan Simon,
Webmaster Trends Analyst