Nouvel agent utilisateur pour News

Mercredi 2 décembre 2009

Aujourd’hui, nous annonçons un nouvel agent utilisateur pour robots.txt appelé Googlebot-News qui offre aux éditeurs encore plus de contrôle sur leur contenu. Au cas où vous n’auriez pas entendu parler de
robots.txt, c’est un standard du web qui est utilisé
depuis 1994
et qui bénéficie du soutien de tous les principaux moteurs de recherche et des “robots” bienveillants qui traitent le web. Lorsqu’un moteur de recherche vérifie s’il a l’autorisation d’explorer et d’indexer une page web, le mécanisme “vérifier si nous sommes autorisés à explorer cette page” est robots.txt.

Les éditeurs pouvaient facilement nous contacter
via un formulaire
s’ils ne souhaitaient pas être inclus dans Google News mais voulaient figurer dans l’index de recherche web de Google. Désormais, les éditeurs peuvent gérer leur contenu dans Google News de manière encore plus automatisée. Les propriétaires de sites Googlebot-News peuvent simplement ajouter des règles spécifiques à leur fichier robots.txt. Semblable aux agents utilisateurs Googlebot et Googlebot-Image , le nouveau
Googlebot-News agent utilisateur peut être utilisé pour spécifier quelles pages d’un site web doivent être explorées et finalement apparaître dans Google News.

Voici quelques exemples pour les éditeurs :

Inclure des pages à la fois dans la recherche web de Google et dans News :

C’est le cas le plus simple. En fait, aucun fichier robots.txt n’est même requis pour ce cas.

Inclure des pages dans la recherche web de Google, mais pas dans News :

Ce fichier robots.txt indique qu’aucun fichier n’est bloqué pour le robot d’exploration web général de Google, appelé Googlebot, mais l’agent utilisateur Googlebot-News est bloqué pour tous les fichiers du site web.

Inclure des pages dans Google News, but not Google web search :

Lors de l’analyse d’un fichier robots.txt, Google obéit à la règle la plus spécifique. Les deux premières lignes nous indiquent que Googlebot (l’agent utilisateur pour l’index web de Google) est bloqué pour l’exploration de toutes les pages du site. La règle suivante, qui s’applique à l’agent utilisateur plus spécifique de Google News, annule le blocage de Googlebot et donne l’autorisation à Google News d’explorer les pages du site web.

Bloquer différents ensembles de pages de la recherche web de Google et de Google News :

Les pages bloquées de la recherche web de Google et de Google News peuvent être contrôlées indépendamment. Ce fichier robots.txt bloque les articles d’actualité récents (URL dans le dossier /latest_news) de la recherche web de Google, mais leur permet d’apparaître sur Google News. Inversement, il bloque le contenu premium (URL dans le dossier /archives) de Google News, mais leur permet d’apparaître dans la recherche web de Google.

Empêcher la recherche web de Google et Google News d’explorer des pages :

Ce fichier robots.txt indique à Google que Googlebot, l’agent utilisateur de notre robot d’exploration de recherche web, ne doit explorer aucune page du site. Comme aucune règle spécifique pour Googlebot-News n’est fournie, notre recherche News se conformera aux directives générales pour Googlebot et n’explorera pas les pages pour Google News.

Pour certaines requêtes, nous affichons des résultats de Google News dans un encadré ou une section distincte sur la page des résultats de recherche web, ainsi que nos résultats de recherche web habituels. Nous le faisons parfois aussi pour les images, les vidéos, les cartes et les produits. C’est ce qu’on appelle
résultats de recherche universelle. Étant donné que Google News alimente les résultats de recherche universelle “News”, si vous bloquez l’agent utilisateur
Googlebot-News , les actualités de votre site ne seront pas incluses dans les résultats de recherche universelle.

Nous testons actuellement notre prise en charge du nouvel agent utilisateur. Si vous rencontrez des problèmes
veuillez nous le faire savoir. Notez qu’
il est possible pour Google
de renvoyer un lien vers une page dans certaines situations, même lorsque nous n’avons pas exploré cette page. Si vous souhaitez
en savoir plus sur robots.txt, nous fournissons une documentation supplémentaire sur notre site web. Nous espérons que les webmasters apprécieront la flexibilité et la gestion simplifiée offertes par l’agent utilisateur Googlebot-News.

Écrit par
Jonathan Simon,
Analyste des tendances pour les webmasters