Nuevo User Agent para News

Miércoles, 2 de diciembre de 2009

Hoy anunciamos un nuevo User Agent para robots.txt llamado Googlebot-News que ofrece a los editores aún más control sobre su contenido. En caso de que no hayas oído hablar de
robots.txt, es un estándar web que se ha utilizado
desde 1994
y que cuenta con el respaldo de los principales motores de búsqueda y “robots” bienintencionados que procesan la web. Cuando un motor de búsqueda comprueba si tiene permiso para rastrear e indexar una página web, el mecanismo de “comprobar si se nos permite rastrear esta página” es robots.txt.

Los editores podían ponerse en contacto con nosotros fácilmente
a través de un formulario
si no querían aparecer en Google News pero sí querían estar en el índice de búsqueda web de Google. Ahora, los editores pueden gestionar su contenido en Google News de una manera aún más automatizada. Los propietarios de sitios web Googlebot-News pueden simplemente añadir reglas específicas a su archivo robots.txt. Al igual que los Googlebot y Googlebot-Image User Agents, el nuevo
Googlebot-News User Agent se puede utilizar para especificar qué páginas de un sitio web deben ser rastreadas y, en última instancia, aparecer en Google News.

Aquí tienes algunos ejemplos para editores:

Incluir páginas tanto en la búsqueda web de Google como en News:

Este es el caso más sencillo. De hecho, ni siquiera se requiere un archivo robots.txt para este caso.

Incluir páginas en la búsqueda web de Google, pero no en News:

Este archivo robots.txt indica que no hay archivos bloqueados para el rastreador web general de Google, llamado Googlebot, pero el User Agent Googlebot-News está bloqueado para todos los archivos del sitio web.

Incluir páginas en Google News, pero no en la búsqueda web de Google:

Al analizar un archivo robots.txt, Google cumple con la regla más específica. Las dos primeras líneas nos indican que Googlebot (el User Agent para el índice web de Google) tiene bloqueado el rastreo de cualquier página del sitio. La siguiente regla, que se aplica al User Agent más específico de Google News, anula el bloqueo de Googlebot y da permiso a Google News para rastrear páginas del sitio web.

Bloquear diferentes conjuntos de páginas de la búsqueda web de Google y Google News:

Las páginas bloqueadas de la búsqueda web de Google y Google News se pueden controlar de forma independiente. Este archivo robots.txt bloquea los artículos de noticias recientes (URL en la carpeta /latest_news) de la búsqueda web de Google, pero les permite aparecer en Google News. Por el contrario, bloquea el contenido prémium (URL en la carpeta /archives) de Google News, pero les permite aparecer en la búsqueda web de Google.

Evitar que la búsqueda web de Google y Google News rastreen páginas:

Este archivo robots.txt indica a Google que Googlebot, el User Agent de nuestro rastreador de búsqueda web, no debe rastrear ninguna página del sitio. Como no se proporciona ninguna regla específica para Googlebot-News, nuestra búsqueda de News se adherirá a la directriz general para Googlebot y no rastreará páginas para Google News.

Para algunas consultas, mostramos resultados de Google News en un cuadro o sección independiente en la página de resultados de búsqueda web, junto con nuestros resultados de búsqueda web habituales. A veces también hacemos esto para Imágenes, Vídeos, Mapas y Productos. Esto se conoce como
resultados de búsqueda universal. Dado que Google News impulsa los resultados de búsqueda universal de “News”, si bloqueas el
Googlebot-News User Agent, las noticias de tu sitio web no se incluirán en los resultados de búsqueda universal.

Actualmente estamos probando nuestro soporte para el nuevo User Agent. Si ves algún problema
por favor háznoslo saber. Ten en cuenta que
es posible que Google
devuelva un enlace a una página en algunas situaciones, incluso cuando no hayamos rastreado esa página. Si deseas
leer más sobre robots.txt, proporcionamos documentación adicional en nuestro sitio web. Esperamos que los webmasters disfruten de la flexibilidad y la gestión más sencilla que ofrece el User Agent Googlebot-News.

Escrito por
Jonathan Simon,
Analista de Tendencias para Webmasters