Martes, 3 de junio de 2008
Los editores web a menudo nos preguntan cómo pueden maximizar su visibilidad en la web. Gran parte de esto tiene que ver con la optimización de motores de búsqueda, asegurándose de que el contenido de un editor aparezca en todos los motores de búsqueda.
Sin embargo, hay algunos casos en los que los editores necesitan comunicar más información a los motores de búsqueda, como el hecho de que no quieren que cierto contenido aparezca en los resultados de búsqueda. Y para eso utilizan algo llamado
Protocolo de Exclusión de Robots (REP), que permite a los editores controlar cómo los motores de búsqueda acceden a su sitio: ya sea controlando la visibilidad de su contenido en todo el sitio (a través de robots.txt) o a un nivel mucho más granular para páginas individuales (a través de etiquetas meta ).
Desde su introducción a principios de los 90, el REP se ha convertido en el estándar de facto mediante el cual los editores web especifican qué partes de su sitio quieren que sean públicas y qué partes quieren mantener privadas. Hoy en día, millones de editores utilizan el REP como una forma fácil y eficiente de comunicarse con los motores de búsqueda. Su fuerza radica en su flexibilidad para evolucionar en paralelo con la web, su implementación universal en los principales motores de búsqueda y todos los robots principales, y en la forma en que funciona para cualquier editor, sin importar cuán grande o pequeño sea.
Aunque el REP es observado por prácticamente todos los motores de búsqueda, nunca nos habíamos reunido para detallar cómo interpretamos cada uno las diferentes etiquetas. Durante los últimos años, hemos trabajado con Microsoft y Yahoo! para presentar estándares como
Sitemaps
y ofrecer herramientas adicionales para webmasters. Desde el anuncio original, hemos entregado y seguiremos entregando más mejoras basadas en lo que escuchamos de la comunidad.
Hoy, con ese mismo espíritu de hacer más simple la vida de los webmasters, publicamos una documentación detallada sobre cómo implementamos el REP. Esto proporcionará una implementación común para los webmasters y facilitará que cualquier editor sepa cómo serán manejadas sus reglas REP por los tres principales proveedores de búsqueda, haciendo que el REP sea más intuitivo y amigable para aún más editores en la web.
Así que, sin más preámbulos…
Reglas REP comunes
La siguiente lista muestra todas las características principales del REP implementadas actualmente por Google, Microsoft y Yahoo!. Con cada característica, verá qué hace y cómo debe comunicarla.
Cada una de estas reglas se puede especificar para que sea aplicable a todos los rastreadores o a rastreadores específicos dirigidos a agentes de usuario específicos, que es cómo se identifica cualquier rastreador. Aparte de la identificación por agente de usuario, cada uno de nuestros rastreadores también admite autenticación basada en DNS inverso para permitirle verificar la identidad del rastreador.
Reglas de Robots.txt
| Regla | Impacto | Casos de uso |
Disallow | Le indica a un rastreador que no indexe su sitio; sin embargo, el archivo robots.txt de su sitio aún debe ser rastreado para encontrar esta regla, aunque las páginas no permitidas no serán rastreadas. | Página ‘No Rastrear’ de un sitio. Esta regla en la sintaxis predeterminada evita que se rastreen ruta(s) específica(s) de un sitio. |
Allow | Le indica a un rastreador las páginas específicas de su sitio que desea que se indexen para que pueda usar esto en combinación con Disallow | Esto es útil en particular en conjunción con cláusulas Disallow, donde se prohíbe una gran sección de un sitio excepto una pequeña sección dentro del mismo |
$ Soporte de comodines | Le indica a un rastreador que coincida con todo desde el final de una URL: gran cantidad de directorios sin especificar páginas específicas | Archivos ‘No Rastrear’ con patrones específicos, por ejemplo, archivos con ciertos tipos de archivo que siempre tienen una determinada extensión, digamos pdf |
* Soporte de comodines | Le indica a un rastreador que coincida con una secuencia de caracteres | URL de ‘No Rastrear’ con ciertos patrones, por ejemplo, no permitir URL con identificadores de sesión u otros parámetros extraños |
Sitemaps Ubicación | Le indica a un rastreador dónde puede encontrar sus Sitemaps | Apunte a otras ubicaciones donde existan fuentes para ayudar a los rastreadores a encontrar URL en un sitio |
HTML meta reglas
| Regla | Impacto | Casos de uso |
noindex meta etiqueta | Le indica a un rastreador que no indexe una página determinada | No indexar la página. Esto permite que las páginas que se rastrean se mantengan fuera del índice. |
nofollow meta etiqueta | Le indica a un rastreador que no siga un enlace a otro contenido en una página determinada | Evite que las áreas de escritura pública sean abusadas por spammers que buscan crédito de enlaces. Al usarnofollow le permite al robot saber que está descartando todos los enlaces salientes de esta página |
nosnippet meta etiqueta | Le indica a un rastreador que no muestre fragmentos en los resultados de búsqueda para una página determinada | No presentar ningún fragmento para la página en los resultados de búsqueda |
noarchive meta etiqueta | Le indica a un motor de búsqueda que no muestre un enlace “en caché” para una página determinada | No poner a disposición de los usuarios una copia de la página desde la caché del motor de búsqueda |
noodp meta etiqueta | Le indica a un rastreador que no use un título y un fragmento del Open Directory Project para una página determinada | No use el título y el fragmento de ODP (Open Directory Project) para esta página |
Estas reglas son aplicables para todas las formas de contenido. Se pueden colocar en el HTML de una página o en la cabecera HTTP para contenido que no sea HTML, por ejemplo, PDF, video, etc., utilizando un
X-Robots-Tag. Puede leer más al respecto aquí:
X-Robots-Tag Publicación o en
fr
sobre el uso de robots y
nuestra serie de publicaciones meta etiquetas.
Otras reglas de REP
Las reglas enumeradas anteriormente son utilizadas por Microsoft, Google y Yahoo!, pero es posible que no sean implementadas por todos los demás motores de búsqueda. Además, las siguientes reglas son compatibles con Google, pero no son compatibles con los tres como las anteriores:
unavailable_after meta etiqueta – Le indica a un rastreador
cuándo debe “caducar” una página,es decir, después de qué fecha no debe aparecer en los resultados de búsqueda.
noimageindex meta etiqueta – Le indica a un rastreador
que no indexe imágenes de una página determinada
en los resultados de búsqueda.
notranslate meta etiqueta – Le indica a un rastreador
que no traduzca el contenido de una página a diferentes idiomas
para los resultados de búsqueda.
De cara al futuro, planeamos seguir trabajando juntos para garantizar que, a medida que surjan nuevos usos de REP, podamos hacer que sea lo más fácil posible para los webmasters utilizarlos. ¡Así que estad atentos para más!
Más información
Puedes obtener más información sobre robots.txt en nuestra
documentación y en
el Centro de ayuda para webmasters de Google,que contiene mucha información útil, que incluye:
- Cómo crear un archivo robots.txt
- Descripciones de cada user-agent que utiliza Google
- Cómo usar la coincidencia de patrones (pattern matching)
- Con qué frecuencia volvemos a rastrear su archivo robots.txt
También hemos publicado varias entradas en nuestro blog para webmasters sobre robots.txt que te pueden resultar útiles, tales como:
También hay una
lista útil de los bots
utilizados por los principales motores de búsqueda.
Para ver lo que nuestros colegas tienen que decir, también puedes consultar las publicaciones del blog publicadas por
Yahoo! y
Microsoft.
Cómo lo aplicamos
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Servicios relacionados