Análisis de un archivo robots.txt

10 de febrero de 2006

A principios de esta semana, le informamos sobre una función que pusimos a disposición a través del programa Sitemaps que
analiza el archivo robots.txt de un sitio.
Aquí hay más detalles sobre esa función.

Qué significa el análisis

La herramienta de robots.txt de Sitemaps lee el archivo robots.txt de la misma manera que lo hace Googlebot. Si la herramienta interpreta una línea como un error de sintaxis, Googlebot no entiende esa línea. Si la herramienta muestra que se permite una URL, Googlebot interpreta esa URL como permitida.

Esta herramienta proporciona resultados solo para los agentes de usuario de Google (como Googlebot). Es posible que otros bots no interpreten el archivo robots.txt de la misma manera. Por ejemplo, Googlebot admite una definición extendida del estándar. Entiende Allow: líneas, así como
* y $. Por lo tanto, aunque la herramienta muestra las líneas que incluyen estas extensiones como entendidas, recuerde que esto se aplica solo a Googlebot y no necesariamente a otros bots que puedan rastrear su sitio.

Sitios de subdirectorios

Un archivo robots.txt solo es válido cuando se encuentra en la raíz de un sitio. Por lo tanto, si está viendo un sitio en su cuenta que se encuentra en un subdirectorio (como
https://www.example.com/mysite/), le mostramos información sobre el archivo robots.txt en la raíz (https://www.example.com/robots.txt). Es posible que no tenga acceso a este archivo, pero se lo mostramos porque el archivo robots.txt puede afectar el rastreo de su sitio de subdirectorio y es posible que desee asegurarse de que permite las URL como espera.

Prueba de acceso a directorios

Si prueba una URL que se resuelve en un archivo (como
https://www.example.com/myfile.html), esta herramienta puede determinar si el archivo robots.txt permite o bloquea ese archivo. Si prueba una URL que se resuelve en un directorio (como
https://www.example.com/folder1/), esta herramienta puede determinar si el archivo robots.txt permite o bloquea el acceso a esa URL, pero no puede informarle sobre el acceso a los archivos dentro de esa carpeta. El archivo robots.txt puede haber establecido restricciones en las URL dentro de la carpeta que son diferentes a la URL de la carpeta en sí.

Considere este archivo robots.txt:

Si prueba https://www.example.com/folder1/, la herramienta dirá que está bloqueada. Pero si prueba https://www.example.com/folder1/myfile.html, verá que no está bloqueada aunque se encuentre dentro de folder1.

Sintaxis no entendida

Es posible que vea un error de “sintaxis no entendida” por algunas razones diferentes. La más común es que Googlebot no pudo analizar la línea. Sin embargo, otras posibles razones son:

• El sitio no tiene un archivo robots.txt, pero el servidor devuelve un estado de 200 para páginas que no se encuentran. Si el servidor está configurado de esta manera, cuando Googlebot solicita el archivo robots.txt, el servidor devuelve una página. Sin embargo, esta página no es en realidad un archivo robots.txt, por lo que Googlebot no puede procesarla.
• El archivo robots.txt no es un archivo robots.txt válido. Si Googlebot solicita un archivo robots.txt y recibe un tipo de archivo diferente (por ejemplo, un archivo HTML), esta herramienta no mostrará un error de sintaxis para cada línea del archivo. Más bien, muestra un error para todo el archivo.
• El archivo robots.txt contiene una regla que Googlebot no sigue. Algunos agentes de usuario obedecen reglas distintas a la
  del estándar robots.txt. Si Googlebot encuentra una de las reglas adicionales más comunes, la herramienta las enumera como errores de sintaxis.

Problemas conocidos

Estamos trabajando en algunos problemas conocidos con la herramienta, incluida la forma en que la herramienta procesa las mayúsculas y minúsculas y el análisis con agentes de usuario de Google que no sean Googlebot. Lo mantendremos informado a medida que resolvamos estos problemas.

Publicado por Vanessa Fox