Errores de análisis de Robots.txt

El analizador de robots.txt de la consola informa de errores y advertencias, varios de los cuales son extensiones de Yandex — reglas que el archivo puede infringir en Yandex sin romper nada en ningún otro lugar. Esa distinción es la razón por la que esta referencia importa: un archivo que pasa el analizador de Google aún puede ser rechazado aquí.

Errores, con los específicos de Yandex marcados

• La regla no empieza con / o * (Extensión de Yandex) — una regla solo puede empezar con esos caracteres.
• Múltiples User-agent: * reglas — solo se permite un bloque de este tipo.
• Límite de tamaño de archivo excedido (Yandex) — el archivo supera 2048 reglas. Los archivos robots.txt generados en catálogos grandes se chocan con esto.
• Ninguna directiva User-agent antes de una regla — las reglas deben seguir a una línea User-agent . Yandex añade la causa probable: una línea vacía después de User-agent, que termina el bloque. El archivo parece correcto y las reglas debajo de él no aplican a nadie.
• Regla demasiado larga (Yandex) — más de 1024 caracteres.
• URL de Sitemap no válida (Yandex) — el sitemap debe indicarse completo, con protocolo. Una ruta relativa es un error común y silencioso.
• Formato Clean-param no válido (Yandex) — uno o más parámetros separados por &, luego un espacio y después el prefijo de ruta.

Advertencias

Carácter ilegal (cualquier cosa especial que no sea * y $); directiva desconocida (no está en las reglas de Yandex — a menudo es una directiva válida para otro motor, razón por la cual esto es una advertencia en lugar de un error); error de sintaxis en una línea que no se puede interpretar; y error desconocido, que es un caso de soporte.

Errores de validación de URL

Al probar una URL específica contra el archivo: un error de sintaxis en la URL, o “esta URL no pertenece a tu dominio” — lo que normalmente significa que pegaste una dirección alternativa del sitio en lugar de la principal. Dado cómo maneja Yandex los espejos, ese error es fácil de cometer y confuso de leer.

Cómo utilizar el analizador correctamente

No te detengas en “sin errores”. Introduce las URLs que crees que deberían rastrearse y las que crees que deberían bloquearse, y confirma el veredicto para cada una. Un archivo sintácticamente perfecto que bloquea el directorio incorrecto no informa de ningún error.