El analizador de robots.txt realiza tres tareas: validar el archivo, probar URLs específicas contra él y mantener un historial de cambios. La tercera es la que nadie usa y la que resuelve los incidentes más rápido.
Validación
Para un sitio verificado, el archivo aparece automáticamente; de lo contrario, introduzca la dirección. Las secciones dirigidas a Yandex (User-agent: Yandex o *) se comprueban con las propias reglas de Yandex, y las demás secciones con el estándar general, razón por la cual un archivo que pasa un verificador genérico aún puede fallar aquí.
Los resultados se presentan como advertencias (desviaciones que la herramienta puede corregir por sí misma o posibles errores tipográficos) y errores (una línea, sección o archivo completo que no se puede procesar).
Probar URLs: la parte importante
La sección Comprobar si las URLs están permitidas toma una lista de direcciones, completas o relativas, y marca cada una como permitida o bloqueada. Esta es la única forma confiable de saber qué hace el archivo, porque aplica las reglas de precedencia reales: un bloqueo de Yandex anula el comodín, y un bloqueo de robot específico anula a ambos.
Pruebe ambas direcciones: URLs que deben ser rastreables y URLs que no deben serlo. Un archivo sintácticamente perfecto que bloquea el directorio incorrecto no reporta ningún error.
Historial de cambios
Seis meses de historial, hasta 100 versiones guardadas, descargables. Cuando la indexación cambia repentinamente, la primera pregunta es si este archivo cambió, y esto lo responde con una fecha, sin necesidad de acceder al registro de despliegue de nadie. Combinado con la notificación “robots.txt modificado”, convierte una categoría invisible de incidente en una rastreable.
Práctica de trabajo
Diseñe en la herramienta, valide, pruebe la lista de URLs y luego cópiela al sitio. Editar el archivo en vivo y comprobarlo después es cómo los sitios pasan quince días bloqueados; y el archivo se recupera varias veces al día, por lo que un error se propaga rápidamente.
Cómo lo aplicamos
The change history has settled more than one argument for us about when a site stopped being crawled. We also draft in the tool rather than editing live, because robots.txt is refetched within hours and a wrong Disallow is expensive in a way most edits are not. Testing URLs in both directions is the habit that catches rules of the wrong precision.
Servicios relacionados