El robot busca registros que comiencen con User-agent: y coincide con la subcadena Yandex (sin distinguir entre mayúsculas y minúsculas) o *. Las reglas de precedencia son estrictas y producen la mayoría de los errores en robots.txt.
Las reglas de precedencia
- Si
User-agent: Yandexestá presente,User-agent: *se ignora por completo — no se combina, se ignora. Las reglas que asumiste que eran globales no se aplican. - Si existe un bloque para un específico robot de Yandex, como
YandexBot, entonces tanto elYandexbloque general como*no se utilizan para ese robot. - Si ni
Yandexni*se encuentra, el robot tiene acceso ilimitado.
El propio ejemplo de Yandex hace que la trampa sea concreta: un archivo con YandexBot, Yandex y * bloques aplica solo el primero al robot de indexación principal, solo el segundo a otros robots de Yandex y el tercero a ninguno.
Formato
Una línea en blanco debe preceder a cada User-agent directiva. # inicia un comentario, y todo hasta el final de la línea se ignora — lo que, combinado con la regla de que una línea en blanco después de User-agent separa las reglas que siguen, explica la mayoría de los archivos rotos silenciosamente.
La excepción que nadie espera
Algunos robots de Yandex pueden ignorar robots.txt directivas por completo, incluidas las de User-agent: Yandex. . Para restringirlos, debes nombrar su user agent exacto en su propio bloque. Por esta razón, un sitio que cree que lo ha bloqueado todo aún puede ver rastreo (crawling) de un agente de Yandex del que nunca ha oído hablar.
Forma práctica de un archivo
Escribe un bloque para Yandex que contenga cada regla que deba aplicarse a Yandex, y un bloque completo separado para *. No confíes en la herencia entre ellos, porque no la hay. La duplicación aquí es correcta, no redundante.
Verificación
Prueba URLs específicas por user agent en el analizador. La herramienta aplica las mismas reglas de precedencia que el robot, que es la única forma confiable de confirmar qué bloque rige realmente una dirección determinada.
Cómo lo aplicamos
The rule we most often have to explain is that a Yandex block makes the wildcard block invisible. Teams add a Yandex-specific rule for one directory and unknowingly drop every general restriction they had. We write the two blocks out in full, duplicated, and test URLs per agent rather than reading the file and reasoning about it.
Servicios relacionados