robots.txt establece los parámetros de rastreo para los robots de búsqueda. Restringir secciones reduce la carga del servidor y acelera el sitio. Yandex es compatible con el Protocolo de exclusión de robots con sus propias extensiones.
La advertencia que llega primero y más importa
Las páginas restringidas en robots.txt aún pueden aparecer en la búsqueda de Yandex. Para eliminar una página de los resultados, debes usar la directiva noindex en el código HTML o en la cabecera HTTP, y no debes bloquear esa página en robots.txt, porque una página bloqueada nunca se recupera y el noindex nunca se ve.
Este es el malentendido más importante en el SEO técnico, y Yandex lo establece en el primer párrafo. El bloqueo trata sobre el presupuesto de rastreo; noindex trata sobre la presencia en las búsquedas. Usar lo primero para lograr lo segundo garantiza que la página permanezca indexada de forma permanente.
Requisitos de archivo
- Máximo 500 KB.
- Un archivo TXT llamado
robots.txt. - En el directorio raíz.
- Accesible para robots, devolviendo
200 OK.
. Si el archivo no cumple con estos requisitos, el sitio se considera abierto a la indexación. Un archivo mal formado o inalcanzable no es una red de seguridad: es una puerta abierta.
La función de redirección
Yandex acepta una redirección desde el robots.txt de un sitio al de otro sitio, y aplica las directivas en el archivo de destino. Eso es específicamente útil durante un cambio de sitio, donde ambos dominios deben presentar reglas coherentes, y es por eso que la guía de migración insiste en que los dos archivos coincidan.
Las directivas compatibles
User-agent— a qué robot se aplican las reglas.Disallow— prohíbe el rastreo de secciones o páginas.Sitemap— la ruta al sitemap, proporcionada por completo con el protocolo.Clean-param— una extensión de Yandex que declara los parámetros que se deben ignorar.
Verificación
Prueba el archivo en el analizador de robots.txt de la consola con URLs reales, no solo para comprobar la sintaxis. Un archivo que se analiza correctamente y bloquea el directorio incorrecto no informa ningún error.
Cómo lo aplicamos
The block-versus-noindex distinction is the single most useful thing on this page and the mistake we correct most often: a client blocks a page in robots.txt to get it out of search, and it stays in search forever because the robot can no longer read the noindex. The other detail worth remembering is that a broken robots.txt means an open site — a 500 error on that file removes every restriction at once.
Servicios relacionados