Un archivo robots.txt es un documento de texto estándar ubicado en el directorio raíz de un sitio web que proporciona instrucciones a los rastreadores web sobre qué páginas deben o no deben visitar. Sirve como la herramienta de comunicación principal entre un webmaster y los bots de los motores de búsqueda, ayudando a gestionar cómo se utilizan los recursos durante el proceso de descubrimiento. Aunque es una parte fundamental del SEO técnico, muchos propietarios de sitios malinterpretan sus limitaciones, particularmente con respecto a la indexación de páginas y la seguridad.
¿Cuál es el propósito de un archivo robots.txt?
El objetivo principal de un archivo robots.txt es gestionar el presupuesto de rastreo. Los motores de búsqueda como Google y Bing no tienen recursos infinitos para rastrear cada página en internet todos los días. Asignan una cantidad específica de tiempo y energía a cada sitio web, conocido como presupuesto de rastreo. Si tu sitio tiene miles de páginas de bajo valor, como resultados de búsqueda internos, parámetros de filtro o contenido duplicado, los bots podrían desperdiciar su tiempo en estas en lugar de encontrar tus artículos o productos más importantes.
Al usar un archivo robots.txt, puedes dirigir a los bots lejos de áreas administrativas, carpetas temporales o consultas de búsqueda sensibles. Esto asegura que el rastreador pase su tiempo en contenido de alta calidad que realmente quieres que aparezca en los resultados de búsqueda. Es importante recordar que estos archivos son públicos; cualquiera puede ver tus reglas añadiendo /robots.txt a tu dominio. Por lo tanto, nunca debes usar este archivo para ocultar información privada o directorios sensibles de los usuarios.
¿Cómo estructurar correctamente un archivo robots.txt?
Un archivo robots.txt estándar utiliza una sintaxis simple que consiste en directivas y valores. Cada conjunto de instrucciones comienza identificando el bot al que se aplica, seguido de las reglas específicas para ese bot. El archivo debe llamarse exactamente robots.txt, estar completamente en minúsculas y colocarse en el directorio de nivel superior de tu servidor web. Si se coloca en una subcarpeta, los motores de búsqueda no lo buscarán y asumirán que no existen reglas.
Los componentes básicos del archivo incluyen las siguientes directivas:
- User-agent: Identifica a qué rastreador se aplica la regla (por ejemplo, Googlebot, Bingbot o * para todos).
- Disallow: Especifica un directorio o página que el rastreador no debe visitar.
- Allow: Proporciona una excepción a una regla Disallow, permitiendo que se rastree una subcarpeta específica.
- Sitemap: Señala al rastreador la ubicación de tu sitemap XML para ayudar con el descubrimiento.
En una cuenta típica, un archivo robots.txt simple podría verse así: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml Esto le dice a todos los bots que se mantengan fuera del área de administración de WordPress pero les permite acceder al archivo AJAX, que a menudo es necesario para la funcionalidad del sitio.
¿Por qué Google sigue indexando páginas bloqueadas por robots.txt?
Uno de los puntos de confusión más comunes en SEO es la diferencia entre rastreo e indexación. Robots.txt controla el rastreo, no la indexación. Si Google encuentra un enlace a una página en tu sitio desde una fuente externa, sabe que la página existe. Incluso si tu archivo robots.txt prohíbe a Google visitar esa página, el motor de búsqueda podría seguir indexando la URL basándose en la información que recopila del enlace externo.
Esto lleva a un problema específico: si quieres mantener una página fuera de los resultados de búsqueda por completo, debes usar una etiqueta meta ‘noindex’. Sin embargo, una etiqueta ‘noindex’ solo funciona si el motor de búsqueda puede rastrear la página para ver la etiqueta. Si bloqueas la página en robots.txt, el bot nunca visita la página, nunca ve la instrucción ‘noindex’ y la página puede permanecer en los resultados de búsqueda. Para que una página sea eliminada mediante ‘noindex’, debe ser accesible para el rastreador.
Errores comunes de robots.txt que dañan los rankings de búsqueda
Un error de un solo carácter en tu archivo robots.txt puede tener consecuencias graves. Durante las migraciones de sitios web o fases de desarrollo, es común que los desarrolladores usen ‘Disallow: /’ para evitar que un sitio de prueba sea indexado. Esta directiva bloquea a todos los rastreadores de cada página del sitio. Si este código se mueve accidentalmente al servidor de producción en vivo, todo tu sitio web eventualmente desaparecerá de los resultados de búsqueda a medida que se les dice a los bots que dejen de visitar.
Otro error frecuente es bloquear activos internos como archivos CSS y JavaScript. Históricamente, los motores de búsqueda solo se preocupaban por el contenido de texto. Hoy en día, Googlebot renderiza páginas como un navegador moderno para evaluar el diseño, la compatibilidad móvil y la experiencia del usuario. Si tu robots.txt bloquea las carpetas que contienen tus estilos o scripts, el motor de búsqueda ve una versión rota de tu sitio, lo que puede llevar a rankings más bajos y errores de ‘usabilidad móvil’ en las consolas de búsqueda.
La sensibilidad a mayúsculas y minúsculas es otra área donde ocurren errores. Aunque las directivas como ‘User-agent’ no distinguen entre mayúsculas y minúsculas, las rutas a archivos y carpetas a menudo sí lo hacen. Por ejemplo, ‘Disallow: /Private/’ no bloqueará una carpeta llamada ‘/private/’. Es una mejor práctica usar minúsculas para todos los nombres de archivos y carpetas en tu servidor para evitar estos conflictos técnicos.
Gestión de robots.txt para comercio electrónico y sitios web grandes
Los sitios web grandes, como una tienda Shopify que vende miles de artículos de ropa, enfrentan desafíos únicos. Las plataformas de comercio electrónico a menudo generan una cantidad masiva de URLs a través de navegación facetada, como filtros para color, tamaño o rango de precios. Estas páginas filtradas a menudo contienen contenido duplicado que no necesita ser indexado. Sin una estrategia adecuada de robots.txt, estos sitios pueden agotar fácilmente su presupuesto de rastreo en parámetros de URL inútiles.
Por ejemplo, podrías usar una regla como ‘Disallow: /*?*’ para bloquear todas las URLs que contienen un signo de interrogación, lo que a menudo significa un parámetro de seguimiento o un filtro. Sin embargo, debes tener cuidado de no bloquear páginas esenciales que también usan parámetros. En Alien Road, sugerimos revisar tus registros de consultas de búsqueda interna para identificar qué patrones de URL se rastrean con más frecuencia y determinar si proporcionan un valor real a los usuarios de búsqueda.
¿Cómo probar y validar tu archivo robots.txt?
Antes de realizar cambios en tu sitio en vivo, siempre debes validar tus reglas. Google proporciona una herramienta de prueba de Robots.txt dentro de la versión anterior de Search Console que te permite pegar tu código y probar URLs específicas contra él. Esto te ayuda a ver exactamente qué reglas están bloqueando qué páginas. También hay varias extensiones de navegador de terceros y validadores en línea que pueden resaltar errores de sintaxis o conflictos lógicos.
Un patrón común para la validación incluye estos pasos:
- Verifica que el archivo sea accesible en yourdomain.com/robots.txt.
- Asegúrate de que no haya reglas ‘Disallow: /’ a menos que intentes bloquear todo el sitio.
- Confirma que tus carpetas CSS y JS no estén bloqueadas.
- Verifica que la URL de tu sitemap XML esté listada correctamente al final del archivo.
- Prueba tus páginas de producto o de destino más importantes para asegurarte de que estén permitidas.
Por dónde empezar esta semana
Tu primer paso debería ser visitar la dirección /robots.txt de tu propio sitio web para ver qué instrucciones están activas actualmente. Revisa tu informe de ‘Indexación’ en Google Search Console para ver cualquier advertencia que diga ‘Indexada, aunque bloqueada por robots.txt’. Esto indica que estás bloqueando páginas que Google considera lo suficientemente importantes como para indexar de todos modos, lo cual es una señal de un error lógico en tu estrategia. Si encuentras estas, evalúa si debes eliminar el bloqueo o añadir una etiqueta ‘noindex’ mientras permites el rastreo. Finalmente, asegúrate de que tu sitemap esté correctamente vinculado para ayudar a los rastreadores a navegar por tu sitio de manera eficiente.
Sigue leyendo: SEO (Optimización para Motores de Búsqueda) · SEO