Googlebot ignora las etiquetas noindex principalmente porque las barreras técnicas impiden que el rastreador acceda y lea la directiva en tu página. La razón más común es un conflicto con tu archivo robots.txt, que bloquea a Googlebot para que no rastree la URL. Si el rastreador no puede recuperar la página, nunca ve la etiqueta noindex y aún puede indexar la URL basándose en señales externas como backlinks o entradas de sitemap.
¿Por qué Googlebot sigue indexando páginas con una etiqueta noindex?
Cuando añades una directiva noindex a una página, estás dando una instrucción a Googlebot durante la fase de indexación. Sin embargo, para que se siga esta instrucción, Googlebot debe completar primero la fase de rastreo. El rastreo y la indexación son dos pasos distintos en el proceso de Google Search. Si la fase de rastreo se interrumpe o restringe, las instrucciones de indexación contenidas en el HTML permanecen invisibles para el motor de búsqueda.
Muchos profesionales del SEO suponen que una etiqueta noindex es un escudo universal. En realidad, es una solicitud que requiere visibilidad. Si tu servidor devuelve un código de estado o una configuración que detiene a Googlebot en la puerta, el bot nunca llegará a la ‘sala de estar’ donde se encuentra tu etiqueta noindex. Esto a menudo resulta en que la página aparezca en los resultados de búsqueda con un fragmento que dice ‘No hay información disponible para esta página’ o simplemente una URL vacía.
El conflicto entre robots.txt y la directiva noindex
El error más frecuente ocurre cuando un desarrollador bloquea un directorio en robots.txt y simultáneamente añade una etiqueta noindex a las páginas dentro de ese directorio. Esto crea una paradoja lógica. El archivo robots.txt le dice a Googlebot: ‘No rastrees esta URL’. Como Googlebot obedece esto, nunca recupera el HTML. Como nunca recupera el HTML, nunca ve la etiqueta.
Para solucionar esto, debes permitir el rastreo en tu archivo robots.txt para las URL específicas que deseas eliminar del índice. Una vez que a Googlebot se le permite rastrear la página, verá la etiqueta noindex y eliminará rápidamente la URL de los resultados de búsqueda. Después de verificar que la página ha sido eliminada del índice a través de Google Search Console, puedes optar por bloquearla nuevamente en robots.txt para ahorrar presupuesto de rastreo.
- Comprueba si la URL está bloqueada por una regla ‘Disallow’ en tu archivo robots.txt.
- Asegúrate de que la etiqueta noindex esté colocada en la sección , no en la .
- Verifica que la etiqueta X-Robots-Tag en la cabecera HTTP no esté siendo eliminada por una CDN o capa de caché.
- Usa la herramienta de Inspección de URLs en Google Search Console para ver exactamente lo que ve Googlebot.
¿Cómo maneja Googlebot las etiquetas noindex basadas en JavaScript?
Las aplicaciones web modernas suelen utilizar frameworks como React o Angular para inyectar metaetiquetas dinámicamente. Aunque Googlebot es capaz de renderizar JavaScript, este proceso no es inmediato. Googlebot realiza primero un rastreo ‘en bruto’ del HTML. Si la etiqueta noindex no está presente en el código fuente HTML inicial y solo se añade después de la ejecución de JavaScript, hay un retraso.
Durante este retraso, Googlebot podría indexar la versión inicial de la página. El renderizado es un proceso secundario que requiere más recursos. Si tu servidor es lento o el JavaScript es complejo, el renderizado puede fallar o agotarse el tiempo de espera. En tales casos, la etiqueta noindex nunca se detecta. Para páginas críticas que deben mantenerse privadas, siempre es más seguro servir la etiqueta noindex en la respuesta HTML estática o a través de una cabecera HTTP.
Para la mayoría de los sitios, Google Search indexa principalmente la versión móvil del contenido.
Google Search Central
El impacto de los límites de tamaño de archivo en la detección de directivas
Googlebot tiene límites específicos sobre cuánta cantidad de datos procesa por archivo. Los archivos HTML grandes pueden provocar directivas omitidas. Si tu página está saturada de CSS en línea pesado, imágenes Base64 grandes o scripts de seguimiento excesivos en la parte superior del documento, la etiqueta noindex puede ser empujada demasiado hacia abajo.
Al rastrear para Google Search, Googlebot rastrea los primeros 2 MB de un tipo de archivo compatible.
Google Search Central
Si tu etiqueta noindex aparece después de los primeros 2 MB de contenido, Googlebot dejará de leer antes de llegar a la instrucción. Esto es raro para páginas estándar, pero común para tablas de datos masivas o páginas de documentación generadas automáticamente. Asegúrate siempre de que tus metaetiquetas estén muy cerca de la parte superior de la sección para evitar ser cortadas por estos límites técnicos.
Cómo Alien Road aplica la gestión de rastreo de Googlebot
En Alien Road, tratamos la gestión de rastreo como un paso fundamental para cada proyecto de cliente, como un sitio de comercio electrónico grande que utiliza un CMS personalizado. No adivinamos por qué se indexan las páginas; utilizamos un proceso estructurado para identificar y resolver estos conflictos. Nuestro equipo sigue un flujo de trabajo específico para garantizar que la visibilidad en los motores de búsqueda se alinee con los objetivos comerciales del cliente.
Primero, realizamos un análisis de archivos de registro para ver cómo Googlebot Smartphone y Googlebot Desktop interactúan con el sitio. Buscamos códigos de estado que indiquen errores de rastreo. Por ejemplo, en un proyecto típico para una tienda de Shopify, podríamos descubrir que miles de páginas de ‘filtros’ se están indexando a pesar de los intentos de noindex. Luego revisamos el robots.txt para ver si estos filtros están bloqueados, lo que evitaría que Google vea la instrucción noindex.
- Descubrimiento: Identificamos páginas indexadas que deberían estar ocultas utilizando operadores ‘site:’ y los informes de Search Console.
- Auditoría: Comparamos las reglas de robots.txt con la presencia de etiquetas noindex en esas URL específicas.
- Ajuste: Permitimos temporalmente (‘Allow’) las URL en robots.txt para que Googlebot pueda procesar la etiqueta noindex.
- Verificación: Monitoreamos el informe de ‘Cobertura de índice’ para confirmar que las URL transicionan al estado ‘Excluido’.
- Limpieza: Implementamos cabeceras X-Robots-Tag para archivos que no son HTML, como los PDF que requieren eliminación.
Este enfoque sistemático asegura que no desperdiciemos presupuesto de rastreo en páginas de bajo valor. Al asegurarnos de que Googlebot pueda ver claramente la señal noindex, ayudamos al motor de búsqueda a centrar su energía en las páginas que realmente generan conversiones para nuestros clientes. Evitamos errores comunes probando cada cambio en un entorno de staging antes de enviarlo al servidor en vivo.
¿Por qué Googlebot ignora las cabeceras x-robots-tag?
El X-Robots-Tag es una cabecera HTTP enviada por el servidor. Es una alternativa sólida a las metaetiquetas, especialmente para archivos que no son HTML. Sin embargo, puede fallar si la configuración de tu servidor es incorrecta. Por ejemplo, si utilizas un balanceador de carga o un plugin de caché, la cabecera podría eliminarse antes de llegar a Googlebot. Además, si la página devuelve un error 404 o 500, Googlebot podría ignorar las cabeceras por completo, aunque un 404 conduce naturalmente a la desindexación con el tiempo.
Otro problema es el uso de la directiva ‘noindex’ en un sitemap. Es un mito común que poner una URL en un sitemap con un atributo especial la eliminará de la búsqueda. Google ignora las directivas noindex dentro de los sitemaps XML. Los sitemaps son para el descubrimiento, no para la exclusión. Si quieres que una página desaparezca, la instrucción debe estar en la propia página o en la cabecera HTTP.
Pasos prácticos para verificar tu implementación de noindex
Para asegurarte de que tu configuración es correcta, debes utilizar una variedad de herramientas. El primer paso es la herramienta de Inspección de URLs de Google Search Console. Esta herramienta te permite ver la versión de ‘Prueba en vivo’ de una página. Si la prueba en vivo muestra que la página está disponible para la indexación, significa que Googlebot no puede ver tu etiqueta noindex. Revisa la pestaña ‘Respuesta’ en la herramienta para ver el HTML sin procesar y las cabeceras HTTP.
También debes comprobar si hay etiquetas conflictivas. Si una etiqueta dice ‘index’ y otra ‘noindex’, Googlebot normalmente elegirá la más restrictiva, pero esta no es una estrategia confiable. Limpia tu código para asegurarte de que solo exista una directiva clara. Si estás utilizando un plugin para SEO, verifica que no esté añadiendo una etiqueta ‘index’ predeterminada que entre en conflicto con tus configuraciones manuales.
Por dónde empezar esta semana
Empieza abriendo Google Search Console y navegando a la sección ‘Indexación’. Busca el informe ‘Excluido por etiqueta noindex’ y compáralo con la advertencia ‘Indexado aunque bloqueado por robots.txt’. Si ves páginas en esta última categoría que deseas que se eliminen, actualiza tu robots.txt para permitir el rastreo de esas rutas específicas. Este sencillo cambio permite a Googlebot ver tus etiquetas noindex y actualizar los resultados de búsqueda en consecuencia dentro de unos pocos ciclos de rastreo.