Googlebot marca errores de soft 404 para páginas bloqueadas por robots.txt cuando se le impide al crawler leer el contenido de la página pero sospecha que la URL es un callejón sin salida. Este conflicto ocurre porque el archivo robots.txt solo detiene el rastreo, no la indexación. Si los enlaces externos apuntan a una URL bloqueada, Google puede indexarla sin datos. Cuando el sistema no puede encontrar contenido significativo en esa URL indexada, a menudo etiqueta el resultado como un soft 404.
, ¿Por qué Googlebot reporta soft 404s para páginas bloqueadas?
Un soft 404 no es un código de respuesta HTTP estándar. Es una etiqueta que Google aplica cuando una página devuelve un estado 200 OK pero se comporta como una página 404 Not Found. Cuando bloquea una URL en robots.txt, Googlebot no puede ver el contenido o el código de estado de la página. Sin embargo, el sistema de indexación aún puede decidir mostrar la URL en los resultados de búsqueda si encuentra el enlace en otra parte de la web.
El sistema asume que si una página es lo suficientemente importante como para ser enlazada, debe tener contenido. Si se le prohíbe al crawler ver ese contenido, utiliza varias señales para adivinar el propósito de la página. Si estas señales son débiles, Google Search Console puede marcar la URL como un soft 404. Esto sucede a menudo con URLs antiguas que fueron bloqueadas en lugar de ser redirigidas o eliminadas adecuadamente. Crea una experiencia confusa para los usuarios que hacen clic en un resultado de búsqueda solo para encontrar una página rota o vacía.
Un archivo robots.txt indica a los crawlers de los motores de búsqueda a qué URL pueden acceder en su sitio.
Google Search Central
, ¿Cómo identifica estos errores en Google Search Console?
Puede encontrar estos problemas navegando al informe de Indexación en su panel de Google Search Console. Busque el estado etiquetado como ‘Excluido’ o ‘Advertencia’. A menudo, estas URL aparecerán bajo ‘Indexada, aunque bloqueada por robots.txt’. Si los sistemas automatizados determinan que la página está esencialmente vacía, pasa a la categoría de soft 404. Monitorear estos informes semanalmente es una forma sólida de mantener la salud del sitio.
- Abra el informe de Indexación para ver qué URL están marcadas actualmente.
- Use la herramienta de Inspección de URL para ver cómo Googlebot ve el enlace bloqueado.
- Verifique la fecha de ‘Detectado el’ para ver si el error siguió a un cambio reciente en su archivo robots.txt.
- Compare la lista de URL bloqueadas con su sitemap para asegurarse de que no está enviando señales mixtas.
- Verifique si las páginas bloqueadas están generando impresiones o clics de búsqueda reales.
, ¿Es robots.txt la herramienta adecuada para eliminar páginas?
Muchos propietarios de sitios usan erróneamente robots.txt para ocultar contenido de los resultados de búsqueda. Este es un error común que lleva a marcas de soft 404. Si su objetivo es mantener una página fuera del índice de Google, un bloqueo de rastreo no es la solución. En su lugar, debe permitir que Googlebot rastree la página pero sirva una etiqueta meta ‘noindex’ en el encabezado HTML o un X-Robots-Tag en la cabecera HTTP.
Cuando bloquea al crawler, Googlebot nunca ve la etiqueta noindex. Esto crea un bucle donde la URL permanece en el índice porque el crawler no puede leer la instrucción para eliminarla. Por ejemplo, una tienda de Shopify que vende ropa vintage podría bloquear sus páginas de filtros de búsqueda interna. Si esos filtros están enlazados desde una publicación de blog, aparecerán en Google como fragmentos vacíos. Esta es una razón clave por la cual las auditorías técnicas de SEO se centran en la diferencia entre rastreo e indexación.
Para mantener una página web fuera de Google, bloquee la indexación con noindex o proteja la página con contraseña.
Google Search Central
Cómo aplica Alien Road la gestión de robots.txt
Nuestro equipo comienza cada proyecto técnico con una auditoría detallada de las instrucciones actuales de rastreo. Para un compromiso típico, mapeamos cada regla de disallow para asegurarnos de que no esté en conflicto con los objetivos de indexación del sitio. A menudo encontramos que los clientes han bloqueado directorios como /scripts/ o /styles/, lo que evita que Googlebot renderice la página correctamente. Esta falta de renderizado puede llevar a un soft 404 porque Google ve un caparazón vacío de una página.
En un ejemplo, trabajamos con una gran plataforma de comercio electrónico donde miles de páginas de filtros estaban bloqueadas en robots.txt pero aún aparecían como soft 404s en Search Console. Implementamos una estrategia para eliminar los bloqueos de robots.txt y los reemplazamos con una lógica a nivel de sitio que aplicaba etiquetas noindex a parámetros de bajo valor. Esto permitió a Googlebot ver las páginas, reconocer que no debían ser indexadas y eliminarlas limpiamente de los resultados de búsqueda. Alien Road proporciona este tipo de supervisión técnica para garantizar que el presupuesto de rastreo se gaste en páginas de productos de alta conversión en lugar de callejones sin salida.
, ¿Debería usar robots.txt para archivos de imagen?
Bloquear imágenes en robots.txt es otra área donde se puede aplicar la lógica de soft 404, aunque de una manera ligeramente diferente. Si bien puede evitar que Googlebot-Image descargue un archivo, el motor de búsqueda aún puede indexar la URL de la imagen en función del contexto de la página en la que está incrustada. Si la imagen está bloqueada pero la página es rastreada, Google puede mostrar un marcador de posición o un resultado solo de texto en la Búsqueda de Imágenes.
- Robots.txt: Evita que el archivo sea descargado por el crawler.
- Noindex: Evita que la página o archivo aparezca en los resultados de búsqueda por completo.
- Estado 404: Indica a Google que el contenido ha desaparecido y debe eliminarse del índice.
- Redirección 301: Envía tanto a usuarios como a crawlers a una nueva ubicación relevante.
- Protección por contraseña: La forma más confiable de ocultar contenido confidencial de todos los crawlers.
Mejores prácticas para resolver marcas de soft 404
Para solucionar un soft 404 causado por robots.txt, primero debe decidir si la página debe existir. Si la página es una parte válida de su sitio, elimine la regla de disallow de su archivo robots.txt. Esto permite a Googlebot rastrear el contenido y darse cuenta de que es una página legítima. Una vez rastreada, la advertencia de soft 404 desaparecerá en los próximos días.
Si la página no debe estar en el índice, tiene dos caminos claros. Puede permitir que la página devuelva un código de estado 404 o 410 real, o puede usar una etiqueta noindex. Ambos métodos requieren que desbloquee temporalmente la URL en robots.txt. Googlebot debe poder llegar a la página para ver el código 404 o la etiqueta noindex. Después de que Google haya actualizado su índice y eliminado la URL, puede optar por bloquear la ruta nuevamente para ahorrar presupuesto de rastreo, aunque esto rara vez es necesario para sitios más pequeños.
Cómo auditar su robots.txt esta semana
Comience descargando su archivo robots.txt actual y comparándolo con la lista ‘Indexada, aunque bloqueada’ en Google Search Console. Use la herramienta Robots.txt Tester para ver si sus reglas son demasiado amplias. Busque cualquier regla ‘Disallow: /’ que pueda haber quedado de un sitio de prueba. Si encuentra URL marcadas como soft 404, priorice aquellas con el mayor recuento de enlaces internos. Eliminar estos conflictos ayudará a los motores de búsqueda a entender la estructura de su sitio con mayor claridad.