Cloudflare bloquea bots de IA por defecto en todos los dominios nuevos registrados desde julio de 2025 para priorizar la protección de contenido y evitar el scraping de datos no autorizado por parte de grandes modelos de lenguaje. Esta medida de seguridad automática restringe a los rastreadores de IA conocidos en el borde de la red, lo que significa que el contenido de tu sitio web puede ser invisible para herramientas de búsqueda impulsadas por IA como ChatGPT o Perplexity. Mientras que los motores de búsqueda tradicionales como Google continúan rastreando normalmente, estos bloqueos específicos de IA anulan tus permisos de robots.txt a menos que ajustes manualmente la configuración de tu Web Application Firewall.
¿Por qué Cloudflare bloquea bots de IA por defecto ahora?
El cambio en julio de 2025 marca una transformación fundamental en cómo las redes de entrega de contenido manejan el tráfico automatizado. Durante años, internet operó bajo la suposición de rastreo abierto, donde los bots estaban permitidos a menos que se prohibieran específicamente. Cloudflare cambió esto para los nuevos dominios para dar a los propietarios de sitios más control sobre cómo se utiliza su propiedad intelectual para entrenar modelos generativos.
Las empresas de IA a menudo extraen cantidades masivas de datos sin proporcionar tráfico de referencia directo de vuelta a la fuente. Al activar estos bloqueos por defecto, el proveedor de red protege a los editores más pequeños que podrían no tener la experiencia técnica para configurar reglas de firewall complejas. Este movimiento también se alinea con el modelo reportado de Pay Per Crawl, donde los agentes de IA pueden eventualmente necesitar compensar a los creadores por el acceso a datos de alto volumen.
¿Cómo afecta el bloqueo a tu visibilidad en las búsquedas?
La visibilidad en la era moderna ya no se limita a los enlaces azules en una página de resultados de Google. Muchos usuarios ahora recurren a interfaces de chat de IA para encontrar productos, servicios e información. Si Cloudflare está bloqueando estos bots en el borde, tu marca no aparecerá en las citas o respuestas proporcionadas por estas herramientas.
Por ejemplo, una tienda Shopify que vende equipo especializado para exteriores podría tener un SEO excelente, pero si un bot de IA no puede acceder a las descripciones de los productos, esa tienda estará ausente de las recomendaciones de compra generadas por IA. Esto crea un dilema estratégico para los especialistas en marketing digital que deben equilibrar la protección de datos contra la necesidad de descubrimiento de marca en nuevos medios de búsqueda.
¿Qué es el modelo Pay Per Crawl?
El concepto de Pay Per Crawl es una característica reportada del proveedor que introduce un mercado para datos web. En lugar de permitir el scraping gratuito e ilimitado, este modelo permite a los propietarios de sitios establecer términos sobre cómo las empresas de IA acceden a su contenido. Trata los datos web como un activo premium en lugar de una utilidad pública.
Este sistema tiene como objetivo cerrar la brecha de valor entre los creadores de contenido y los desarrolladores de IA. Aunque todavía está en sus primeras etapas, la integración de este modelo en el ecosistema de Cloudflare sugiere un futuro donde los datos de alta calidad están protegidos detrás de acuerdos comerciales. Si tu sitio está en un dominio nuevo, ya eres parte de este ecosistema restringido por defecto.
¿Sigue siendo importante tu archivo robots.txt?
Un error común es pensar que permitir un bot en robots.txt es suficiente para garantizar el acceso. Sin embargo, los bloqueos de CDN y WAF operan a un nivel inferior de la pila de red. Si Cloudflare identifica una solicitud como proveniente de un bot de IA conocido y el bloqueo está activo, la solicitud se termina antes de que lea tu archivo robots.txt.
Robots.txt es un conjunto de instrucciones que los bots educados eligen seguir. Por el contrario, un bloqueo de Cloudflare es un mecanismo de cumplimiento. Si quieres ser visible para la IA, debes asegurarte de que tanto tus instrucciones a nivel de servidor como tus reglas de firewall a nivel de red estén sincronizadas. Confiar solo en el archivo robots.txt ya no es una estrategia confiable para la gestión web moderna.
¿Cómo comprobar si tu sitio está bloqueando bots de IA?
Para determinar tu estado actual, necesitas acceder a la configuración de seguridad de tu dominio. La mayoría de los usuarios encontrarán esta configuración en la sección ‘Bots’ de su panel de control. Además, debes buscar registros específicos que muestren solicitudes desafiadas o bloqueadas de User-Agents conocidos asociados con empresas de IA.
- Inicia sesión en el panel de control de Cloudflare y selecciona tu dominio específico.
- Navega al menú Security a la izquierda y haz clic en la subsección Bots.
- Verifica el estado del interruptor ‘AI Scrapers and Crawlers’.
- Revisa el registro de eventos del Firewall para ver si se están bloqueando categorías de ‘Verified Bot’ o ‘AI Bot’.
- Verifica si alguna regla personalizada de WAF está apuntando explícitamente a User-Agents como ‘GPTBot’ o ‘CCBot’.
¿Puedes permitir bots de IA específicos mientras bloqueas a otros?
El control granular es posible a través de reglas de firewall personalizadas. Es posible que desees permitir que ChatGPT rastree tu sitio para obtener resultados de búsqueda en tiempo real, pero bloquear otros bots que solo extraen datos para el entrenamiento de modelos fuera de línea. Esto te permite participar en la economía de búsqueda de IA sin regalar tus datos a cada rastreador en la web.
En una cuenta típica, puedes crear una regla de omisión (Skip) en el WAF. Esta regla puede configurarse para omitir el bloqueo de IA si el User-Agent coincide con una cadena específica. Sin embargo, ten en cuenta que algunos bots falsifican su identidad, por lo que confiar solo en los User-Agents puede ser arriesgado. La lista de bots verificados de Cloudflare es una forma más segura de gestionar estos permisos.
¿Es correcto bloquear bots de IA para tu negocio?
La decisión de permanecer invisible para la IA depende de tu modelo de negocio. Si diriges un sitio de noticias o un blog que depende de los ingresos publicitarios, el scraping de IA puede ser perjudicial porque proporciona la información al usuario sin que este visite nunca tu sitio. En este caso, el bloqueo por defecto es una ventaja significativa.
Por otro lado, si eres un proveedor de servicios o un negocio local, probablemente quieras que los bots de IA sepan de tu existencia. Si alguien le pregunta a un asistente de IA por la mejor agencia de marketing digital en una región específica, quieres que tus datos estén disponibles para ese modelo. Ser invisible en ese contexto significa perder clientes potenciales frente a competidores que han optado por el rastreo de IA.
Lista de verificación para la gestión de la visibilidad de IA
- Determina si tu dominio fue registrado después de julio de 2025 para ver si se aplican los bloqueos por defecto.
- Audita tus registros de tráfico para ver si los rastreadores de IA están recibiendo actualmente un error 403 Forbidden.
- Evalúa el potencial de tráfico de referencia de motores de búsqueda de IA como Perplexity.
- Configura una regla personalizada de WAF para permitir ‘Verified Bots’ si deseas una visibilidad controlada.
- Monitorea la configuración de ‘Pay Per Crawl’ para futuras oportunidades de monetización.
Por dónde empezar esta semana
Tu primer paso debería ser una auditoría exhaustiva de tu configuración de seguridad de Cloudflare. Abre el panel de control de ‘Bots’ y confirma si el interruptor ‘AI Scrapers and Crawlers’ está activo. Si tu dominio es nuevo, probablemente lo esté. Además, deberías probar la visibilidad de tu sitio usando una herramienta como ChatGPT con la navegación web habilitada para ver si puede resumir con éxito una página reciente de tu sitio.
Si descubres que estás bloqueado y deseas cambiar esto, crea una regla de WAF específica que permita a los agentes de IA conocidos. Alien Road recomienda revisar esta configuración mensualmente, ya que la lista de bots de IA conocidos se expande constantemente. Mantenerse proactivo asegura que tu sitio permanezca protegido mientras sigue siendo visible para las audiencias que más importan para tu crecimiento.
Sigue leyendo: Diseño y desarrollo web · Diseño web