Cloudflare блокирует ИИ-ботов: ваш сайт невидим?

Изменения в июле 2025 года знаменуют собой фундаментальный сдвиг в том, как сети доставки контента обрабатывают автоматизированный трафик. Годами интернет работал на основе предположения об открытом сканировании, где боты были разрешены, если их не запрещали специально. Cloudflare изменил это для новых доменов, чтобы дать владельцам сайтов больше контроля над тем, как их интеллектуальная собственность используется для обучения генеративных моделей.

ИИ-компании часто собирают огромные объемы данных, не обеспечивая прямой реферальный трафик обратно на источник. Включая эти блокировки по умолчанию, сетевой провайдер защищает небольших издателей, у которых может не быть технических знаний для настройки сложных правил брандмауэра. Этот шаг также согласуется с моделью Pay Per Crawl, где ИИ-агенты, возможно, в конечном итоге должны будут компенсировать создателям доступ к данным в больших объемах.

Видимость в современную эпоху больше не ограничивается синими ссылками на странице результатов Google. Многие пользователи теперь обращаются к ИИ-чатам для поиска продуктов, услуг и информации. Если Cloudflare блокирует этих ботов на уровне сети, ваш бренд не появится в цитатах или ответах, предоставляемых этими инструментами.

Например, магазин Shopify, продающий специализированное снаряжение для активного отдыха, может иметь отличный SEO, но если ИИ-бот не может получить доступ к описаниям товаров, этот магазин будет отсутствовать в рекомендациях по покупкам, созданных ИИ. Это создает стратегическую дилемму для цифровых маркетологов, которые должны балансировать между защитой данных и необходимостью обнаружения бренда в новых поисковых средах.

Концепция Pay Per Crawl — это функция поставщика, которая вводит рынок для веб-данных. Вместо того чтобы разрешать бесплатный и неограниченный сбор данных, эта модель позволяет владельцам сайтов устанавливать условия доступа ИИ-компаний к их контенту. Она рассматривает веб-данные как премиальный актив, а не как общественное достояние.

Эта система направлена на устранение разрыва в ценности между создателями контента и разработчиками ИИ. Хотя она все еще находится на ранних стадиях, интеграция этой модели в экосистему Cloudflare предполагает будущее, где высококачественные данные защищены коммерческими соглашениями. Если ваш сайт находится на новом домене, вы уже по умолчанию являетесь частью этой ограниченной экосистемы.

Распространенное заблуждение заключается в том, что разрешения бота в robots.txt достаточно для обеспечения доступа. Однако блокировки CDN и WAF работают на более низком уровне сетевого стека. Если Cloudflare идентифицирует запрос как исходящий от известного ИИ-бота и блокировка активна, запрос завершается до того, как он прочитает ваш файл robots.txt.

Robots.txt — это набор инструкций, которым вежливые боты предпочитают следовать. Напротив, блокировка Cloudflare — это механизм принудительного исполнения. Если вы хотите быть видимыми для ИИ, вы должны убедиться, что ваши инструкции на уровне сервера и правила брандмауэра на уровне сети синхронизированы. Полагаться только на файл robots.txt больше не является надежной стратегией для современного управления веб-ресурсами.

Чтобы определить ваш текущий статус, вам нужно получить доступ к настройкам безопасности вашего домена. Большинство пользователей найдут эти настройки в разделе ‘Bots’ своей панели управления. Кроме того, вам следует искать специфические логи, показывающие отклоненные или заблокированные запросы от известных User-Agent, связанных с ИИ-компаниями.

• Войдите в панель управления Cloudflare и выберите свой домен.
• Перейдите в меню Security слева и нажмите на подраздел Bots.
• Проверьте статус переключателя ‘AI Scrapers and Crawlers’.
• Просмотрите журнал событий Firewall, чтобы увидеть, блокируются ли категории ‘Verified Bot’ или ‘AI Bot’.
• Проверьте, нацелены ли какие-либо пользовательские правила WAF на User-Agent, такие как ‘GPTBot’ или ‘CCBot’.

Гранулярный контроль возможен с помощью пользовательских правил брандмауэра. Вы можете разрешить ChatGPT сканировать ваш сайт для результатов поиска в реальном времени, но заблокировать других ботов, которые собирают данные только для обучения офлайн-моделей. Это позволяет вам участвовать в экономике ИИ-поиска, не отдавая свои данные бесплатно каждому краулеру в сети.

В типичной учетной записи вы можете создать правило пропуска (Skip) в WAF. Это правило можно настроить так, чтобы обходить блокировку ИИ, если User-Agent совпадает с определенной строкой. Однако имейте в виду, что некоторые боты подделывают свою личность, поэтому полагаться только на User-Agent может быть рискованно. Список проверенных ботов Cloudflare — это более безопасный способ управления этими разрешениями.

Решение оставаться невидимым для ИИ зависит от вашей бизнес-модели. Если вы ведете новостной сайт или блог, который зависит от доходов от рекламы, сбор данных ИИ может быть вредным, поскольку он предоставляет информацию пользователю без посещения вашего сайта. В этом случае блокировка по умолчанию является значительным преимуществом.

С другой стороны, если вы являетесь поставщиком услуг или местным бизнесом, вы, вероятно, хотите, чтобы ИИ-боты знали о вашем существовании. Если кто-то спросит ИИ-помощника о лучшем агентстве цифрового маркетинга в определенном регионе, вы хотите, чтобы ваши данные были доступны этой модели. Быть невидимым в этом контексте означает терять потенциальных клиентов в пользу конкурентов, которые разрешили ИИ-сканирование.

Чек-лист для управления видимостью ИИ

• Определите, был ли ваш домен зарегистрирован после июля 2025 года, чтобы понять, применяются ли блокировки по умолчанию.
• Проверьте свои журналы трафика, чтобы увидеть, получают ли ИИ-краулеры в настоящее время ошибку 403 Forbidden.
• Оцените потенциал реферального трафика от ИИ-поисковиков, таких как Perplexity.
• Настройте пользовательское правило WAF, чтобы разрешить ‘Verified Bots’, если вы хотите контролируемую видимость.
• Следите за настройками ‘Pay Per Crawl’ для будущих возможностей монетизации.