Cloudflare blockiert KI-Bots: Ist Ihre Seite sichtbar

Die Änderung im Juli 2025 markiert einen grundlegenden Wandel in der Art und Weise, wie Content Delivery Networks mit automatisiertem Datenverkehr umgehen. Jahrelang funktionierte das Internet auf der Annahme des offenen Crawlings, bei dem Bots erlaubt waren, sofern sie nicht ausdrücklich verboten wurden. Cloudflare hat dies für neue Domains geändert, um Website-Betreibern mehr Kontrolle darüber zu geben, wie ihr geistiges Eigentum zum Training generativer Modelle verwendet wird.

KI-Unternehmen scrapen oft riesige Datenmengen, ohne direkten Referral-Traffic an die Quelle zurückzugeben. Durch die standardmäßige Aktivierung dieser Blöcke schützt der Netzwerkanbieter kleinere Publisher, die möglicherweise nicht über das technische Fachwissen verfügen, um komplexe Firewall-Regeln zu konfigurieren. Dieser Schritt steht auch im Einklang mit dem berichteten Pay-Per-Crawl-Modell, bei dem KI-Agenten möglicherweise irgendwann für den Zugriff auf große Datenmengen entschädigen müssen.

Sichtbarkeit in der modernen Ära ist nicht mehr auf die blauen Links auf einer Google-Ergebnisseite beschränkt. Viele Nutzer wenden sich heute an KI-Chat-Schnittstellen, um Produkte, Dienstleistungen und Informationen zu finden. Wenn Cloudflare diese Bots am Edge blockiert, wird Ihre Marke nicht in den Zitaten oder Antworten dieser Tools erscheinen.

Ein Shopify-Shop, der beispielsweise spezialisierte Outdoor-Ausrüstung verkauft, könnte exzellentes SEO haben, aber wenn ein KI-Bot nicht auf die Produktbeschreibungen zugreifen kann, wird dieser Shop bei KI-generierten Einkaufsempfehlungen fehlen. Dies schafft ein strategisches Dilemma für digitale Vermarkter, die den Datenschutz gegen die Notwendigkeit der Markenentdeckung in neuen Suchmedien abwägen müssen.

Das Pay-Per-Crawl-Konzept ist eine berichtete Anbieterfunktion, die einen Marktplatz für Webdaten einführt. Anstatt kostenloses und unbegrenztes Scraping zuzulassen, ermöglicht dieses Modell Website-Betreibern, Bedingungen dafür festzulegen, wie KI-Unternehmen auf ihre Inhalte zugreifen. Es behandelt Webdaten eher als Premium-Asset denn als öffentliches Gut.

Dieses System zielt darauf ab, die Wertlücke zwischen Content-Erstellern und KI-Entwicklern zu schließen. Obwohl es sich noch in einem frühen Stadium befindet, deutet die Integration dieses Modells in das Cloudflare-Ökosystem auf eine Zukunft hin, in der hochwertige Daten hinter kommerziellen Vereinbarungen geschützt sind. Wenn sich Ihre Website auf einer neuen Domain befindet, sind Sie standardmäßig bereits Teil dieses eingeschränkten Ökosystems.

Ein weit verbreitetes Missverständnis ist, dass es ausreicht, einen Bot in der robots.txt zuzulassen, um den Zugriff zu gewährleisten. CDN- und WAF-Blöcke arbeiten jedoch auf einer niedrigeren Ebene des Netzwerk-Stacks. Wenn Cloudflare eine Anfrage als von einem bekannten KI-Bot stammend identifiziert und der Block aktiv ist, wird die Anfrage beendet, bevor sie jemals Ihre robots.txt-Datei liest.

Robots.txt ist eine Reihe von Anweisungen, denen höfliche Bots folgen können. Im Gegensatz dazu ist ein Cloudflare-Block ein Durchsetzungsmechanismus. Wenn Sie für KI sichtbar sein möchten, müssen Sie sicherstellen, dass sowohl Ihre Anweisungen auf Serverebene als auch Ihre Firewall-Regeln auf Netzwerkebene synchron sind. Sich nur auf die robots.txt-Datei zu verlassen, ist keine zuverlässige Strategie mehr für das moderne Webmanagement.

Um Ihren aktuellen Status zu ermitteln, müssen Sie auf die Sicherheitseinstellungen Ihrer Domain zugreifen. Die meisten Benutzer finden diese Einstellungen im Bereich ‘Bots’ ihres Dashboards. Darüber hinaus sollten Sie nach spezifischen Protokollen suchen, die herausgeforderte oder blockierte Anfragen von bekannten User-Agents zeigen, die mit KI-Unternehmen verbunden sind.

• Melden Sie sich im Cloudflare-Dashboard an und wählen Sie Ihre spezifische Domain aus.
• Navigieren Sie zum Menü Security auf der linken Seite und klicken Sie auf den Unterbereich Bots.
• Überprüfen Sie den Status des Umschalters ‘AI Scrapers and Crawlers’.
• Überprüfen Sie das Firewall-Ereignisprotokoll, um zu sehen, ob Kategorien wie ‘Verified Bot’ oder ‘AI Bot’ blockiert werden.
• Überprüfen Sie, ob benutzerdefinierte WAF-Regeln explizit auf User-Agents wie ‘GPTBot’ oder ‘CCBot’ abzielen.

Eine granulare Steuerung ist durch benutzerdefinierte Firewall-Regeln möglich. Sie möchten vielleicht ChatGPT erlauben, Ihre Website für Echtzeit-Suchergebnisse zu crawlen, aber andere Bots blockieren, die nur für das Offline-Modelltraining scrapen. Dies ermöglicht es Ihnen, an der KI-Suchwirtschaft teilzunehmen, ohne Ihre Daten kostenlos an jeden Crawler im Web weiterzugeben.

In einem typischen Konto können Sie eine Skip-Regel in der WAF erstellen. Diese Regel kann so konfiguriert werden, dass der KI-Block umgangen wird, wenn der User-Agent mit einer bestimmten Zeichenfolge übereinstimmt. Seien Sie sich jedoch bewusst, dass einige Bots ihre Identität vortäuschen, daher kann es riskant sein, sich nur auf User-Agents zu verlassen. Die verifizierte Bot-Liste von Cloudflare ist ein sichereres Mittel, um diese Berechtigungen zu verwalten.

Die Entscheidung, für KI unsichtbar zu bleiben, hängt von Ihrem Geschäftsmodell ab. Wenn Sie eine Nachrichtenseite oder einen Blog betreiben, der auf Werbeeinnahmen angewiesen ist, kann KI-Scraping schädlich sein, da es dem Benutzer die Informationen liefert, ohne dass der Benutzer jemals Ihre Website besucht. In diesem Fall ist der Standard-Block ein erheblicher Vorteil.

Wenn Sie hingegen ein Dienstleister oder ein lokales Unternehmen sind, möchten Sie wahrscheinlich, dass KI-Bots von Ihrer Existenz wissen. Wenn jemand einen KI-Assistenten nach der besten Digital-Marketing-Agentur in einer bestimmten Region fragt, möchten Sie, dass Ihre Daten für dieses Modell verfügbar sind. In diesem Kontext unsichtbar zu sein bedeutet, potenzielle Leads an Wettbewerber zu verlieren, die sich für das KI-Crawling entschieden haben.

Checkliste für das Management der KI-Sichtbarkeit

• Stellen Sie fest, ob Ihre Domain nach Juli 2025 registriert wurde, um zu sehen, ob Standard-Blöcke gelten.
• Überprüfen Sie Ihre Traffic-Protokolle, um zu sehen, ob KI-Crawler derzeit einen 403 Forbidden-Fehler erhalten.
• Bewerten Sie das Referral-Traffic-Potenzial von KI-Suchmaschinen wie Perplexity.
• Richten Sie eine benutzerdefinierte WAF-Regel ein, um ‘Verified Bots’ zuzulassen, wenn Sie eine kontrollierte Sichtbarkeit wünschen.
• Überwachen Sie die ‘Pay-Per-Crawl’-Einstellungen für zukünftige Monetarisierungsmöglichkeiten.