Authentifizieren Sie Anfragen mit Web Bot Auth (experimentell)

Google testet derzeit die Nutzung des IETF-Internet-Drafts Web Bot Auth. Dabei handelt es sich um ein neues kryptografisches Protokoll, das Websites dabei unterstützt, die Authentizität von Bots zu validieren. Wir testen das Protokoll mit einigen AI-Agenten, die auf der Google-Infrastruktur gehostet werden. Dieser Leitfaden erklärt, was Web Bot Auth ist, wie der aktuelle Status aussieht und wie Sie die Verifizierung in der experimentellen Phase implementieren können.

Was ist Web Bot Auth?

Web Bot Auth ist ein experimentelles kryptografisches Protokoll zur Authentifizierung von Anfragen, die von Bots gesendet werden. Anstatt sich ausschließlich auf selbst gemeldete Header und IP-Adressen zu verlassen, ermöglicht Web Bot Auth es Agenten, ihre Anfragen kryptografisch zu signieren.

Die Nutzung von Web Bot Auth hilft Website-Betreibern dabei, automatisierten Traffic auf ihren Seiten zu identifizieren und verhindert, dass andere Akteure versuchen, sich als seriöse Agenten auszugeben. Web Bot Auth bietet folgende Vorteile:

• Kryptografische Sicherheit: Gehen Sie über leicht zu fälschende Header hinaus hin zu einer verifizierten Identität und entkoppeln Sie die Agenten-Identität von IP-Adressen.
• Bessere Beobachtbarkeit: Erhalten Sie klarere Einblicke, wie Agenten mit Ihren Inhalten interagieren.
• Zukunftssicherheit: Tragen Sie dazu bei, ein Web zu etablieren, in dem Agenten-Anbieter und Websites gegenseitiges Vertrauen aufbauen und fundierte Zugriffsentscheidungen treffen können.

Aktueller Status von Web Bot Auth: experimentell

Die Implementierung von Web Bot Auth durch Google ist derzeit aus folgenden Gründen experimentell:

• Web Bot Auth ist aktuell ein Spezifikationsentwurf, der von der IETF WBA Working Group entwickelt wird und sich im Laufe der Zeit ändern kann. Google verfolgt die Arbeit der Arbeitsgruppe kontinuierlich, während sie sich weiterentwickelt.
• Die Bot-Verifizierung auf Basis von User-Agents und IP-Adressen ist derzeit der De-facto-Standard, für den es jahrzehntelange Systeme, Richtlinien und Best Practices gibt. Eine Änderung erfordert Zeit und ein vorsichtiges Vorgehen. Wir befinden uns in einem frühen Stadium und evaluieren noch die technischen Eigenschaften sowie die potenziellen Auswirkungen des Protokolls auf das Ökosystem.

Was bedeutet das?

Der experimentelle Status bedeutet:

• Nicht alle Google User-Agents verwenden Web Bot Auth.
• Google signiert noch nicht jede Anfrage von Agenten, die das Protokoll nutzen.
• Wir empfehlen, dass Sie sich zusätzlich zu Web Bot Auth weiterhin auf IP-Adressen, Reverse-DNS und User-Agent-Strings verlassen, während wir den signierten Traffic schrittweise ausrollen.

Für diejenigen, die während der experimentellen Phase teilnehmen möchten, stellen wir Anleitungen bereit, wie Google AI-Agenten erkannt und auf die Allowlist gesetzt werden können.

So setzen Sie Google AI-Agenten mittels Web Bot Auth auf die Allowlist

Wenn Sie Entwickler oder Systemadministrator sind und unsere experimentellen AI-Agenten auf die Allowlist setzen möchten, können Sie die Verifizierung über das Web Bot Auth-Protokoll implementieren:

• Nutzung eines Produkts oder Dienstes, der Web Bot Auth unterstützt
• Selbstständige Verifizierung von Anfragen

Nutzen Sie ein Produkt oder einen Dienst, der Web Bot Auth unterstützt

Wichtige Bot-Erkennungsdienste, CDNs und WAFs unterstützen Web Bot Auth. Einige Infrastrukturdienste bieten Möglichkeiten, den Google-Agent User-Agent nachzuschlagen und auf die Allowlist zu setzen; wenden Sie sich für die genauen Schritte an Ihren Anbieter. Eine Untermenge der Anfragen, die vom Google-Agent getätigt werden, ist mit Web Bot Auth signiert; in diesen Fällen werden sie als https://agent.bot.goog authentifiziert. Wenn Ihr Anbieter das Protokoll unterstützt, verifiziert er dies wahrscheinlich automatisch.

Verifizieren Sie Anfragen selbst

Wenn Sie unsere Anfragen selbst authentifizieren möchten, lesen Sie die Spezifikation zur Architektur von HTTP-Nachrichtensignaturen für automatisierten Traffic und die Beispielimplementierungen auf GitHub. Im Allgemeinen sind die wichtigsten Protokollschritte:

1. Rufen Sie den Public-Key-Satz unseres Agenten von https://agent.bot.goog/.well-known/http-message-signatures-directory ab und cachen Sie diese gemäß dem Cache-Control-Header.
   
2. Teilnehmende Anfragen, die an Ihren Server gesendet werden, haben den HTTP-Request-Header Signature-Agent auf g="https://agent.bot.goog" gesetzt (beachten Sie das g= Label).
3. Verifizieren Sie den Signature-Header gemäß Signature-Input unter Befolgung des Standards für HTTP-Nachrichtensignaturen (RFC 9421). Verwenden Sie die als g gekennzeichneten Signature– und Signature-Input-Header.
4. Vergessen Sie nicht, auf die IP-basierte Verifizierung zurückzugreifen, da nicht alle Anfragen signiert sind.

Bei latenzempfindlichen Anfragen können Sie die Antwort vorab zurückgeben und die Signatur innerhalb ihres Ablauffensters validieren. In diesem Fall erfolgt die Sanktionierung nachträglich und Sie können diese auf zukünftige Anfragen des Aufrufers anwenden.

Nächste Schritte

• Kontaktieren Sie Ihren Hosting- oder Sicherheitsanbieter, um zu prüfen, ob dieser die Web Bot Auth-Verifizierung unterstützt.
• Bleiben Sie über die technischen Spezifikationen der Web Bot Auth Working Group auf dem Laufenden.
• Beteiligen Sie sich an der Diskussion auf der IETF-Mailingliste.
• Senden Sie uns Feedback über unser Web Bot Auth-Feedbackformular.