Anfragen mit Web Bot Auth (experimentell) authentifizieren

Google testet die Nutzung des Web Bot Auth
IETF-Internet-Entwurfs, einem neuen kryptografischen Protokoll, das Websites dabei hilft, die Authentizität von Bots zu validieren. Wir testen das Protokoll mit einigen AI-Agenten, die auf der Google-Infrastruktur gehostet werden. Dieser Leitfaden erklärt, was Web Bot Auth ist, wie der aktuelle Status ist und wie Sie die Verifizierung in der experimentellen Phase implementieren können.

der Bot-Verifizierung zurückgreifen

Was ist Web Bot Auth?

Web Bot Auth ist ein experimentelles kryptografisches Protokoll zur Authentifizierung von Anfragen, die von Bots gesendet werden. Anstatt sich ausschließlich auf selbst gemeldete Header und IP-Adressen zu verlassen, ermöglicht Web Bot Auth Agenten, ihre Anfragen kryptografisch zu signieren.

• Die Verwendung von Web Bot Auth hilft Website-Betreibern, automatisierten Datenverkehr auf ihren Websites zu identifizieren und verhindert, dass andere Akteure versuchen, seriöse Agenten zu fälschen. Web Bot Auth kann die folgenden Vorteile bieten: Kryptografische Sicherheit:
• Gehen Sie über leicht fälschbare Header hinaus zu einer verifizierten Identität und entkoppeln Sie die Agentenidentität von IP-Adressen. Bessere Beobachtbarkeit:
• Erhalten Sie klarere Einblicke, wie Agenten mit Ihren Inhalten interagieren. Zukunftssicherheit:

Helfen Sie dabei, ein Web aufzubauen, in dem Agentenanbieter und Websites gegenseitiges Vertrauen aufbauen und fundierte Zugriffsentscheidungen treffen können.

Aktueller Status von Web Bot Auth: experimentell Die Implementierung von Web Bot Auth durch Google
ist derzeit

• experimentell
  aus folgenden Gründen:Web Bot Auth ist derzeit ein Entwurf einer Spezifikation, die von der IETF
• WBA Working Group

entwickelt wurde und sich im Laufe der Zeit ändern kann. Google engagiert sich weiterhin in der Arbeit der Working Group, während sie sich weiterentwickelt.

Die Bot-Verifizierung auf Basis von User-Agent und IP ist derzeit der De-facto-Standard, um den herum jahrzehntelange Systeme, Richtlinien und Best Practices aufgebaut wurden. Die Änderung dieser erfordert Zeit und einen vorsichtigen Ansatz, und wir befinden uns in einem frühen Stadium, in dem wir noch die technischen Eigenschaften und die potenziellen Auswirkungen auf das Ökosystem des Protokolls bewerten.

• Was bedeutet das?
• Der experimentelle Status bedeutet, dass:
• Nicht alle Google-User-Agents verwenden Web Bot Auth. Google signiert noch nicht jede Anfrage von Agenten, die das Protokoll verwenden.
  Wir empfehlen, dass Sie sich zusätzlich zu Web Bot Auth weiterhin auf

IP-Adressen, Reverse-DNS und User-Agent-Strings

verlassen, während wir den signierten Datenverkehr schrittweise einführen.

Für diejenigen, die daran interessiert sind, während der experimentellen Phase teilzunehmen, bieten wir Anleitungen, wie man Google AI-Agenten erkennt und auf die Zulassungsliste setzt.

• So setzen Sie Google AI-Agenten mit Web Bot Auth auf die Zulassungsliste
• Wenn Sie ein Entwickler oder Systemadministrator sind, der unsere experimentellen AI-Agenten auf die Zulassungsliste setzen möchte, können Sie die Verifizierung über das Web Bot Auth-Protokoll implementieren:

Verwendung eines Produkts oder Dienstes, der Web Bot Auth unterstützt

Anfragen selbst verifizieren Verwenden Sie ein Produkt oder einen Dienst, der Web Bot Auth unterstützt
Wichtige Bot-Erkennungsdienste, CDNs und WAFs unterstützen Web Bot Auth. Einige Infrastrukturdienste bieten Möglichkeiten, den Google-Agent
User-Agent nachzuschlagen und auf die Zulassungsliste zu setzen; wenden Sie sich an Ihren Anbieter für die genauen Schritte. Eine Teilmenge der Anfragen, die vom Google-Agentgestellt werden, sind mit Web Bot Auth signiert; in diesen Fällen werden sie als

https://agent.bot.goog

authentifiziert. Wenn Ihr Anbieter das Protokoll unterstützt, verifiziert er dies wahrscheinlich automatisch.
Anfragen selbst verifizieren
Wenn Sie unsere Anfragen selbst authentifizieren möchten, lesen Sie die HTTP Message Signatures für die Architektur-Spezifikation für automatisierten Datenverkehrund

1. Beispielimplementierungen auf GitHub . Im Allgemeinen sind die wichtigsten Protokollschritte:
   Rufen Sie den öffentlichen Schlüsselsatz unseres Agenten von https://agent.bot.goog/.well-known/http-message-signatures-directory ab und speichern Sie sie gemäß dem

2. Header. Stellen Sie sicher, dass Sie alte zwischengespeicherte Schlüssel löschen, die in der Datei fehlen, da sie möglicherweise abgelaufen oder widerrufen wurden. Teilnehmende Anfragen, die an Ihren Server gesendet werden, haben den Signature-Agent HTTP-Anfrage-Header auf g= g=”https://agent.bot.goog”
3. gesetzt (beachten Sie das Label ). Verifizieren Sie denSignatureHeader gemäß demSignature-Input , gemäß dem HTTP Message Signatures-Standard ( RFC 9421 ). Verwenden Sie die g.
4. Signature undSignature-Input-Header, die als beschriftet sind. Vergessen Sie nicht, auf die IP-basierte Verifizierung zurückzugreifen, da nicht alle Anfragen signiert sind.

Bei latenzempfindlichen Anfragen können Sie die Antwort vorab zurückgeben und die Signatur innerhalb ihres Ablauffenstersvalidieren. In diesem Fall erfolgt die Sanktionierung nachträglich und Sie können diese auf zukünftige Anfragen des Aufrufers anwenden.

Nächste Schritte

• Kontaktieren Sie Ihren Hosting- oder Sicherheitsanbieter, um zu prüfen, ob er die Web Bot Auth-Verifizierung unterstützt.
• Bleiben Sie über die technischen Spezifikationen der Web Bot Auth Working Group.
• auf dem Laufenden. Nehmen Sie an der Diskussion in der.
• IETF-Mailingliste teil..