Authentifier les requêtes avec Web Bot Auth (expérimental)

Google teste l’utilisation du Web Bot Auth
brouillon Internet de l’IETF, qui est un nouveau protocole cryptographique aidant les sites Web à valider l’authenticité des bots. Nous testons le protocole avec certains agents AI hébergés sur l’infrastructure Google. Ce guide explique ce qu’est Web Bot Auth, le statut actuel et comment vous pouvez implémenter la vérification dans la phase expérimentale.

de vérification des bots

Qu’est-ce que Web Bot Auth ?

Web Bot Auth est un protocole cryptographique expérimental utilisé pour authentifier les requêtes envoyées par des bots. Au lieu de s’appuyer uniquement sur des en-têtes auto-déclarés et des adresses IP, Web Bot Auth permet aux agents de signer cryptographiquement leurs requêtes.

• L’utilisation de Web Bot Auth aide les propriétaires de sites Web à identifier le trafic automatisé sur leurs sites et empêche d’autres acteurs de tenter d’usurper des agents réputés. Web Bot Auth peut apporter les avantages suivants : Certitude cryptographique :
• Allez au-delà des en-têtes facilement usurpables vers une identité vérifiée et découplez l’identité de l’agent des adresses IP. Meilleure observabilité :
• Obtenez des informations plus claires sur la façon dont les agents interagissent avec votre contenu. Préparation à l’avenir :

Aidez à établir un Web où les fournisseurs d’agents et les sites Web peuvent instaurer une confiance mutuelle et prendre des décisions d’accès éclairées.

Statut actuel de Web Bot Auth : expérimental L’implémentation de Google de Web Bot Auth est actuellement
expérimentale

• pour les raisons suivantes :
  Web Bot Auth est actuellement un projet de spécification développé par le groupe de travailWBA Working Group
• de l’IETF, et il peut changer au fil du temps. Google continue de s’impliquer dans les travaux du groupe de travail à mesure qu’il évolue.

La vérification des bots basée sur l’agent utilisateur et l’IP est actuellement la norme de facto, avec des décennies de systèmes, de politiques et de meilleures pratiques construites autour d’elle. Les changer nécessite du temps et une approche prudente, et nous en sommes à un stade précoce, évaluant encore les caractéristiques techniques et les implications potentielles du protocole sur l’écosystème.

Qu’est-ce que cela signifie ?

• Le statut expérimental signifie que :
• Tous les agents utilisateurs de Google n’utilisent pas Web Bot Auth.
• Google ne signe pas encore chaque requête des agents utilisant le protocole. Nous vous recommandons, en plus de Web Bot Auth, de continuer à vous appuyer sur
  les adresses IP, le DNS inverse et les chaînes d’agent utilisateur

à mesure que nous déployons progressivement le trafic signé.

Pour ceux qui souhaitent participer pendant la phase expérimentale, nous fournissons des conseils sur la façon de reconnaître et d’ajouter à la liste blanche les agents AI de Google.

Comment ajouter les agents AI de Google à la liste blanche en utilisant Web Bot Auth

• Si vous êtes un développeur ou un administrateur système cherchant à ajouter nos agents AI expérimentaux à la liste blanche, vous pouvez implémenter la vérification via le protocole Web Bot Auth :
• Utilisation d’un produit ou d’un service prenant en charge Web Bot Auth

Vérifier les requêtes vous-même

Utilisez un produit ou un service prenant en charge Web Bot Auth Les principaux services de détection de bots, CDN et WAF prennent en charge Web Bot Auth. Certains services d'infrastructure offrent des moyens de rechercher l'agent utilisateur
Google-Agent et de l’ajouter à la liste blanche ; consultez votre fournisseur pour connaître les étapes exactes. Un
sous-ensemble des requêtes effectuées par le Google-Agent sont signées avec Web Bot Auth ; dans ces cas, elles sont authentifiées commehttps://agent.bot.goog

. Si votre fournisseur prend en charge le protocole, il le vérifiera probablement automatiquement.

Vérifier les requêtes vous-même
Si vous souhaitez authentifier nos requêtes vous-même, reportez-vous à la
spécification d’architecture des signatures de messages HTTP pour le trafic automatisé et auxexemples d’implémentations sur GitHub

1. . En général, les étapes clés du protocole sont : Récupérez l’ensemble de clés publiques de notre agent à partir de
   https://agent.bot.goog/.well-known/http-message-signatures-directory et mettez-les en cache conformément à l'en-tête Cache-Control

2. Assurez-vous de supprimer les anciennes clés mises en cache qui sont absentes du fichier, car elles pourraient être expirées ou révoquées. Les requêtes participantes envoyées à votre serveur auront l'en-tête de requête HTTP Signature-Agent défini sur g=”https://agent.bot.goog” g= (notez l’étiquette
3. label ). Vérifiez l’en-tête Signatureconformément auSignature-Input, en suivant la norme des signatures de messages HTTP ( RFC 9421 ). Utilisez les en-têtes Signature g.
4. et Signature-Inputétiquetés comme. N’oubliez pas de recourir à la vérification basée sur l’IP, car toutes les requêtes ne sont pas signées.

Pour les requêtes sensibles à la latence, vous pouvez renvoyer la réponse à l’avance et valider la signature dans sa fenêtre d’expiration. Dans ce cas, la sanction interviendra après coup et vous pourrez l’appliquer aux futures requêtes de l’appelant.

Étapes suivantes

• Contactez votre fournisseur d’hébergement ou de sécurité pour voir s’il prend en charge la vérification Web Bot Auth.
• Restez informé des spécifications techniques du groupe de travail Web Bot Auth.
• Participez à la discussion sur la liste de diffusion IETF.
• Envoyez-nous vos commentaires via notre formulaire de commentaires Web Bot Auth.