Autenticar solicitudes con Web Bot Auth (experimental)

Google está probando el uso del Web Bot Auth
borrador de Internet de la IETF, que es un nuevo protocolo criptográfico que ayuda a los sitios web a validar que los bots sean auténticos. Estamos probando el protocolo con algunos agentes de AI alojados en la infraestructura de Google. Esta guía explica qué es Web Bot Auth, el estado actual y cómo puede implementar la verificación en la fase experimental.

de verificación de bots

¿Qué es Web Bot Auth?

Web Bot Auth es un protocolo criptográfico experimental utilizado para autenticar las solicitudes enviadas por bots. En lugar de depender únicamente de encabezados autoinformados y direcciones IP, Web Bot Auth permite a los agentes firmar criptográficamente sus solicitudes.

• El uso de Web Bot Auth ayuda a los propietarios de sitios web a identificar el tráfico automatizado en sus sitios y evita que otros actores intenten suplantar a agentes acreditados. Web Bot Auth puede aportar los siguientes beneficios: Certeza criptográfica:
• Vaya más allá de los encabezados fácilmente suplantables hacia una identidad verificada y desacople la identidad del agente de las direcciones IP. Mejor observabilidad:
• Obtenga información más clara sobre cómo los agentes interactúan con su contenido. Preparación para el futuro:

Ayude a establecer una web donde los proveedores de agentes y los sitios web puedan generar confianza mutua y tomar decisiones de acceso informadas.

Estado actual de Web Bot Auth: experimental La implementación de Google de Web Bot Auth es actualmente
experimental

• por las siguientes razones:
  Web Bot Auth es actualmente una especificación de borrador desarrollada por el Grupo de TrabajoWBA Working Group
• de la IETF, y puede cambiar con el tiempo. Google sigue participando en el trabajo del Grupo de Trabajo a medida que evoluciona.

La verificación de bots basada en el agente de usuario y la IP es actualmente el estándar de facto, con décadas de sistemas, políticas y mejores prácticas construidas a su alrededor. Cambiarlos requiere tiempo y un enfoque cuidadoso, y estamos en una etapa temprana, todavía evaluando las características técnicas y las posibles implicaciones del protocolo en el ecosistema.

¿Qué significa esto?

• El estado experimental significa que:
• No todos los agentes de usuario de Google utilizan Web Bot Auth.
• Google aún no firma todas las solicitudes de los agentes que utilizan el protocolo. Recomendamos que, además de Web Bot Auth, continúe confiando en
  direcciones IP, DNS inverso y cadenas de agente de usuario

a medida que implementamos gradualmente el tráfico firmado.

Para aquellos interesados en participar durante la fase experimental, proporcionamos orientación sobre cómo reconocer y agregar a la lista de permitidos a los agentes de AI de Google.

Cómo agregar a la lista de permitidos a los agentes de AI de Google usando Web Bot Auth

• Si usted es un desarrollador o administrador de sistemas que busca agregar a la lista de permitidos a nuestros agentes de AI experimentales, puede implementar la verificación a través del protocolo Web Bot Auth:
• Uso de un producto o servicio que admita Web Bot Auth

Verificar las solicitudes usted mismo

Utilice un producto o servicio que admita Web Bot Auth Los principales servicios de detección de bots, CDN y WAF admiten Web Bot Auth. Algunos servicios de infraestructura proporcionan formas de buscar el
Google-Agent agente de usuario y agregarlo a la lista de permitidos; consulte a su proveedor para conocer los pasos exactos. Un
subconjunto de las solicitudes realizadas por el Google-Agent están firmadas con Web Bot Auth; en estos casos, se autentican comohttps://agent.bot.goog

. Si su proveedor admite el protocolo, es probable que lo verifiquen automáticamente.

Verificar las solicitudes usted mismo
Si desea autenticar nuestras solicitudes usted mismo, consulte la
especificación de arquitectura de Firmas de Mensajes HTTP para tráfico automatizado yejemplos de implementaciones en GitHub

1. . En general, los pasos clave del protocolo son: Obtenga el conjunto de claves públicas de nuestro agente desde
   https://agent.bot.goog/.well-known/http-message-signatures-directory y almacénelos en caché de acuerdo con el encabezado Cache-Control

2. Asegúrese de eliminar las claves antiguas almacenadas en caché que faltan en el archivo, ya que pueden haber caducado o haber sido revocadas. Las solicitudes participantes enviadas a su servidor tendrán el encabezado de solicitud HTTP Signature-Agent configurado en g=”https://agent.bot.goog” g= (tome nota de la
3. etiqueta ). Verifique el encabezado Signaturede acuerdo con elSignature-Input, siguiendo el estándar de Firmas de Mensajes HTTP ( RFC 9421 ). Utilice los encabezados Signature g.
4. y Signature-Inputetiquetados como. No olvide recurrir a la verificación basada en IP, ya que no todas las solicitudes están firmadas.

Para solicitudes sensibles a la latencia, puede devolver la respuesta por adelantado y validar la firma dentro de su ventana de caducidad. En este caso, la sanción se producirá a posteriori y podrá aplicarla a las futuras solicitudes del emisor.

Próximos pasos

• Póngase en contacto con su proveedor de hosting o seguridad para ver si admiten la verificación de Web Bot Auth.
• Manténgase actualizado sobre las especificaciones técnicas del Grupo de Trabajo de Web Bot Auth.
• Participe en la discusión en la lista de correo de IETF.
• Envíenos sus comentarios a través de nuestro formulario de comentarios de Web Bot Auth.