Crawling infrastructure

Web Bot Auth ile isteklerin kimliğini doğrulayın (deneysel)

Google, şu kullanımını test ediyor: Web Bot Auth
IETF internet taslağı, botların gerçek olduğunu doğrulamak için web sitelerine yardımcı olan yeni bir kriptografik protokoldür. Protokolü, Google altyapısında barındırılan bazı AI ajanlarıyla test ediyoruz. Bu kılavuz, Web Bot Auth’un ne olduğunu, mevcut durumunu ve deneysel aşamada doğrulamayı nasıl uygulayabileceğinizi açıklamaktadır.

Web Bot Auth nedir?

Web Bot Auth, botlar tarafından gönderilen isteklerin kimliğini doğrulamak için kullanılan deneysel bir kriptografik protokoldür. Web Bot Auth, yalnızca kendi bildirdiği başlıklara ve IP adreslerine güvenmek yerine, ajanların isteklerini kriptografik olarak imzalamalarına olanak tanır.

Web Bot Auth kullanmak, web sitesi sahiplerinin sitelerindeki otomatik trafiği tanımlamasına yardımcı olur ve diğer aktörlerin saygın ajanları taklit etmesini engeller. Web Bot Auth şu avantajları sağlayabilir:

  • Kriptografik kesinlik: Kolayca taklit edilebilen başlıklardan doğrulanmış bir kimliğe geçin ve ajan kimliğini IP adreslerinden ayırın.
  • Daha iyi gözlemlenebilirlik: Ajanların içeriğinizle nasıl etkileşime girdiği konusunda daha net içgörüler elde edin.
  • Geleceğe hazırlık: Ajan sağlayıcılarının ve web sitelerinin karşılıklı güven inşa edebileceği ve bilinçli erişim kararları alabileceği bir web oluşturmaya yardımcı olun.

Web Bot Auth’un mevcut durumu: deneysel

Google’ın Web Bot Auth uygulaması şu nedenlerle deneyseldir
:

  • Web Bot Auth, şu anda IETF tarafından geliştirilen bir taslak spesifikasyondur
    WBA Çalışma Grubuve zamanla değişebilir. Google, geliştikçe Çalışma Grubu’nun çalışmalarıyla ilgilenmeye devam etmektedir.
  • User-agent ve IP tabanlı bot doğrulaması, etrafında onlarca yıllık sistemler, politikalar ve en iyi uygulamalar oluşturulmuş fiili standarttır. Bunları değiştirmek zaman ve dikkatli bir yaklaşım gerektirir; henüz erken bir aşamadayız ve protokolün teknik özelliklerini ve potansiyel ekosistem etkilerini değerlendirmeye devam ediyoruz.

Bu ne anlama geliyor?

Deneysel durum şunlar anlamına gelir:

  • Tüm Google user-agent’ları Web Bot Auth kullanmıyor.
  • Google, protokolü kullanan ajanların her isteğini henüz imzalamıyor.
  • Web Bot Auth’a ek olarak, imzalı trafiği kademeli olarak kullanıma sunduğumuz için IP adresleri, ters DNS ve user-agent dizelerine
    güvenmeye devam etmenizi öneririz.

Deneysel aşamada katılmak isteyenler için, Google AI ajanlarını nasıl tanıyacağınız ve izin verilenler listesine (allowlist) nasıl ekleyeceğiniz konusunda rehberlik sağlıyoruz.

Web Bot Auth kullanarak Google AI ajanlarını izin verilenler listesine ekleme

Deneysel AI ajanlarımızı izin verilenler listesine eklemek isteyen bir geliştirici veya sistem yöneticisiyseniz, Web Bot Auth protokolü aracılığıyla doğrulamayı uygulayabilirsiniz:

Web Bot Auth’u destekleyen bir ürün veya hizmet kullanın

Başlıca bot algılama hizmetleri, CDN’ler ve WAF’lar Web Bot Auth’u destekler. Bazı altyapı hizmetleri Google-Agent
user-agent’ını aramanın ve izin verilenler listesine eklemenin yollarını sunar; kesin adımlar için sağlayıcınıza başvurun. Google-Agent
tarafından yapılan isteklerin bir alt kümesi Web Bot Auth ile imzalanmıştır; bu durumlarda, kimlikleri https://agent.bot.googolarak doğrulanır. Sağlayıcınız protokolü destekliyorsa, muhtemelen bunu otomatik olarak doğrular.

İstekleri kendiniz doğrulayın

İsteklerimizi kendiniz doğrulamak istiyorsanız,
otomatik trafik mimarisi için HTTP Mesaj İmzaları spesifikasyonuna
ve GitHub’daki örnek uygulamalarabaşvurun. Genel olarak, temel protokol adımları şunlardır:

  1. Ajanımızın genel anahtar setini https://agent.bot.goog/.well-known/http-message-signatures-directory
    adresinden getirin ve bunları Cache-Control başlığına göre önbelleğe alın.

  2. Sunucunuza gönderilen katılımcı istekleri, Signature-Agent HTTP istek başlığına g="https://agent.bot.goog" değerine sahip olacaktır ( g= etiketine dikkat edin).
  3. HTTP Mesaj İmzaları standardını ( RFC 9421 ) izleyerek SignaturebaşlığınıSignature-Inputbaşlığına göre doğrulayın. Etiketli Signature ve Signature-Input g.
  4. başlıklarını kullanın. Tüm istekler imzalanmadığındanIP tabanlı doğrulamaya

Web Bot Auth verification steps

geri dönmeyi unutmayın. Gecikmeye duyarlı istekler için yanıtı önceden döndürebilir ve imzayıson kullanma penceresi

Cache-Control

Alien Road

Biz bunu nasıl uyguluyoruz

Web Bot Auth is experimental and we treat it as such. We track it for clients who need cryptographic proof of crawler identity, but we do not build production dependencies on it yet.

İlgili hizmetler

Paylaş

© Copyright 2026 Alien Road. All rights reserved.