Google, şu kullanımını test ediyor: Web Bot Auth
IETF internet taslağı, botların gerçek olduğunu doğrulamak için web sitelerine yardımcı olan yeni bir kriptografik protokoldür. Protokolü, Google altyapısında barındırılan bazı AI ajanlarıyla test ediyoruz. Bu kılavuz, Web Bot Auth’un ne olduğunu, mevcut durumunu ve deneysel aşamada doğrulamayı nasıl uygulayabileceğinizi açıklamaktadır.
Web Bot Auth nedir?
Web Bot Auth, botlar tarafından gönderilen isteklerin kimliğini doğrulamak için kullanılan deneysel bir kriptografik protokoldür. Web Bot Auth, yalnızca kendi bildirdiği başlıklara ve IP adreslerine güvenmek yerine, ajanların isteklerini kriptografik olarak imzalamalarına olanak tanır.
Web Bot Auth kullanmak, web sitesi sahiplerinin sitelerindeki otomatik trafiği tanımlamasına yardımcı olur ve diğer aktörlerin saygın ajanları taklit etmesini engeller. Web Bot Auth şu avantajları sağlayabilir:
- Kriptografik kesinlik: Kolayca taklit edilebilen başlıklardan doğrulanmış bir kimliğe geçin ve ajan kimliğini IP adreslerinden ayırın.
- Daha iyi gözlemlenebilirlik: Ajanların içeriğinizle nasıl etkileşime girdiği konusunda daha net içgörüler elde edin.
- Geleceğe hazırlık: Ajan sağlayıcılarının ve web sitelerinin karşılıklı güven inşa edebileceği ve bilinçli erişim kararları alabileceği bir web oluşturmaya yardımcı olun.
Web Bot Auth’un mevcut durumu: deneysel
Google’ın Web Bot Auth uygulaması şu nedenlerle deneyseldir
:
- Web Bot Auth, şu anda IETF tarafından geliştirilen bir taslak spesifikasyondur
WBA Çalışma Grubuve zamanla değişebilir. Google, geliştikçe Çalışma Grubu’nun çalışmalarıyla ilgilenmeye devam etmektedir. - User-agent ve IP tabanlı bot doğrulaması, etrafında onlarca yıllık sistemler, politikalar ve en iyi uygulamalar oluşturulmuş fiili standarttır. Bunları değiştirmek zaman ve dikkatli bir yaklaşım gerektirir; henüz erken bir aşamadayız ve protokolün teknik özelliklerini ve potansiyel ekosistem etkilerini değerlendirmeye devam ediyoruz.
Bu ne anlama geliyor?
Deneysel durum şunlar anlamına gelir:
- Tüm Google user-agent’ları Web Bot Auth kullanmıyor.
- Google, protokolü kullanan ajanların her isteğini henüz imzalamıyor.
- Web Bot Auth’a ek olarak, imzalı trafiği kademeli olarak kullanıma sunduğumuz için IP adresleri, ters DNS ve user-agent dizelerine
güvenmeye devam etmenizi öneririz.
Deneysel aşamada katılmak isteyenler için, Google AI ajanlarını nasıl tanıyacağınız ve izin verilenler listesine (allowlist) nasıl ekleyeceğiniz konusunda rehberlik sağlıyoruz.
Web Bot Auth kullanarak Google AI ajanlarını izin verilenler listesine ekleme
Deneysel AI ajanlarımızı izin verilenler listesine eklemek isteyen bir geliştirici veya sistem yöneticisiyseniz, Web Bot Auth protokolü aracılığıyla doğrulamayı uygulayabilirsiniz:
Web Bot Auth’u destekleyen bir ürün veya hizmet kullanın
Başlıca bot algılama hizmetleri, CDN’ler ve WAF’lar Web Bot Auth’u destekler. Bazı altyapı hizmetleri Google-Agent
user-agent’ını aramanın ve izin verilenler listesine eklemenin yollarını sunar; kesin adımlar için sağlayıcınıza başvurun. Google-Agent
tarafından yapılan isteklerin bir alt kümesi Web Bot Auth ile imzalanmıştır; bu durumlarda, kimlikleri https://agent.bot.googolarak doğrulanır. Sağlayıcınız protokolü destekliyorsa, muhtemelen bunu otomatik olarak doğrular.
İstekleri kendiniz doğrulayın
İsteklerimizi kendiniz doğrulamak istiyorsanız,
otomatik trafik mimarisi için HTTP Mesaj İmzaları spesifikasyonuna
ve GitHub’daki örnek uygulamalarabaşvurun. Genel olarak, temel protokol adımları şunlardır:
- Ajanımızın genel anahtar setini https://agent.bot.goog/.well-known/http-message-signatures-directory
adresinden getirin ve bunlarıCache-Controlbaşlığına göre önbelleğe alın. - Sunucunuza gönderilen katılımcı istekleri,
Signature-AgentHTTP istek başlığınag="https://agent.bot.goog"değerine sahip olacaktır (g=etiketine dikkat edin). - HTTP Mesaj İmzaları standardını (
RFC 9421) izleyerekSignaturebaşlığınıSignature-Inputbaşlığına göre doğrulayın.EtiketliSignatureveSignature-Inputg. - başlıklarını kullanın. Tüm istekler imzalanmadığındanIP tabanlı doğrulamaya

geri dönmeyi unutmayın. Gecikmeye duyarlı istekler için yanıtı önceden döndürebilir ve imzayıson kullanma penceresi
Cache-Control
- başlığı ile aynı değildir. Bunları ayrı ayrı doğruladığınızdan emin olun.
- Sonraki adımlar Web Bot Auth doğrulamasını destekleyip desteklemediklerini öğrenmek için barındırma veya güvenlik sağlayıcınızla iletişime geçin..
- Teknik spesifikasyonlar hakkında güncel kalın Web Bot Auth Çalışma Grubu.
- Tartışmaya katılın IETF posta listesi.
Biz bunu nasıl uyguluyoruz
Web Bot Auth is experimental and we treat it as such. We track it for clients who need cryptographic proof of crawler identity, but we do not build production dependencies on it yet.
İlgili hizmetler