Googlebot nasıl doğrulanır

20 Eylül 2006, Çarşamba

Son zamanlarda birkaç zeki kişinin arama motorlarından bir botun gerçek olduğunu anlamanın bir yolunu sağlamalarını talep ettiğini duydum. Sonuçta herhangi bir spam gönderici, botuna “Googlebot” adını verip Google olduğunu iddia edebilir; peki hangi botlara güvenip hangilerini engellemelisiniz?

Sıkça duyduğumuz talep, Googlebot IP adreslerinin listesini herkese açık bir yerde yayınlamamız yönünde. Bununla ilgili sorun ise, tarayıcılarımızın IP aralıkları değiştiğinde herkesin bunu kontrol etmeyi akıl edemeyecek olmasıdır. Aslında, tarama ekibi birkaç yıl önce Googlebot IP’lerini taşıdığında, IP aralığını sabit kodlamış (hard-coded) web yöneticilerini uyarmak gerçek bir sorundu. Bu yüzden tarama ekibi, Googlebot’u doğrulamak için başka bir yol sundu. İşte tarama ekibinden birinin (izinleriyle alıntılanmıştır) cevabı:

Web yöneticilerine DNS kullanarak vaka bazlı doğrulama yapmalarını söylemek en iyi yol gibi görünüyor. Önerilen tekniğin ters DNS sorgusu yapmak, ismin googlebot.com alan adında olduğunu doğrulamak ve ardından bu googlebot.com ismini kullanarak karşılık gelen bir ileri DNS->IP sorgusu yapmak olduğunu düşünüyorum. Örneğin:

Sadece ters DNS sorgusu yapmanın yeterli olduğunu düşünmüyorum, çünkü bir sahtekar ters DNS’i crawl-a-b-c-d.googlebot.com adresine yönlendirecek şekilde ayarlayabilir.

Bu cevap yardım masamıza da iletildi, bu yüzden bunu Googlebot’u doğrulamak için resmi bir yöntem olarak kabul ediyorum. “Resmi” Googlebot IP aralığından veri çekebilmesi için botun robots.txt dosyasına ve Google’ın sizi aşırı taramaması için belirlediğimiz dahili sunucu yükü kurallarına uyması gerekir.

(Tarama tarafındaki bu cevap için N. ve J.’ye teşekkürler.)