Googlebot Doğrulama: Güvenlik İçin Ters DNS Sorguları Nasıl Yapılır

Googlebot trafiğini ters DNS sorgusu ile doğrulamak, sunucunuza gelen bir isteğin gerçekten Google’dan kaynaklandığını onaylamak için standart yöntemdir. Kötü niyetli aktörler, güvenlik filtrelerini atlamak veya özel içerikleri kazımak için sıklıkla Googlebot kullanıcı aracısını taklit ederler. Bir DNS kontrolü yaparak, IP adresinin googlebot.com veya google.com ad alanı içindeki bir alan adına çözümlendiğini onaylarsınız; bu da gerçek arama trafiğini yetkisiz otomatik botlardan etkili bir şekilde ayırır.

Googlebot IP adreslerini doğrulamak neden önemlidir?

Modern web sunucuları sürekli otomatik trafikle uğraşır. Bu trafiğin bir kısmı arama motorlarından gelse de, büyük bir kısmı kazıyıcılardan ve güvenlik tarayıcılarından oluşur. Eğer güvenlik duvarı ayarlarınız çok katıysa, yanlışlıkla Googlebot’u engelleyebilir ve sayfaların arama sonuçlarından düşmesine neden olabilirsiniz. Tersine, bot olduğunu iddia eden her isteği beyaz listeye alırsanız, altyapınızı güvenlik açıklarına maruz bırakırsınız.

Güvenlik ekipleri genellikle erişilebilirlik ve koruma arasındaki dengeyi kurmakta zorlanır. Bir IP adresi Googlebot olduğunu iddia ettiğinde, kolayca taklit edilebilen bir kullanıcı aracısı dizesi sunar. İkincil bir doğrulama mekanizması olmadan, sunucunuz yararlı bir tarayıcı ile bant genişliğinizi tüketmeye veya site zayıflıklarını araştırmaya çalışan kötü niyetli bir komut dosyası arasında ayrım yapamaz.

Googlebot olduğunu iddia eden tüm botlara izin verirseniz, sitenizi saldırılara açarsınız. Doğrulama, sunucunuz için kritik bir kapı bekçisi görevi görür. Her isteğin kaynağını kontrol ederek, yalnızca meşru arama trafiğinin sunucu kaynaklarınızı tükettiğinden emin olursunuz. Bu, özel verileri korumak ve gerçek kullanıcılar için site hızını korumak için gereklidir.

IP adresini doğrulamak, bir tarayıcının gerçek kimliğini onaylamanın tek yoludur.

Google Search Central

Googlebot kendini sunuculara nasıl tanıtır?

Googlebot, isteğin HTTP başlığındaki belirli bir kullanıcı aracısı dizesini kullanarak kendini tanıtır. Bu dizeler, Googlebot Smartphone veya Googlebot Desktop gibi farklı tarayıcı türleri için farklıdır. Ancak, bu başlık istemci tarafından sağlandığı için tek başına güvenli bir tanımlayıcı değildir. Googlebot olduğunu iddia eden bir istek, yalnızca kaynak IP adresinin Google’a ait olduğu doğrulandığında geçerlidir.

Googlebot’un arkasındaki altyapı geniştir ve ağ gereksinimleri arttıkça değişen geniş bir IP adresi aralığı kullanır. Bu nedenle IP adresini doğrulamak, bir tarayıcının gerçek kimliğini onaylamanın tek yoludur. IP’yi doğrulanmış bir Google alan adıyla ilişkilendirerek, yöneticiler organik arama görünürlüklerini etkilemeden güvenlik politikalarını güvenle sürdürebilirler.

Tipik bir sunucu ortamında, tarayıcı ‘Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)’ gibi bir istek gönderir. Bu dize herkes tarafından kopyalanabildiği için, sunucunuz bağlantının Google’ın altyapısından kaynaklandığından emin olmak için DNS sorgusunu gerçekleştirmelidir.

Manuel ters DNS sorgusu nasıl yapılır

Çoğu işletim sisteminde bulunan komut satırı araçlarını kullanarak bir IP adresinin kimliğini kontrol edebilirsiniz. Bu araçlar, belirli IP adresiyle ilişkili ana bilgisayar adını bulmak için Etki Alanı Adı Sistemini sorgular. Şüpheli bir IP’yi doğrulamak için şu adımları izleyin:

• Yerel makinenizde veya sunucunuzda terminalinizi veya komut isteminizi açın.
• host komutunu ve ardından IP adresini kullanın, örneğin ‘host 66.249.66.1’.
• Ana bilgisayar adının googlebot.com veya google.com ile bitip bitmediğini görmek için çıktıyı gözlemleyin.
• Çift kontrol sürecini tamamlamak için, ortaya çıkan ana bilgisayar adında ileri DNS sorgusu yaparak orijinal IP adresiyle eşleştiğinden emin olun.

Bu sorguları manuel olarak gerçekleştirmek, belirli günlükleri kontrol etmek için yararlıdır. Sunucunuza yüksek sıklıkla gelen şüpheli bir IP adresi belirlerseniz, basit bir terminal komutu anında yanıt sağlar. Eğer ters DNS sorgusu başarısız olursa veya Google ile ilgisi olmayan bir alan adı döndürürse, engellenmesi gereken taklit edilmiş bir istek belirlemiş olursunuz.

Daha büyük veri kümeleri için manuel kontrol verimli değildir. Erişim günlüklerinize karşı bu kontrolleri otomatikleştirmek için Python veya Bash gibi komut dosyası dillerini kullanmalısınız. Bu, binlerce girişi saniyeler içinde işlemenize ve manuel müdahale olmadan gayrimeşru trafiği otomatik olarak filtrelemenize olanak tanır.

Alien Road bunu müşteri güvenliği için nasıl uygular

Alien Road’da, bu kontrolleri gerçek zamanlı olarak gerçekleştiren otomatik komut dosyaları uygulayarak müşterilerimiz için sunucu tarafı güvenliğini yönetiyoruz. Keşif aşamamızda, meşru arama trafiğini engellemediklerinden emin olmak için mevcut güvenlik duvarı kurallarını denetliyoruz. Gelen bot modellerini izleyen ve sahte bir kullanıcı aracısı sunan ancak ters DNS doğrulama testini geçemeyen herhangi bir IP adresini işaretleyen günlük analiz araçları kuruyoruz.

İlk kurulum sırasında attığımız adımlar

• En sık görülen tarayıcı IP’lerini ve modellerini belirlemek için sunucu günlüklerini denetlemek.
• Web uygulaması güvenlik duvarlarını yalnızca doğrulanmış Googlebot IP aralıklarına izin verecek şekilde yapılandırmak.
• Bir tarayıcı düzensiz davrandığında ekibimizi bilgilendiren otomatik uyarılar ayarlamak.
• Sitenin büyük arama motorları tarafından dizine eklenebilir kalmasını sağlamak için robots.txt yönergelerini gözden geçirmek.

Tipik bir çalışmada, birçok müşterinin meşru Googlebot trafiğini engelleyen güncel olmayan güvenlik duvarı kurallarına sahip olduğunu görüyoruz. Bunu, güvenlik ayarlarını Google’ın yayınlanmış yönergeleriyle hizalayarak düzeltiyoruz. Amacımız, kötü niyetli kazıyıcılar engellenirken, Googlebot’un arama motoru sıralamalarını korumak veya iyileştirmek için sitenin her sayfasına ulaşabilmesini sağlamaktır.

Bot doğrulamasındaki yaygın tuzaklar nelerdir?

Yaygın bir hata, yalnızca HTTP başlığında sağlanan kullanıcı aracısı dizesine güvenmektir. Birçok kullanıcı, bir istek kendini ‘Googlebot’ olarak tanımladığı için bunun o olması gerektiğini varsayar. Bu yanlıştır çünkü kullanıcı aracısı, herkes tarafından kolayca düzenlenebilen, kendi kendine bildirilen bir alandır. Bir diğer sorun, doğrulamanın ikinci yarısını gerçekleştirmemektir: ileri DNS sorgusu. Taklit saldırılarını önlemek için alan adının orijinal IP adresine geri çözümlendiğini her zaman doğrulayın.

Bir diğer hata, belirli IP adreslerini güvenlik duvarınıza sabit kodlamaktır. Google altyapısını güncellediği için bu IP’ler zamanla değişebilir. Güvenlik duvarı kurallarınız statikse, ağlarına yeni eklenmiş yeni Googlebot örneklerini engelleyebilirsiniz. Bunun yerine, arama motorunu temsil ettiğini iddia eden herhangi bir botun doğrulama durumunu dinamik olarak kontrol eden komut dosyaları kullanın.

Kaynak tüketimi yönünü göz ardı etmeyin. Her isteği doğrulamak için karmaşık komut dosyaları çalıştırıyorsanız, yanlışlıkla sunucunuzu yavaşlatabilirsiniz. Güvenlik önlemlerinizin insan ziyaretçiler için site hızı üzerinde olumsuz bir etkiye neden olmadığından emin olmak için DNS sorgularınızın sonuçlarını makul bir süre için önbelleğe almanızı öneririz.

Bu hafta nereden başlamalı

Hangi botların en çok kaynak tüketen sayfalarınızı istediğini görmek için sunucunuzun erişim günlüklerini gözden geçirin. Googlebot olduğunu iddia eden IP’lerden yüksek trafik hacmi fark ederseniz, en sık görülen beş adreste manuel ters DNS kontrolü yapın. Bunlar Google’a ait bir alan adına çözümlenmiyorsa, sunucu kaynaklarınızın meşru kullanıcılar ve arama tarayıcıları için kullanılabilir kalmasını sağlamak için güvenlik duvarı kurallarınızı güncelleyin. Bu proaktif bakım, teknik temelinizin güvende kalmasını sağlar.