Sunucunuza gelen bir isteğin gerçekten
Google’dangelip gelmediğini doğrulayabilirsiniz. Doğrulama, Googlebot gibi tarayıcıların yanı sıra diğer istekler için de mümkündür. Bu, spam gönderenlerin veya diğer kötü niyetli kişilerin Google’dan geldiklerini iddia ederek sitenize eriştiğinden endişeleniyorsanız yararlıdır.
Google’ın tarayıcıları ve getiricileri üç kategoriye ayrılır:
| Tür | Açıklama | Ters DNS maskesi | IP aralıkları |
|---|---|---|---|
| Yaygın tarayıcılar | Google ürünleri için kullanılan yaygın tarayıcılar (Googlebot gibi). Otomatik taramalar için her zaman robots.txt kurallarına uyarlar. | crawl-***-***-***-***.googlebot.com veyageo-crawl-***-***-***-***.geo.googlebot.com | common-crawlers.json |
| Özel durum tarayıcıları | Google ürünleri için belirli işlevleri yerine getiren (AdsBot gibi) tarayıcılar veya getiriciler; burada taranan site ile ürün arasında erişim konusunda bir anlaşma vardır veya kötüye kullanım amaçlı tarama ya da getirme söz konusudur. Bu tarayıcılar veya getiriciler robots.txt kurallarına uyabilir veya uymayabilir. | rate-limited-proxy-***-***-***-***.google.com | special-crawlers.json |
| Kullanıcı tarafından tetiklenen getiriciler | Son kullanıcının bir getirme işlemini tetiklediği araçlar ve ürün işlevleri. Örneğin, Google Site Doğrulayıcı bir kullanıcının isteği üzerine hareket eder. Getirme işlemi bir kullanıcı tarafından istendiğinden, bu getiriciler robots.txt kurallarını yoksayar. Google tarafından kontrol edilen getiriciler, IP’lerden kaynaklanır: user-triggered-fetchers-google.json nesnesi ve şuna çözümlenir:google.com ana bilgisayar adı. Şuradaki IP’ler: user-triggered-fetchers.json nesnesi gae.googleusercontent.com ana bilgisayar adlarına çözümlenir. Bu IP’ler, örneğin Google Cloud (GCP) üzerinde çalışan bir sitenin, o sitenin kullanıcısının isteği üzerine harici RSS beslemelerini getirmeyi gerektiren bir özelliği varsa kullanılır. | ***-***-***-***.gae.googleusercontent.com veyagoogle-proxy-***-***-***-***.google.com | user-triggered-fetchers.json, user-triggered-fetchers-google.jsonve user-triggered-agents.json |
Google’dan gelen istekleri doğrulamak için iki yöntem vardır:
- Manuel olarak: Tek seferlik aramalar için komut satırı araçlarını kullanın. Bu yöntem çoğu kullanım durumu için yeterlidir.
- Otomatik olarak: Büyük ölçekli aramalar için, bir tarayıcının IP adresini yayınlanan Google IP adresleri listesiyle eşleştirmek üzere otomatik bir çözüm kullanın.
Komut satırı araçlarını kullanın
- Günlüklerinizdeki erişim sağlayan IP adresinde,
hostkomutunu kullanarak ters DNS araması çalıştırın. - Alan adının şunlardan biri olduğunu doğrulayın:
googlebot.com,google.com, veya
googleusercontent.com. - 1. adımda alınan alan adında,
host
komutunu kullanarak ileri DNS araması çalıştırın. - Bunun, günlüklerinizdeki orijinal erişim sağlayan IP adresiyle aynı olduğunu doğrulayın.
Örnek 1:
Örnek 2:
Örnek 3:
Otomatik çözümleri kullanın
Alternatif olarak, tarayıcının IP adresini Google tarayıcılarının ve getiricilerinin IP aralıkları listeleriyle eşleştirerek Googlebot’u IP adresine göre tanımlayabilirsiniz:
- Googlebot gibi yaygın tarayıcılar
- AdsBot gibi özel tarayıcılar
- Kullanıcı tarafından tetiklenen getiriciler (kullanıcılar)
- Kullanıcı tarafından tetiklenen getiriciler (Google)
- Kullanıcı tarafından tetiklenen aracılar
Sitenize erişilebilecek diğer Google IP adresleri için (örneğin,
Apps Scripts), erişim sağlayan IP adresini genel
Google IP adresleri listesiile eşleştirin. JSON dosyalarındaki IP adreslerinin
CIDR formatında.
Biz bunu nasıl uyguluyoruz
Verification by reverse DNS is the only reliable way to separate real Googlebot from crawlers that spoof the user agent. We build this into the client’s log pipeline rather than checking manually.
İlgili hizmetler