Googlebot

Googlebot, iki tür
web tarayıcısının genel adıdır ve Google Arama tarafından kullanılır:

• Googlebot Smartphone:
  mobil cihazdaki bir kullanıcıyı simüle eden bir mobil tarayıcı.
• Googlebot Desktop:
  masaüstündeki bir kullanıcıyı simüle eden bir masaüstü tarayıcısı.

Googlebot’un alt türünü,
HTTP user-agent istek başlığına
bakarak tanımlayabilirsiniz. Ancak her iki tarayıcı türü de robots.txt dosyasındaki aynı ürün belirtecine (user agent token) uyar, bu nedenle robots.txt kullanarak Googlebot Smartphone veya Googlebot Desktop’ı seçici olarak hedefleyemezsiniz.

Google Arama, çoğu site için öncelikli olarak
içeriğin mobil sürümünü
dizinler. Bu nedenle, Googlebot tarama isteklerinin çoğu mobil tarayıcı kullanılarak, az bir kısmı ise masaüstü tarayıcısı kullanılarak yapılır.

Googlebot sitenize nasıl erişir

Çoğu site için Googlebot, sitenize ortalama olarak birkaç saniyede birden fazla erişmemelidir. Ancak gecikmeler nedeniyle, kısa süreler boyunca bu oranın biraz daha yüksek görünmesi mümkündür. Siteniz Google’ın tarama isteklerine ayak uydurmakta zorlanıyorsa, tarama hızını düşürebilirsiniz.

Google Arama için tarama yaparken Googlebot,
desteklenen bir dosya türününilk 2 MB’ını ve bir PDF dosyasının ilk 64 MB’ını tarar. Oluşturma (rendering) açısından, HTML’de referans verilen her kaynak (CSS ve JavaScript gibi) ayrı ayrı getirilir ve her kaynak getirme işlemi, diğer dosyalar için geçerli olan aynı dosya boyutu sınırına (PDF dosyaları hariç) tabidir.
Kesme sınırına ulaşıldığında Googlebot getirme işlemini durdurur ve dizine ekleme değerlendirmesi için yalnızca dosyanın halihazırda indirilmiş kısmını gönderir. Dosya boyutu sınırı, sıkıştırılmamış veriler için uygulanır.
Diğer Google tarayıcıları, örneğin Googlebot Video ve Googlebot Image,
farklı sınırlara.

sahip olabilir. ABD’deki IP adreslerinden tarama yaparken Googlebot’un saat dilimi
Pasifik Zaman Dilimi’dir.

Diğer
Googlebot teknik özellikleri
Google’ın tarayıcılarına genel bakış bölümünde açıklanmıştır.

Googlebot’un sitenizi ziyaret etmesini engelleme

Googlebot, taranacak yeni URL’leri öncelikle daha önce taranmış sayfalara yerleştirilmiş bağlantılardan keşfeder. Bir siteye giden bağlantıları yayınlamayarak o siteyi gizli tutmak neredeyse imkansızdır. Örneğin, birisi “gizli” sitenizden başka bir siteye giden bir bağlantıya tıkladığı anda, “gizli” sitenizin URL’si yönlendiren (referrer) etiketinde görünebilir ve diğer site tarafından saklanıp yönlendiren günlüğünde yayınlanabilir.

Googlebot’un sitenizdeki içeriği taramasını engellemek istiyorsanız,
birkaç seçeneğinizvardır. Unutmayın ki tarama ile dizinlemearasında bir fark vardır; Googlebot’un bir sayfayı taramasını engellemek, sayfa URL’sinin arama sonuçlarında görünmesini engellemez:

• Googlebot’un bir sayfayı taramasını engellemek mi istiyorsunuz? Bir
  robots.txt dosyası kullanın.
• Google’ın bir sayfayı dizine eklemesini istemiyor musunuz? Kullanın:
  noindex.
• Bir sayfanın hem tarayıcılar hem de kullanıcılar tarafından tamamen erişilebilir olmasını engellemek mi istiyorsunuz? Kullanın:
  şifre koruması gibi başka bir yöntem.

Googlebot’u engellemek, Google Arama’yı (Discover ve tüm Google Arama özellikleri dahil) ve ayrıca Google Görseller, Google Video ve Google Haberler gibi diğer ürünleri etkiler.

Googlebot’u doğrulama

Googlebot’u engellemeye karar vermeden önce, Googlebot tarafından kullanılan HTTP user-agent istek başlığının genellikle diğer tarayıcılar tarafından taklit edildiğini unutmayın. Sorunlu bir isteğin gerçekten Google’dan geldiğini doğrulamak önemlidir. Bir isteğin gerçekten Googlebot’tan geldiğini doğrulamanın en iyi yolu,
ters DNS araması kullanmak
veya isteğin kaynak IP’sini
Googlebot IP aralıkları.