Google birden fazla tarayıcı çalıştırır. Bunların başlıcaları Googlebot Smartphone (indeksleme için birincil tarayıcı), Googlebot Desktop, Googlebot Image, Googlebot Video ve AdsBot ile kullanıcı tetiklemeli getirmeler için ayrı aracılardır.
Doğrulama önemlidir
User-agent dizeleri kolayca taklit edilebilir. Kazıyıcılar, hız sınırlarını aşmak için rutin olarak Googlebot olduklarını iddia ederler. İstekte bulunan IP üzerinde bir ters DNS sorgusu ile doğrulama yapın; bu sorgu googlebot.com veya google.com adresine çözümlenmeli, ardından aynı IP’ye tekrar bir ileri sorgu yapılmalıdır. Google ayrıca IP aralıklarını JSON olarak yayınlar.
Tarama hızı
Google, tarama hızını sunucu yanıtına göre otomatik olarak ayarlar. Sürekli 5xx hataları veya yavaş yanıtlar, Google’ın hızı düşürmesine neden olur. Search Console’da artık manuel bir tarama hızı ayarı bulunmamaktadır; acilen yavaşlatmanız gerekirse 503 veya 429 yanıtı döndürün, ancak bunu yalnızca kısa süreli yapın; çünkü sürekli 5xx yanıtları indeksin silinmesine yol açar.
Alien Road öneriyor: engellemeden önce doğrulayın. “Googlebot sunucuyu zorluyor” sorununu çözmek için defalarca çağrıldık ve birinin sadece user-agent eşleşmesine dayanarak gerçek Googlebot’u engelleyen bir bot koruma kuralı koyduğunu gördük. DNS ile doğrulayın, gerçeğine izin verin ve taklitçileri hız sınırına tabi tutun.
Biz bunu nasıl uyguluyoruz
Verifying crawler identity matters when a client’s security team starts blocking traffic. We have seen legitimate Googlebot requests blocked by a firewall rule, which removes a site from the index within weeks.
İlgili hizmetler