Crawl rate, robotun sitenize saniyede yaptığı istek sayısıdır. Varsayılan olarak otomatik ayarlanır ve Yandex algoritması, sunucuyu aşırı yüklemeden mümkün olduğunca çok sayfayı yüklemeyi hedefler. Bu ayar, ana alan adı ve her bir alt alan adı için ayrı ayrı yapılandırılmalıdır.
Düşürmeden önce
Yandex öncelikle bir teşhis ister ve bu sıra kasıtlıdır. Eğer robot trafiği sunucuya zarar veriyorsa, robotun neyi talep ettiğini bulun:
- Sunucu günlüklerini okuyun.
- Dizin Oluşturma → Tarama istatistikleri bölümünü Tüm sayfalar görünümüyle açın ve hizmet sayfaları ile kopyaları — genellikle GET parametrelerine sahip URL’leri — inceleyin.
Eğer robot bütçesini filtre kombinasyonları ve oturum URL’leri üzerinde harcıyorsa, doğru çözüm düşük bir crawl rate değil, robots.txt dosyasında Disallow komutu kullanmak ve bunu robots.txt analiz aracıyla doğrulamaktır. Hızı düşürmek sadece belirtiyi tedavi eder ve aslında dizine eklenmesini istediğiniz sayfaları yavaşlatır. Bu ayrım, sayfanın temel konusudur.
Artırırken
Bu değer bir tavsiyedir. Yandex, sitenin durumu hakkındaki bilgilerine dayanarak gerçek hızın farklılık gösterebileceğini açıkça belirtir. Daha yüksek bir sayı, robotun daha yoğun taraması için bir nedeni olmayan bir sitede daha hızlı dizine ekleme sağlamaz.
Nasıl ayarlanır?
Dizin Oluşturma → Crawl rate yolunu izleyin, Manuel ayarla seçeneğini açın, hesaplanan optimum değerden başlayan kaydırıcıyı hareket ettirin ve kaydedin.
Manuel ayar ne zaman gereklidir?
Robot trafiğinin yanıt sürelerini ölçülebilir şekilde artırdığı paylaşımlı hosting hizmetleri, boş kapasitenin kritik olduğu planlı etkinlikler veya tarama yükü altında hata döndürmeye başlayan bir hız sınırlama katmanının arkasındaki siteler için gereklidir. Bu durumlar dışında otomatik ayar daha iyidir; yıllar önce manuel olarak ayarlanıp unutulmuş bir değer, yeni sayfaların keşfedilme hızını sessizce kısıtlayan bir engeldir.
Biz bunu nasıl uyguluyoruz
The first thing we check when a client asks us to slow the robot down is what it is actually fetching, because it is nearly always filter and parameter URLs rather than real pages. Blocking those returns both the server load and the crawl budget; lowering the rate returns only the load, and costs indexing speed on the pages that matter. We also make a point of looking for a manual rate someone set during a long-forgotten incident.
İlgili hizmetler