Robot, kendi ziyaretlerini planlar ve yükü otomatik olarak ayarlar. Yeni bir bölüm, yapısal bir değişiklik veya yeni URL grupları keşfettiğinde istekler aniden artabilir. Yandex’in tavsiyesi, kısıtlamadan önce teşhis koymaktır.
Teşhis
- Sitelerim sayfasındaki yüklenen sayfalar ile aramadaki sayfaları karşılaştırın. Büyük bir fark, robotun dizine eklenmemesi gereken çok sayıda benzer veya kopya sayfa bulduğu anlamına gelir.
- Tarama istatistiklerini veya sunucu günlüklerini açın ve gerçekte neleri getirdiğine bakın. GET parametrelerine sahip URL’lere dikkat edin;
?price=1,000&max_price=1,000,000gibi filtre kombinasyonları veya?search=…gibi dahili arama URL’leri. Yandex bu israfı açıkça belirtir: robot bu farklı URL’leri tarar ancak bunların içerikleri aynı olduğundan arama sonuçlarında yer alamazlar.
Sırasıyla iki çözüm
Clean-param— robotu kopyalar arasındaki kanonik URL’ye yönlendirir, biriken metrikleri ona aktarır ve yükün kademeli olarak düşmesini sağlar.Disallow— hızlı seçenek: robot, dosya değişikliğinden sonraki 24 saat içinde belirtilen sayfalara erişimi durdurur. Yükün acil bir sorun olduğu durumlarda kullanın.
Yük gerçekten fazladan sayfalardan kaynaklanmıyorsa
İki seçenek mevcut: sunucuyu 429 Too Many Requests yanıtı verecek şekilde yapılandırın; bu, Yandex’e sunucunun zorlandığını bildirir ve istekleri azaltmasını sağlar; ya da tarama hızını konsoldan manuel olarak ayarlayın. 429 yöntemi daha tercih edilebilirdir çünkü dinamiktir; sunucu baskı altındayken uygulanır ve baskı kalktığında sona erer.
Alt alan adları
Yandex her alt alan adını ayrı bir site olarak değerlendirir ve her birini ayrı ayrı tarar; bu nedenle toplam yük, tek bir sitede olağandışı bir durum olmasa bile aniden artabilir. Sunucu günlükleri isteklerin çoğunun alt alan adlarına gittiğini gösteriyorsa, Yandex kısıtlamadan daha radikal bir çözüm önerir: alt alan adlarına gerçekten ihtiyaç olup olmadığını ve ana sitenin bölgesel bölümlerinin ziyaretçilere aynı derecede hizmet verip veremeyeceğini yeniden değerlendirin.
Biz bunu nasıl uyguluyoruz
The 24-hour figure for Disallow taking effect is the one to know during an incident — it is the fastest lever available. But we always look at the loaded-versus-in-search gap first, because the load is nearly always filter URLs, and blocking those returns both the capacity and the crawl budget. Configuring 429 is worth doing once on any site with a history of load problems: it is self-regulating in a way a fixed crawl rate is not.
İlgili hizmetler