Crawl-delay direktifi

Crawl-delay, 22 Şubat 2018’den beri Yandex tarafından dikkate alınmamaktadır. Bu direktifi hala barındıran her site, hiçbir işlevi olmayan bir satırı taşımaktadır.

Yerine ne geldi

Yandex Webmaster’da, İndeksleme → Tarama hızı altındaki tarama hızı ayarı. Varsayılan olarak otomatiktir; sunucuyu aşırı yüklemeden mümkün olduğunca çok sayfa yükleyecek şekilde hesaplanır ve site bazında manuel olarak ayarlanabilir — her alt alan adı için ayrı ayrı dahil olmak üzere.

Değişiklik neden bir iyileştirme

Dosya direktifi statik ve kördür: sunucu boşta olsa da zorlansa da aynı gecikmeyi uygular ve kapasite varken bile robotu yavaşlatır. Konsol ayarı ise Yandex’in site hakkında bildikleriyle kıyaslayarak değerlendirdiği bir öneridir ve otomatik mod buna uyum sağlar.

Hemen müdahale etmeden önce

Yandex’in tarama hızı konusundaki rehberliği burada geçerlidir: robotu yavaşlatmadan önce gerçekte ne talep ettiğini öğrenin. Yük, genellikle olduğu gibi filtre kombinasyonlarından, oturum URL’lerinden ve site içi arama sonuçlarından kaynaklanıyorsa, doğru çözüm Disallow veya Clean-param kullanmaktır; bu, gereksiz istekleri kaldırır ve tarama bütçesini gerçek sayfalara geri kazandırır. Hızı düşürmek, gereksiz yükü tutar ve diğer her şeyi de onunla birlikte yavaşlatır.

Düzenleme

Bir sonraki düzenlemenizde robots.txt dosyanızdan Crawl-delay ifadesini kaldırın. Yandex üzerinde hiçbir etkisi yoktur, bazı diğer tarayıcılar hala dikkate alsa da, dosyada bırakılması aslında var olmayan bir hız kontrolünün mevcut olduğu izlenimini yaratır — ki bu da dosyayı yazan kişiden daha uzun süre varlığını sürdüren varsayımlardan biridir.

Gerçek bir sınırın hala var olduğu yer

Eğer robot trafiği gerçek bir operasyonel sorunsa, konsol ayarı Yandex’e yönelik tek kontrol mekanizmasıdır ve hem ana alan adı hem de her bir alt alan adı için ayrı ayrı yapılandırılmalıdır. Ana alan adında belirlenen bir hız, yük altında olan alt alan adı için hiçbir işe yaramaz.