Robot öz ziyarətlərini planlaşdırır və yükü avtomatik tənzimləyir. Yeni bölmə, struktur dəyişikliyi və ya bir dəstə yeni URL aşkar etdikdə sorğularda kəskin artım ola bilər. Yandex-in tövsiyəsi budur ki, məhdudlaşdırmadan əvvəl diaqnostika edin.
Diaqnostika
- Müqayisə edin yüklənmiş səhifələri ilə axtarışdakı səhifələri Mənim saytlarım səhifəsində. Böyük fərq robotun indekslənməməli olan bir çox oxşar və ya dublikat səhifələr tapdığını bildirir.
- Gəzinti statistikasını (Crawl statistics) və ya server loqlarını açın və onun əslində nə əldə etdiyinə baxın. GET parametrləri olan URL-lərə diqqət yetirin — kimi filtr kombinasiyaları
?price=1,000&max_price=1,000,000, və ya daxili axtarış URL-ləri, məsələn?search=…. Yandex israfı açıq şəkildə qeyd edir: robot bu fərqli URL-ləri gəzir və onların eyni məzmunu onsuz da axtarışda iştirak edə bilməz.
İki üsul, ardıcıllıqla
Clean-param— robotu dublikatlar arasında kanonik URL-ə yönləndirir, toplanmış metrikaları ona ötürür və yükün tədricən düşməsinə imkan verir.Disallow— sürətli seçim: fayl dəyişdikdən sonra 24 saat ərzində robot göstərilən səhifələrə daxil olmağı dayandırır. Yük canlı problem olduqda istifadə edin.
Əgər yük həqiqətən əlavə səhifələrlə əlaqədar deyilsə
İki seçim: serveri cavab vermək üçün konfiqurasiya edin 429 Too Many Requests, bu, Yandex-ə serverin çətinlik çəkdiyini bildirir və o, sorğuları azaldacaq; və ya konsolda gəzinti sürətini əl ilə təyin edin. 429 marşrut daha üstündür, çünki o dinamikdir — server təzyiq altında olduqda tətbiq olunur və olmadıqda aradan qalxır.
Subdomenlər
Yandex hər bir subdomeni ayrı sayt kimi qəbul edir və hər birini gəzir, buna görə də tək bir sayt qeyri-adi davranmasa belə, ümumi yük kəskin arta bilər. Əgər server loqları əksər sorğuların subdomenlərə getdiyini göstərirsə, Yandex məhdudlaşdırmadan daha köklü bir şey təklif edir: subdomenlərin ümumiyyətlə lazım olub-olmadığını və əsas saytın regional bölmələrinin ziyarətçilərə eyni dərəcədə yaxşı xidmət edib-etməyəcəyini yenidən nəzərdən keçirin.
Bunu necə tətbiq edirik
The 24-hour figure for Disallow taking effect is the one to know during an incident — it is the fastest lever available. But we always look at the loaded-versus-in-search gap first, because the load is nearly always filter URLs, and blocking those returns both the capacity and the crawl budget. Configuring 429 is worth doing once on any site with a history of load problems: it is self-regulating in a way a fixed crawl rate is not.
Əlaqəli xidmətlər