Tarama sürəti robotun saytınıza saniyədə göndərdiyi sorğuların sayıdır. O, susmaya görə avtomatik təyin edilir və Yandex-in alqoritmi serveri həddindən artıq yükləmədən mümkün qədər çox səhifə yükləməyi hədəfləyir. Bu, əsas domen və hər bir alt domen üçün ayrıca tənzimlənməlidir.
Onu azaltmazdan əvvəl
Yandex əvvəlcə diaqnostika tələb edir və bu ardıcıllıq qəsdən seçilib. Əgər robotun trafiki serverə zərər verirsə, müəyyən edin nəyi robot tələb edir:
- Server loqlarını oxuyun.
- İndeksləmə → Tarama statistikası bölməsini Bütün səhifələr görünüşündə açın və xidməti səhifələri və dublikatları — adətən GET parametrləri olan URL-ləri axtarın.
Əgər robot öz büdcəsini filtr kombinasiyalarına və sessiya URL-lərinə xərcləyirsə, düzgün həll yolu Disallow direktivini robots.txtfaylında tətbiq etməkdir (robots.txt təhlili aləti ilə yoxlanılır) — daha aşağı tarama sürəti deyil. Sürətin azaldılması əlaməti aradan qaldırır və əslində indekslənməsini istədiyiniz səhifələri ləngidir. Bu fərq səhifənin bütün məzmununu təşkil edir.
Onun artırılması
Dəyər sadəcə tövsiyədir. Yandex açıq şəkildə bildirir ki, faktiki sürət sayt haqqında bildiklərindən asılı olaraq fərqlənə bilər. Daha böyük rəqəm robotun daha sərt taramaq üçün heç bir səbəbi olmayan saytda daha sürətli indekslənməni təmin etmir.
Onu necə təyin etməli
İndeksləmə → Tarama sürəti bölməsinə keçin, Əl ilə təyin etseçimini yandırın, slaydın yerini dəyişin (o, hesablanmış optimumdan başlayır) və yadda saxlayın.
Əl ilə idarəetmə nə zaman haqlıdır
Robot trafikinin cavab müddətini nəzərəçarpacaq dərəcədə artırdığı paylaşılan hostinq (shared hosting), resursların vacib olduğu planlaşdırılmış tədbir və ya tarama yükü altında səhvlər qaytarmağa başlayan sürət məhdudlaşdırıcı təbəqənin arxasındakı sayt. Bu hallardan kənarda avtomatik parametr daha yaxşıdır və illər əvvəl təyin edilib unudulmuş əl ilə daxil edilmiş dəyər yeni səhifələrin nə qədər tez aşkar edilməsinə qoyulan səssiz bir məhdudiyyətdir.
Bunu necə tətbiq edirik
The first thing we check when a client asks us to slow the robot down is what it is actually fetching, because it is nearly always filter and parameter URLs rather than real pages. Blocking those returns both the server load and the crawl budget; lowering the rate returns only the load, and costs indexing speed on the pages that matter. We also make a point of looking for a manual rate someone set during a long-forgotten incident.
Əlaqəli xidmətlər