Crawl-delay direktivi veb-saytın robots.txt faylı daxilində Axtarış sistemi botlarının, xüsusilə Yandexbot-un ardıcıl sorğular arasında müəyyən edilmiş sayda saniyə gözləməsini təmin edən əmridir. Bu direktivi tətbiq etməklə veb-ustalar server resurslarını daha səmərəli idarə edir, intensiv indeksləşmə dövrlərində botun hostinq infrastrukturunu həddindən artıq yükləməsinin qarşısını alırlar. Bu parametr canlı ziyarətçilər üçün sayt sürətini qoruyub saxlamağa kömək edir, eyni zamanda axtarış sistemlərinin məzmuna davamlı sürətlə daxil olmasını təmin edir.
Niyə Yandex üçün crawl-delay direktivindən istifadə etməlisiniz?
Axtarış botunun saytınıza nə qədər tez-tez baş çəkdiyini idarə etmək texniki baxımın əsas hissəsidir. Server botdan dəqiqədə yüzlərlə sorğu qəbul etdikdə, hər bir prosesin öhdəsindən gəlmək üçün CPU dövrləri və yaddaş ayırmalıdır. Mürəkkəb arxa planlara və ya böyük verilənlər bazalarına malik saytlar üçün bu resurs bölgüsü real müştərilər üçün daha yavaş cavab müddətinə səbəb ola bilər. Yandexbot olduqca aktiv ola bilər və əgər serveriniz yüksək paralel sorğuların öhdəsindən gəlmək üçün qurulmayıbsa, siz 503 Xidmət Əlçatmazdır xətalarının artdığını görə bilərsiniz.
Yüksək tarama tezliyi ümumiyyətlə yeni məzmunun tez indekslənməsi üçün yaxşıdır. Bununla belə, saytın sabitliyi daha vacibdir. Əgər server çökərsə və ya nəzərəçarpacaq dərəcədə yavaşıyırsa, istifadəçi təcrübəsi zərər görür ki, bu da dolayısı ilə reytinqlərinizə təsir edə bilər. Gecikmədən istifadə etməklə siz serverə bot hücumları arasında nəfəs almağa imkan verən bufer təmin edirsiniz. Bu, xüsusilə məhdud resursları olan paylaşılan hostinq və ya VPS planlarında işləyən saytlar üçün faydalıdır.
Biz çox vaxt serverlərin bir neçə botun eyni vaxtda göndərdiyi sorğularla mübarizə apardığını görürük. Yandexbot üçün xüsusi gecikmənin təyin edilməsi indeksləşdirmə prosesini tamamilə dayandırmadan bu piklərin qarşısını alır. Bu, sabitliyi təmin etməyin sadə, lakin effektiv üsuludur.
Alien Road SEO komandası
Robots.txt faylında crawl-delay direktivini necə format etmək olar
Bu direktiv üçün sintaksis sadədir, lakin tanınması üçün robots.txt faylınızın düzgün bölməsində yerləşdirilməlidir. Yandex bu təlimatı məhz User-agent: Yandex və ya User-agent: * blokları altında axtarır. Dəyər botun əvvəlki sorğu bitdikdən sonra yeni sorğuya başlamazdan əvvəl gözləməli olduğu saniyələrin sayını göstərir.
- Direktivi robots.txt faylı içində öz sətrində yerləşdirin.
- İki nöqtə, ardınca boşluq və sonra rəqəm dəyərindən istifadə edin.
- Mühərrik dəstəkləyirsə, dəyərin tam ədəd və ya onluq ədəd olduğundan əmin olun.
- Daha yaxşı nəzarət üçün direktiv müəyyən bir User-agent blokunun bir hissəsi olmalıdır.
- Təhlilçini çaşdıra biləcək ziddiyyətli İcazə ver (Allow) və ya Qadağan et (Disallow) qaydalarının olmadığını yoxlayın.
Məsələn, əgər Yandexbot-un sorğular arasında 5 saniyə gözləməsini istəyirsinizsə, faylınız belə görünəcək: növbəti sətirdə User-agent: Yandex və onun ardınca Crawl-delay: 5. Bu, bota hər beş saniyədən bir yalnız bir sorğu edə biləcəyini bildirir. Saytınızda 10 000 səhifə varsa, bütün saytı taramaq daha çox vaxt aparacaq, lakin serverinizdəki yük daim aşağı qalacaq.
Yandex gecikmələr üçün kəsr dəyərlərini dəstəkləyirmi?
Bir çox veb-ustalar 1, 2 və ya 10 kimi tam rəqəmlərdən istifadə etsələr də, Yandex sənədləri kəsr dəyərlərinin də məqbul olduğunu göstərir. Məsələn, 0.5 dəyəri yarım saniyəlik gecikmə deməkdir ki, bu da saniyədə iki sorğuya imkan verir. Bu, tam saniyədən daha aqressiv parametrdir, lakin yenə də bir millisaniyədə əsl sorğu daşqınının qarşısını ala bilən kiçik boşluq təmin edir.
Doğru balansı tapmaq üçün müxtəlif dəyərləri sınamağa dəyər. Çox uzun olan gecikmə ən yeni bloq yazılarının və ya məhsul yeniləmələrinin axtarış nəticələrində görünməsinin həftələr çəkməsi demək ola bilər. Əksinə, çox qısa olan gecikmə server performansı problemlərinizi həll etməyə bilər. Əksər orta ölçülü veb-saytlar 0.5 ilə 2.0 arasındakı dəyərin onların ehtiyacları üçün yaxşı işlədiyini müəyyən edirlər.
Alien Road crawl-delay direktivini necə tətbiq edir
Tipik əməkdaşlıqda komandamız server loglarını və axtarış konsollarında təqdim olunan tarama statistikasını nəzərdən keçirməklə başlayır. Biz bot fəaliyyətinin yüksək yaddaş istifadəsi və ya istifadəçilər üçün artan gecikmə ilə əlaqəli olduğu nümunələri axtarırıq. Alien Road gecikmənin zəruri olub olmadığını və ya sadəcə serverin daha yaxşı keşləməyə ehtiyac duyub-duymadığını müəyyən etmək üçün məlumatlara əsaslanan yanaşmadan istifadə edir.
- Addım 1: Yandexbot sorğularının pik tezliyini müəyyən etmək üçün server loglarını təhlil edin.
- Addım 2: Botun saytı yavaşlatıb-yavaşlatmadığını görmək üçün tarama müddətlərini server cavab müddətləri (TTFB) ilə müqayisə edin.
- Addım 3: robots.txt faylında 2 kimi mühafizəkar Crawl-delay dəyəri tətbiq edin.
- Addım 4: Botun hələ də vacib səhifələrə baş çəkdiyindən əmin olmaq üçün Yandex Vebmaster-də Tarama Statistikası hesabatını izləyin.
- Addım 5: 14 günlük müddət ərzində indeksləşmə sürəti və server sağlamlığı əsasında dəyəri tənzimləyin.
Məsələn, dəbdəbəli mallar satan Shopify mağazasının Yandexbot-un indeksləşdirməyə çalışdığı minlərlə filtr kombinasiyası ola bilər. Bu, böyük yük yarada bilər. Xüsusi gecikmə tətbiq etməklə biz Yandex-ə ən vacib məhsul səhifələrini kəşf etməyə icazə verməklə yanaşı, saytın alıcılar üçün sürətli qalmasını təmin edirik. Biz istifadəçi təcrübəsini üstün tuturuq, çünki yavaş sayt nəticədə həm müştəriləri, həm də axtarış reytinqlərini itirir.
Əvəzində Yandex Vebmaster alətlərindən istifadə edə bilərsinizmi?
Bəli, Yandex tarama sürətini təyin etmək üçün Yandex Vebmaster daxilində qrafik interfeys təmin edir. Bu, ‘İndeksləşdirmə Parametrləri’ menyusunda tapılır. Alət istədiyiniz sürəti göstərmək üçün sürgünü hərəkət etdirməyə imkan verir. Bu üsul çox vaxt serverində mətn fayllarını redaktə etməkdən çəkinənlər üçün daha asandır. Bununla belə, robots.txt direktivi saytın kökündə birbaşa yerləşdiyi üçün bir çox texniki SEO mütəxəssisləri tərəfindən daha qəti hesab olunur.
Əgər siz həm robots.txt-də direktiv, həm də vebmaster panelində dəyər təyin etsinizsə, Yandex ümumiyyətlə paneldəki təlimata əməl edir, çünki o, daha yeni və birbaşa parametridir. Qarışıqlığın qarşısını almaq üçün ardıcıl olaraq bir üsuldan istifadə etməyi tövsiyə edirik. Serveri idarə edən tərtibatçınız varsa, robots.txt faylı adətən bu konfiqurasiya üçün daha yaxşı yerdir.
Direktiv faydalı olsa da, o, kobud alətdir. Biz hər bir bot ziyarətinin faktiki emal çəkisini azaltmaq üçün onu server tərəfindən keşləmə ilə birləşdirməyə üstünlük veririk. Beləliklə, bot tez-tez baş çəksə belə, server o qədər də çox işləməli olmur.
Alien Road SEO komandası
Bu direktivlə bağlı ümumi səhvlər hansılardır?
Əsas səhvlərdən biri 60 saniyə kimi həddindən artıq yüksək gecikmə təyin etməkdir. 60 saniyəlik gecikmə botun gündə cəmi 1440 səhifə taraya bilməsi deməkdir. 500 000 səhifəsi olan böyük e-ticarət saytı üçün bütün saytı bir dəfə taramaq bir ildən çox vaxt aparacaq. Bu, SEO performansınızı effektiv şəkildə məhv edir. Digər səhv isə müxtəlif botların müxtəlif adlara malik olduğunu unutmaqdır. Crawl-delay ilə ‘User-agent: Googlebot’ istifadə etmək Yandex-ə ümumiyyətlə təsir göstərməyəcək.
Sintaksis səhvləri də çox rast gəlinir. Direktivin User-agent blokundan kənarda yerləşdirilməsi onu etibarsız edir. Eynilə, səhv baş hərflərdən və ya ‘Crawl-delay’ əvəzinə ‘Crawl-speed’ kimi yanlış hərflərdən istifadə etmək Yandexbot-un qaydanı tamamilə nəzərdən qaçırmasına səbəb olacaq. Dəyişikliklər etdikdən sonra robots.txt faylınızı yoxlamaq üçün həmişə validator alətindən istifadə edin.
Bu həftə haradan başlamaq lazımdır
Serverin əlçatanlığı ilə bağlı hər hansı xəbərdarlığın olub-olmadığını yoxlamaq üçün Yandex Vebmaster hesabınızı yoxlamaqla başlayın. Tarama müddətləri zamanı tez-tez 5xx xətaları görürsünüzsə, bu, gecikmə tətbiq etməli olduğunuzun açıq əlamətidir. Yandex agenti altında robots.txt faylınıza sadə bir Crawl-delay: 2 əlavə edin. CPU yükünün sabitləşib-sabitləşmədiyini görmək üçün üç gün ərzində serverinizin işləməsini izləyin. Əgər heç bir yaxşılaşma görməsinizsə, daha dərin server tərəfi optimizasiyalarına və ya verilənlər bazasının indekslənməsinə nəzər salmalı ola bilərsiniz.