Yandex crawl statistikası, Yandex axtarış robotu ilə veb sayt serveriniz arasındakı hər bir qarşılıqlı əlaqənin ətraflı jurnalını təmsil edir. Yandex Webmaster-də bu statistikaya baxaraq, robotun hansı URL-lərə daxil olduğunu, ziyarətin dəqiq vaxtını və serverinizin qaytardığı HTTP status kodunu görə bilərsiniz. Bu məlumatlar, məzmununuzun axtarış nəticələrində görünməsinə mane olan texniki səhvləri müəyyən etmək və ya crawl büdcənizi əhəmiyyətsiz səhifələrə sərf etməmək üçün vacibdir.
Yandex Crawl Statistikası nədir?
Yandex Webmaster-dəki crawl statistikası bölməsi sayt sahibləri üçün əsas diaqnostika aləti kimi çıxış edir. O, robotun son vaxtlar daxil olduğu URL-lərin siyahısını və hər biri üçün server cavabını göstərir. Bu görünüş ziyarət tezliyini və sayt strukturunuzun hansı hissələrinin axtarış sistemi tərəfindən ən çox diqqət çəkdiyini anlamağa kömək edir. Robot bir səhifəyə daxil olduqda, server resurslarını və ayrılmış crawl limitinizin bir hissəsini istehlak edir.
Bu jurnalları başa düşmək daha yaxşı texniki sağlamlığa doğru ilk addımdır. Məlumatları 200 OK, 404 Not Found və ya 503 Service Unavailable kimi cavab koduna görə filtrləyə bilərsiniz. Tez-tez baş verən 5xx səhvləri serverinizin yük altında çətinlik çəkdiyini və ya işləmədiyini göstərə bilər. Əksinə, 404 səhvlərinin çox olması robotun silinməli və ya aktiv məzmuna yönləndirilməli olan qırıq linkləri izlədiyini göstərir.
Crawl statistikası Yandex-də texniki SEO-nun ürək döyüntüsüdür. Əgər robot lazımsız parametrlərə və ya qırıq linklərə çox vaxt sərf edərsə, əsas açılış səhifələriniz indekslənmənin gecikməsindən əziyyət çəkir.
Alien Road SEO komandası
Crawl tezliyi SEO üçün niyə vacibdir?
Crawl tezliyi Yandex-in yeni məzmunu nə qədər tez aşkar etdiyini və mövcud səhifələri indeksində necə yenilədiyini müəyyən edir. Sayt nadir hallarda crawl edilirsə, qiymətlərdə, məhsulun mövcudluğunda və ya bloq yeniləmələrində edilən dəyişikliklər həftələrlə axtarış nəticələrində görünməyə bilər. Sağlam bir crawl dərəcəsi, Yandex-in saytı etibarlı və tez-tez ziyarət edilməyə layiq hesab etdiyini göstərir. Sayt sürəti, server sabitliyi və daxili link strukturu kimi amillərin hamısı robotun nə qədər tez-tez geri qayıdacağına təsir edir.
Minlərlə səhifəsi olan böyük veb saytlar crawl büdcələrindən necə istifadə etdiklərinə xüsusilə diqqət yetirməlidirlər. Əgər robot dublikat səhifələri və ya aşağı keyfiyyətli məzmunu crawl etməklə məşğuldursa, ən vacib yeniləmələrinizi qaçıra bilər. Statistikaya baxaraq, robotun dinamik filtrlər və ya təqvim modulları tərəfindən yaradılan sonsuz döngələrdə ilişib qaldığı nümunələri müəyyən edə bilərsiniz. Bu sahələri robots.txt faylında bloklamaq robotu yüksək dəyərli səhifələrinizə yönəldir.
Crawl məlumatlarından istifadə edərək indeksləmə darboğazlarını necə müəyyən etmək olar?
Darboğazlar axtarış robotu irəliləyişini ləngidən maneələrlə qarşılaşdıqda baş verir. Bunları Yandex Webmaster panelinizdə 200 olmayan status kodlarının yüksək faizini axtararaq tapa bilərsiniz. Məsələn, çoxlu 301 yönləndirmə görürsünüzsə, robot son təyinat yerinə çatmaq üçün əlavə sorğular etməlidir. Miqrasiya zamanı yönləndirmələr zəruri olsa da, həddindən artıq yönləndirmə zəncirləri crawl büdcəsini tez bir zamanda tükəndirə və indeksləmə prosesini çətinləşdirə bilər.
- Robotun çıxılmaz vəziyyətlərdə vaxt itirdiyini göstərən yüksək həcmdə 404 səhvlərini yoxlayın.
- Hostinq mühitinizin crawler-in intensivliyini idarə edə biləcəyinə əmin olmaq üçün 500 və 503 səhvlərini izləyin.
- Robotun dəyişməyən səhifələri yoxladığını və bant genişliyinizə qənaət etdiyini göstərən 304 Not Modified cavablarını axtarın.
- Səhifə tam oxunmazdan əvvəl robotun vaxtının bitməsinə səbəb ola biləcək uzun yükləmə müddəti olan URL-ləri müəyyən edin.
Bəzi səhifələr niyə Yandex tərəfindən aşağı dəyərli kimi etiketlənir?
Yandex aşağı dəyərli və ya aşağı tələbatlı səhifələri unikal faydalılıq və ya orijinal məlumatı olmayan sənədlər kimi müəyyən edir. Sistem bu etiketi tətbiq etdikdə, bu, çox vaxt məzmunun saytdakı və ya internetdəki digər səhifələrlə demək olar ki, eyni olduğu deməkdir. Bu səhifələr çox vaxt istifadəçi təcrübəsinə fərqli bir töhfə vermədikləri üçün indeksdən xaric edilir. Dərin sayt iyerarxiyası və ya yetim səhifələr kimi texniki problemlər də bu təsnifata töhfə verir.
Əgər səhifə formaların arxasında gizlədilibsə və ya autentifikasiya tələb edirsə, Yandex robotu onunla qarşılıqlı əlaqədə ola bilməz və onu aşağı tələbatlı kimi qeyd edə bilər. Eynilə, tək bir məqaləni bir çox kiçik səhifəyə bölmək bu statusu işə sala bilər. Bunu düzəltmək üçün nazik məzmunu hərtərəfli bələdçilərdə birləşdirməli və hər bir indekslənmiş URL-in ana səhifədən aydın, məntiqli bir yola sahib olduğundan əmin olmalısınız. Daxili linklərin yaxşılaşdırılması robotun bu səhifələrin sayt arxitekturasındakı əhəmiyyətini başa düşməsinə kömək edir.
Alien Road Yandex crawl statistikası təhlilini necə tətbiq edir
Alien Road-da Yandex məhsuldarlığını optimallaşdırmaq prosesimiz müştərinin Yandex Webmaster hesabını monitorinq alətlərimizə bağladığımız ətraflı kəşf mərhələsi ilə başlayır. Robot fəaliyyəti üçün baza yaratmaq üçün son 90 günlük crawl tarixçəsini araşdırırıq. Tipik bir işdə, crawl büdcəsinin əhəmiyyətli bir hissəsinin izləmə parametrlərinə və ya sessiya ID-lərinə sərf edildiyini görə bilərik. Biz dərhal bu yolları təmizləmək üçün robots.txt faylında qaydalar tətbiq edirik.
Komandamız daha sonra quraşdırma və ölçmə mərhələsinə keçir. Kritik HTTP səhvləri üçün xüsusi xəbərdarlıqlar qururuq. Məsələn, elektronika satan bir Shopify mağazası üçün, pik trafik saatlarında 200 statusunu qaytardıqlarından əmin olmaq üçün kateqoriya səhifələrini xüsusi olaraq izləyə bilərik. Uğurla crawl edilmiş səhifələrin xaric edilmişlərə nisbətini izləyən aylıq hesabat təqdim edirik. Bu aydın ölçmə, texniki düzəlişlərimizin indekslənmiş səhifələrin ümumi sayına birbaşa təsirini görməyə imkan verir.
Crawl jurnalına diaqnostik xəritə kimi baxırıq. O, axtarış nəticələrindəki reytinqlərə təsir etməzdən əvvəl mühərrikin tam olaraq harada ilişib qaldığını bizə deyir.
Alien Road SEO komandası
Hansı HTTP cavab kodlarını daha yaxından izləməlisiniz?
Cavab kodlarını izləmək hər bir veb ustası üçün əsas vəzifədir. 200 OK statusu bütün əsas məzmununuz üçün hədəfdir. Bununla belə, digər kodlar saytın sağlamlığı haqqında vacib ipucları verir. 403 Forbidden kodu serverinizin təsadüfən Yandex botunun IP ünvanlarını blokladığı anlamına gələ bilər ki, bu da saytınızın tamamilə indeksdən çıxarılmasına səbəb ola bilər. Firewall parametrlərinizin rəsmi Yandex crawler-lərinə icazə verərkən zərərli botlardan qorunmaq üçün konfiqurasiya olunduğundan əmin olmalısınız.
Müvəqqəti yönləndirmələr və ya 302 kodları qənaətlə istifadə edilməlidir. Yandex adətən məzmunun köçürülməsi üçün 301 daimi yönləndirmələrə üstünlük verir. Əgər crawl statistikası daimi olaraq köçürülmüş səhifələr üçün çoxlu sayda 302 göstərirsə, bu, mühərriki hansı URL-in kanonik versiya olması ilə bağlı çaşdıra bilər. Bu kodları daim yoxlamaq axtarış sisteminin saytınızın ən dəqiq versiyasını hər zaman görməsini təmin edir.
Crawl məlumatları ilə yanaşı Vacib Səhifə Monitorinqindən istifadə etmək?
Vacib Səhifə Monitorinqi, Yandex Webmaster-də xüsusi yüksək dəyərli URL-ləri izləməyə imkan verən xüsusi bir funksiyadır. Crawl statistikası bütün saytın geniş icmalını versə də, bu alət əsas kommersiya açılış səhifələrinizə diqqət yetirir. O, texniki statusu, kanonik bəyannamələri və başlıq dəyişikliklərini izləyir. Əgər kritik bir səhifə qəfildən 404 səhvi qaytararsa və ya indekslənmə statusu dəyişərsə, sistem dərhal bildiriş göndərir.
Bu iki məlumat mənbəyini birləşdirmək texniki reqressiyalara qarşı güclü müdafiə təmin edir. Məsələn, crawl statistikası robot ziyarətlərinin ümumi sayında qəfil azalma göstərirsə, ən yaxşı performans göstərən səhifələrinizin hələ də düzgün daxil olub-olmadığını görmək üçün Vacib Səhifə Monitorinqi panelinizi yoxlaya bilərsiniz. Bu ikili yanaşma, ümumi crawl dərəcəsi dəyişsə belə, ən gəlirli səhifələrinizin sabit və potensial müştərilər üçün görünən qalmasını təmin edir.
Daha yaxşı crawl üçün sayt strukturunuzu necə optimallaşdırmaq olar?
Düz sayt iyerarxiyası ümumiyyətlə axtarış sistemləri üçün daha yaxşıdır. Bu o deməkdir ki, əksər səhifələrə ana səhifədən üç kliklə daxil olmaq lazımdır. Səhifələr çox dərində basdırıldıqda, Yandex robotu onları indeksdə yeniləmək üçün kifayət qədər tez tapa bilməz. Aydın XML sayt xəritəsindən istifadə etmək də bütün vacib URL-lərin birbaşa siyahısını axtarış sisteminə təqdim etməklə kömək edir. Bu sayt xəritəsini Yandex Webmaster-də təqdim etməli və onun emal statusunu izləməlisiniz.
- Robotun dərin səhifələrə asanlıqla çatmasına kömək etmək üçün sayt iyerarxiyanızı dayaz saxlayın.
- Səhifələr arasındakı əlaqəni göstərmək üçün təsviri lövbər mətni olan daxili linklərdən istifadə edin.
- Yeni məzmun əlavə etdikdə və ya köhnə səhifələri sildikdə XML sayt xəritənizi yeniləyin.
- Crawl edilmiş, lakin indekslənməmiş səhifələri tapmaq üçün Yandex Webmaster-də ‘Xaric edilmiş səhifələr’ bölməsini yoxlayın.
Bu həftə haradan başlamaq lazımdır
Yandex Webmaster-ə daxil olaraq və ‘İndeksləmə’ menyusu altındakı ‘Crawl statistikası’ bölməsinə keçərək başlayın. Son 14 gündə səhv kodlarında hər hansı kəskin artım olub-olmadığını yoxlayın. Çoxlu sayda 404 səhvi taparsanız, onların mənbəyini müəyyən edin və saytınızdakı qırıq linkləri düzəldin. Həmçinin, ən vacib 10 səhifənizi seçin və onları ‘Vacib Səhifə Monitorinqi’ alətinə əlavə edin. Bu dərhal hərəkət saytınızın axtarış görünürlüğünü qorumaq üçün sizə möhkəm bir təməl verəcəkdir.