Yandex Webmaster-dəki Crawl Statistics məlumatları axtarış sisteminin saytınızla necə qarşılıqlı əlaqədə olduğunu göstərir və xüsusilə uğurlu indekslənməyə mane olan 404 və 5xx status kodlarını vurğulayır. Bu xətalar göründükdə, onlar Yandex botunun ya tələb olunan resursları tapa bilmədiyini, ya da daxili nasazlıqlar səbəbindən serverə daxil ola bilmədiyini bildirir. Bu xətaların aradan qaldırılması saytınızın indeksləmə robotu üçün əlçatan qalmasını təmin edir və axtarış görünürlüyündə potensial enişlərin qarşısını alır.
Bu məlumat nöqtələrini idarə etmək iş axınımızın standart bir hissəsidir. Yandex tərəfindən təmin edilən cavab kodlarını izləməklə, serverinizin sorğuları düzgün idarə edib-etmədiyini və ya botu taramasını dayandırmağa məcbur edib-etmədiyini müəyyən edə bilərik. Bu bələdçi saytınızı audit etmək, xüsusi status kodlarının təsirini başa düşmək və indeksləmə potensialınızı bərpa etmək üçün lazım olan addımları əks etdirir.
Crawl Statistics məlumatlarınızda niyə 404 xətaları görünür?
404 xətası serverin tələb olunan URL-i tapa bilmədiyini göstərir. Bəzən 404 xətaları istənilən saytda ümumi olsa da, Crawl Statistics məlumatlarınızda bu xətaların yüksək həcmi qırıq daxili keçidləri və ya köhnəlmiş sayt xəritələrini göstərir. Əgər robot çoxlu mövcud olmayan səhifə taparsa, o, yüksək dəyərli məzmununuza sərf edilməli olan crawl büdcəsini israf edir.
Bot 404 səhifəsi ilə qarşılaşdıqda, həmin xüsusi yolu emal etməyi dayandırır. Saytınızda minlərlə qırıq keçid varsa, bot sayt strukturunuzun etibarsız olduğu qənaətinə gələ bilər. Bu, sessiya başına taranan səhifələrin sayının azalmasına gətirib çıxarır ki, bu da nəticədə təzə, yüksək keyfiyyətli məzmununuzun axtarış sistemi tərəfindən daha uzun müddət kəşf edilməməsinə səbəb olur.
Bunu idarə etmək üçün müvəqqəti çatışmayan səhifələr ilə daimi silinmələr arasında fərq qoymalısınız. Əgər səhifə köçürülübsə, 301 yönləndirməsi düzgün həlldir. Məzmun yoxdursa, serverin 404 və ya 410 kodu qaytarmasına icazə vermək məqbuldur, lakin heç bir daxili keçidin hələ də həmin ölü URL-lərə işarə etmədiyinə əmin olmalısınız.
- Qırıq istinadları silmək və ya yeniləmək üçün daxili keçid strukturunuzu yoxlayın.
- Artıq mövcud olmayan URL-ləri istisna etmək üçün sitemap.xml faylınızı yeniləyin.
- Xarici saytların silinmiş səhifələrə keçid edib-etmədiyini görmək üçün server qeydlərini nəzərdən keçirin.
- Robotun hansı səhifələrə daxil olmağa çalışdığını görmək üçün ‘Crawl statistics’ bölməsini təhlil edin.
5xx server xətalarını necə həll edə bilərsiniz?
404 xətalarından fərqli olaraq, 5xx status kodları serverin sorğunu yerinə yetirə bilmədiyi server tərəfi problemlərinə işarə edir. Robot 500 səviyyəli xəta aldıqda, o, tez-tez infrastrukturunuza əlavə yük düşməməsi üçün taramayı dayandırır. Bu xətalar adətən müvəqqəti olur, lakin davam edərsə, onlar nasaz server konfiqurasiyasını və ya verilənlər bazası bağlantısı problemlərini göstərir.
Ümumi səbəblərə vaxtı keçən həddindən artıq verilənlər bazası sorğuları, server yaddaşının tükənməsi və ya serverin statik faylları təqdim etməsinə mane olan yanlış icazələr daxildir. Crawl Statistics məlumatlarında 5xx artımlarını gördükdə, səhifə cavabı yaratmağa çalışarkən serverin vaxtının keçib-keçmədiyini yoxlayırıq. Əgər server cavab vermək üçün bir neçə saniyədən çox vaxt sərf edərsə, robot sadəcə əlaqəni kəsə bilər.
Bunları düzəltmək server qeydlərinizə baxmağı tələb edir. Nümunələri axtarın: 5xx xətaları yüksək trafik zamanı baş verir, yoxsa bot xüsusi, resurs tələb edən səhifələri taramağa çalışarkən baş verir? Bu problemlərin həlli çox vaxt verilənlər bazası sorğularının optimallaşdırılmasını və ya həm istifadəçilərdən, həm də botlardan gələn eyni vaxtlı sorğuları idarə etmək üçün server yaddaşı limitinin artırılmasını əhatə edir.
Server xətaları SEO üçün səssiz qatillərdir. Saytınız tarama zamanı 5xx kodu qaytararsa, robot dərhal səhifəni əlçatmaz kimi qeyd edir və təkrarlanan uğursuzluqlar həmin qovluq üçün bütün indeksləmə fəaliyyətini dayandıracaq.
Alien Road SEO komandası
Crawl büdcəsi ilə server statusu arasında hansı əlaqə var?
Axtarış sistemi saytınızın texniki sağlamlığına və serverin cavabdehliyinə əsasən xüsusi crawl büdcəsi ayırır. Əgər serveriniz yavaşdırsa və ya daim xətalar qaytarırsa, bot ziyarətlərinin tezliyini azaldacaq. Bu o deməkdir ki, yeni məzmun yeniləmələrinin axtarış nəticələrində görünməsi daha çox vaxt aparır və bu da böyümənizi effektiv şəkildə ləngidir.
Botun etdiyi hər bir sorğu server resurslarını istehlak edir. Əgər bu resurslar xəta səhifələrinə sərf olunursa, botun yeni və müvafiq məzmunu indeksləşdirmək üçün daha az imkanı olur. Etibarlı səhifələr üçün 200 OK statusu qaytaran sağlam server axtarış sistemini saytınıza daha tez-tez baş çəkməyə təşviq edir.
Biz müşahidə edirik ki, ardıcıl server performansına malik saytlar daha səmərəli şəkildə taranır. Serverin cavab müddəti aşağı olduqda, bot eyni vaxt çərçivəsində daha çox səhifəyə baş çəkə bilər. Əksinə, serveriniz yavaşdırsa, bot öz tempini tənzimləyəcək ki, bu da sayt strukturunuz mükəmməl olsa belə, yeni səhifələrin indekslənməsində gecikməyə səbəb ola bilər.
Alien Road bu bilikləri necə tətbiq edir
Alien Road-da biz Yandex Webmaster panelinin gündəlik icmalını apararaq müştərilər üçün Crawl Statistics məlumatlarını idarə edirik. Biz 5xx xətalarına yüksək prioritetli tapşırıqlar kimi yanaşırıq və yaddaş sızmalarını və ya verilənlər bazası vaxt aşımı problemlərini müəyyən etmək üçün tez-tez müştərinin inkişaf komandası ilə koordinasiya edirik. 404 xətaları üçün biz onları ‘qəsdən’ və ‘təsadüfi’ olaraq kateqoriyalara ayırırıq ki, nüfuzu qorumaq üçün 301 yönləndirməsinin lazım olub-olmadığını müəyyən edək.
Məsələn, tipik bir hesabda biz pik saatlarda 5xx xətalarında artım müşahidə edə bilərik. Prosesimiz serverin yük altında çətinlik çəkib-çəkmədiyini müəyyən etmək üçün serverin cavab müddəti qeydlərini nəzərdən keçirməyi əhatə edir. Daha sonra biz müştəri ilə birlikdə server gərginliyini azaldan keşləmə strategiyalarını tətbiq edirik ki, bu da bota xətaları tetikləmədən məzmuna daxil olmağa imkan verir.
- Xəta sayındakı artımları müəyyən etmək üçün crawl statistikasını həftəlik audit edin.
- Botdan əvvəl 5xx xətalarını tutmaq üçün server tərəfi monitorinqini tətbiq edin.
- Bərpanı sürətləndirmək üçün texniki düzəlişlər təsdiqləndikdən sonra Reindex pages alətindən istifadə edin.
- Yüksək tarixi trafikə malik səhifələrə üstünlük vermək üçün xəta siyahılarını mütəmadi olaraq ixrac edin.
Texniki əlçatanlıq hər bir kampaniyanın təməlidir. Biz sadəcə xətalara baxmırıq; biz server mühitinin ardıcıl robot trafikini dəstəkləmək üçün kifayət qədər sabit olduğundan əmin oluruq.
Alien Road SEO komandası
Saytın indekslənməsində robotun rolu nədir?
Yandex axtarış robotu məzmunu keçidlər vasitəsilə kəşf edən avtomatlaşdırılmış ziyarətçi kimi fəaliyyət göstərir. O, serverinizin limitlərinə hörmət edən bir cədvələ əməl edir. Saytınıza çatdıqda, o, sərhədlərini başa düşmək üçün robots.txt faylını yoxlayır. Əgər serveriniz düzgün konfiqurasiya edilibsə, robot səhifələrinizi təhlil etməyə və onları indeksə əlavə etməyə davam edəcək.
İndeksləmə sürəti ilə bağlı problemləriniz varsa, səhifələrinizin ana səhifənizdən və ya sayt xəritəsindən düzgün şəkildə keçid edildiyinə əmin olun. Robot məzmununuzu tapmaq üçün bu yollara güvənir. Yeni səhifə dərc etdikdə, yeni məzmunun mövcud olduğunu açıq şəkildə bildirmək üçün Yandex Webmaster-də Reindex pages alətindən istifadə etmədiyiniz təqdirdə, robotun onu kəşf etməsi vaxt apara bilər.
Bu həftə haradan başlamaq lazımdır
Yandex Webmaster hesabınıza daxil olun və Crawl Statistics bölməsinə keçin. Son 30 günün məlumatlarını ixrac edin və 4xx və 5xx cavab kodları üçün filtrləyin. Bu xətalara səbəb olan ilk 10 səhifəni müəyyən edin və əsas konfiqurasiya və ya keçid problemini düzəldin. Bitirdikdən sonra, serverin həmin xüsusi URL-lər üçün 200 OK statusu qaytardığını təsdiqləmək üçün sayt yoxlama alətindən istifadə edin.