Yandex Webmaster-də Robots.txt təhlil xətaları, bot sintaksis səhvləri, kodlaşdırma problemləri və ya direktivlərin düzgün yerləşdirilməməsi səbəbindən istisna təlimatlarınızı şərh edə bilmədikdə yaranır. Bu xətalar axtarış sisteminin serverinizin hansı hissələrinə daxil olacağını başa düşməsinə mane olur, bu da tez-tez vacib səhifələrin təsadüfən bloklanmasına və ya sayt xəritəsinin yerlərinin tanınmamasına səbəb olur. Bu uyğunsuzluqların aradan qaldırılması saytınız və Yandex indeksləyicisi arasında sağlam əlaqəni qorumaq üçün fundamental addımdır və botun sizin xüsusi tarama seçimlərinizə hörmət etməsini təmin edir.
Ən çox rast gəlinən sintaksis səhvləri hansılardır?
Ən çox rast gəlinən problem User-agent sətirinin yanlış istifadəsidir. Hər bir təlimat bloku etibarlı bir User-agent ilə başlamalıdır. Ad səhv yazılıbsa və ya çatışmırsa, sonrakı qaydalar nəzərə alınmaya bilər və ya yanlış tətbiq oluna bilər. Digər bir tez-tez rast gəlinən xəta, təhlilçinin dəstəkləmədiyi şəkildə joker simvolların və ya xüsusi simvolların istifadəsidir. Məsələn, dəqiq uyğunluq tələb olunan yolda joker simvolun tətbiqi, botun istisna qaydasını yanlış şərh etməsinə səbəb olur, bu da həssas faylları ifşa edə və ya saytın bütöv bölmələrini bloklaya bilər.
Sintaksis xətaları çox vaxt sadə yazım səhvlərindən və ya heç vaxt təmizlənməmiş köhnə konfiqurasiyalardan qaynaqlanır. Bir neçə qayda düzgün sətir fasilələri olmadan ardıcıl yerləşdirildikdə, təhlilçi onları birləşdirə bilər və bu da gözlənilməz nəticələrə səbəb olur. Bir çox administratorun təhlilçinin onların niyyətini ‘təxmin edəcəyini’ düşündüyünü müşahidə edirik, lakin mühərrik heç bir qeyri-müəyyənliyə yer qoymayan ciddi qaydalar toplusunu izləyir. Hər bir təlimatın aydın şəkildə müəyyən edilməsini təmin etmək proqnozlaşdırıla bilən tarama davranışı üçün vacibdir.
- Faylın UTF-8 və ya ASCII əvəzinə UTF-16 ilə saxlanması kimi yanlış simvol kodlaşdırması.
- Ayrı-ayrı User-agent blokları arasında sətir fasilələrinin olmaması, qaydaların bir-birinə qarışmasına səbəb olur.
- Kodun kopyalanması zamanı çap olunmayan simvolların və ya gizli simvolların təsadüfən daxil edilməsi.
- Sitemap direktivi üçün tam, protokol ilə başlayan URL-lər əvəzinə nisbi yollardan istifadə.
- Yandex-in daxili uyğunluq məntiqi ilə ziddiyyət təşkil edə bilən yol təriflərində əlavə əyri xətlərin (trailing slashes) düzgün istifadə edilməməsi.
Sitemap direktivi təhlil xətalarını necə yaradır?
Sitemap direktivi çox vaxt müəyyən bir User-agent blokunun bir hissəsi kimi yanlış başa düşülür. Əslində, bu, robotun fayldakı yerindən asılı olmayaraq oxuduğu qlobal bir təlimatdır. https://example.com/sitemap.xml kimi tam URL əvəzinə /sitemap.xml kimi nisbi bir yol təqdim etmək, Yandex Webmaster analizatorunda xüsusi bir təhlil xətası yaradacaq. Bu, Yandex-ə xas bir yoxlamadır, yəni digər alətlər bunu qeyd etməyə bilər, baxmayaraq ki, bu, təlimatı mühərrik üçün yararsız edir.
Robot yolu yadda saxladığı və məlumatları sonradan emal etdiyi üçün bu xətalar həmişə dərhal aşkar olmur. URL formatı yanlışdırsa, mühərrik sadəcə sayt xəritəsini görməzdən gələcək və bu da yeni məzmunun daha yavaş kəşf edilməsinə səbəb olacaq. Böyük saytlar üçün bu, indeksləmədə əhəmiyyətli bir gecikmə yaradır, çünki mühərrik təqdim etmək istədiyiniz strukturlaşdırılmış xəritə əvəzinə yalnız standart taramaya etibar etməli olur.
Bir çox sayt sahibi sitemap direktivini müəyyən bir user-agent altında yerləşdirməyin onu məhdudlaşdırdığını düşünür. Bu belə deyil. Bu, qarışıqlığın qarşısını almaq üçün faylın yuxarısında və ya aşağısında yerləşdirildikdə ən yaxşı işləyən müstəqil bir bəyannamədir.
Alien Road SEO komandası
Niyə tarama sürətini təhlil xətaları ilə birlikdə izləməlisiniz?
Təhlil xətaları çox vaxt tarama büdcəsinin səmərəsiz istifadəsinə səbəb olur. Faylda yanlış təlimatlar olduqda, bot vaxtını lazımsız səhifələrə sərf edə bilər və ya yenilənmiş məzmununuzu görməyə bilər. Serveriniz yavaşdırsa, mühərrik infrastrukturunuzu qorumaq üçün sorğu tezliyini azaldır. Təmiz bir fayl, mühərrikin vaxtını inzibati kataloqlar əvəzinə məhsul kateqoriyaları və ya yeni bloq yazıları kimi yüksək dəyərli səhifələrə sərf etməsini təmin edir.
Tarama sürətinin idarə edilməsi axtarış botlarının server resurslarını nə dərəcədə səmərəli istehlak etdiyini birbaşa müəyyən edir. Hansı kataloqların açıq və ya bağlı olduğunu idarə etməklə, sayt administratorları botun diqqətini lazımsız parametr sətirləri əvəzinə gəlir gətirən URL-lərə yönəldirlər. Geyim satan bir sayt üçün bu sorğu yollarını idarə etmək, botların sonsuz rəng və ya ölçü filtri kombinasiyalarında itməsinin qarşısını alır və server tutumunu faktiki məhsul yeniləmələri üçün boş saxlayır.
Konfiqurasiyanızı necə effektiv şəkildə doğrulaya bilərsiniz?
Doğrulama bir dəfəlik tapşırıq deyil, təkrarlanan bir tələbdir. Sayt arxitekturanızda hər dəfə dəyişiklik etdikdə — məsələn, yeni bir kateqoriya əlavə etdikdə və ya fərqli bir URL strukturuna keçdikdə — robots.txt faylını yoxlamalısınız. Botun qaydalarınızı necə şərh etdiyini simulyasiya etmək üçün Yandex Webmaster alətindən istifadə edin. Bu, potensial ziddiyyətləri canlı indeksləmə statusunuza təsir etməzdən əvvəl müəyyən etməyə imkan verir.
Sintaksisdə etibarlı, lakin məqsədləriniz üçün məntiqi cəhətdən yanlış olan direktivlər kimi ‘gizli’ xətaları yoxlayın. Məsələn, səhifələrinizi düzgün göstərmək üçün mühərrik üçün lazım olan CSS və ya JS fayllarını ehtiva edən bir kataloqu təsadüfən bloklaya bilərsiniz. Test etmək, cari konfiqurasiyanız altında hansı URL-lərin icazə verildiyini və ya qadağan edildiyini dəqiq görməyə imkan verir.
Alien Road bu bilikləri necə tətbiq edir
Alien Road-da biz müştəri hesablarını idarə edərkən ciddi bir protokola əməl edirik. İlkin texniki auditimiz zamanı biz cari robots.txt faylını mövcud sintaksis qüsurlarını müəyyən etmək üçün Yandex Webmaster analiz alətindən keçiririk. Biz bütün direktivlərin düzgün formatlandığını və sayt xəritəsi yerlərinin mütləq URL-lər kimi təqdim olunduğunu yoxlayırıq. Tipik bir e-ticarət müştərisi üçün biz botun indekslənə bilən inventara diqqət yetirməsini təmin edərək, lazımsız parametr sətirlərinin istisna edilməsinə üstünlük veririk.
- Yandex Webmaster alətlərindən istifadə edərək mövcud robots.txt fayllarını sintaksis xətaları üçün yoxlayın.
- Bütün nisbi sayt xəritəsi yollarını protokolları olan tam URL-lərə çevirin.
- Qaydaların üst-üstə düşməsinin qarşısını almaq üçün User-agent bloklarının düzgün ayrıldığını doğrulayın.
- Tarama səmərəliliyini və server performansını artırmaq üçün lazımsız direktivləri təmizləyin.
- Konfiqurasiya yeniləmələrindən sonra tarama sürətinin sabit qaldığından əmin olmaq üçün server qeydlərini nəzərdən keçirin.
Biz tez-tez zaman keçdikcə ziddiyyətli qaydalarla böyüyən fayllar görürük. Artıq bir məqsədə xidmət etməyən, lakin botu çaşdıra bilən köhnəlmiş təlimatları silmək üçün dövri audit lazımdır.
Alien Road SEO komandası
Bu həftə təhlil xəbərdarlıqlarını necə həll etmək olar
Yandex Webmaster hesabınıza daxil olaraq və robots.txt analizi bölməsinə keçərək başlayın. Alət tərəfindən qeyd olunan hər bir xəbərdarlığı nəzərdən keçirin, çünki bunlar mühərrikin cari konfiqurasiyanızı necə qəbul etdiyinin xüsusi göstəriciləridir. Faylınızı lazımi düzəlişlərlə yeniləyin, onu standart mətn faylı kimi saxlayın və kök kataloqunuza yenidən yükləyin. Nəhayət, xətaların təmizləndiyini yoxlamaq üçün faylı konsolda yenidən təqdim edin.
Fayl canlı olduqdan sonra, indeksləyici davranışındakı dəyişiklikləri müşahidə etmək üçün növbəti tarama dövrünü gözləyin. Mühərrikin indi istədiyiniz məzmuna daxil olduğundan əmin olmaq üçün idarə panelindəki tarama statistikanızı izləyin. Xəbərdarlıqlar davam edərsə, robots.txt faylınızın köhnəlmiş versiyasını bota təqdim edə biləcək server səviyyəsində keşləməni yoxlayın.