Robots.txt faylınızın Googlebot üçün optimallaşdırılması trekerin vacib CSS, JavaScript və səhifə məzmununa daxil olmasının qarşısını alan məhdudlaşdırıcı direktivlərin silinməsini əhatə edir. Googlebot-un bütün kritik resurslara çata bilməsini təmin etməklə, axtarış sisteminə səhifələrinizi düzgün şəkildə render etməyə və onları sayt strukturunuza uyğun olaraq indeksləşdirməyə imkan verirsiniz. Düzgün konfiqurasiya edilmiş fayl treker üçün aydın xəritə rolunu oynayır, qeyri-vacib sistem kataloqlarına giriş məhdudlaşdırılmaqla əsas məzmununuzu ön plana çıxarır.
Googlebot üçün robots.txt faylının əsas funksiyası nədir?
Robots.txt faylı veb saytınızın kök kataloqunda yerləşən mətn faylıdır. O, trekerlər üçün təlimatlar toplusu rolunu oynayır və onlara saytınızın hansı hissələrinə baş çəkə biləcəklərini və hansı hissələrindən qaçmalı olduqlarını bildirir. Unutmaq olmaz ki, bu fayl məzmunu ictimaiyyətdən gizlətmir; o, yalnız axtarış sistemləri tərəfindən istifadə olunan avtomatlaşdırılmış agentləri məhdudlaşdırır.
Googlebot serverinizə çatdıqda, əvvəlcə əlaqə qaydalarını müəyyən etmək üçün robots.txt faylını axtarır. Bu fayl yoxdursa və ya səhv formatlanıbsa, treker standart davranışına qayıda bilər ki, buraya saytınızın şəxsi saxlamaq istədiyiniz bölmələrini gəzmək və ya tarama tezliyi ilə bağlı üstünlüklərinizi nəzərə almamaq daxil ola bilər. Düzgün konfiqurasiya trekerin vaxtını axtarış görünürlüğünü artıran səhifələrə sərf etməsini təmin edir.
Kravlinq və indeksləmə Google Axtarış prosesində iki fərqli addımdır.
Google Search Central
Gərəksiz crawl bloklarını necə müəyyənləşdirə və silə bilərsiniz?
Bir çox veb sayt köhnəlmiş kod və ya həddən artıq ehtiyatlı tərtibatçılar səbəbindən həddindən artıq məhdudiyyətlərdən əziyyət çəkir. Çox vaxt mühüm CSS və ya JavaScript faylları bloklanır ki, bu da Googlebot-un səhifəni düzgün render etməsinə mane olur. Əgər treker səhifəni render edə bilmirsə, o, tərtibatı, məzmun iyerarxiyasını və ya səhifənin ümumi əhəmiyyətini başa düşə bilməyə bilər ki, bu da əsas terminləriniz üçün daha aşağı reytinqlərə səbəb olur.
Bunu düzəltmək üçün cari direktivlərinizin hərtərəfli auditi aparmalısınız. Trekerə kontekst təmin edən şriftlər, tərtibat skriptləri və ya izləmə pikseli kimi resursları bloklamadığınızdan əmin olmaq üçün icazə vermə qaydalarınızı nəzərdən keçirin. Bu aktivlər bloklandıqda, axtarış sistemi istifadəçi təcrübənizi heç də əks etdirməyən saytınızın sadələşdirilmiş versiyasını görür.
- .js və ya .css faylları kimi sayt aktivlərini ehtiva edən icazə verilməyən yollar üçün robots.txt faylınızı yoxlayın.
- Crawl büdcəsi tullantılarının qarşısını almaq üçün daxili axtarış nəticələri səhifələrinizin bloklandığından əmin olun.
- Sayt xəritənizin URL-nin faylın aşağı hissəsində siyahıya alındığını yoxlayın.
- Köhnə sayt strukturlarına və ya silinmiş qovluqlara istinad edən köhnəlmiş direktivləri silin.
Googlebot crawl sürəti limitlərini necə idarə edir?
Googlebot təzə məzmuna olan ehtiyacı serverinizin tutumu ilə tarazlaşdırmaqla saytınızın resurslarını idarə edir. Daha böyük veb saytlar üçün treker infrastrukturunuzu çökdürmədən ən mənalı yeniləmələri tapmağa çalışır. Əgər pik tarama dövrlərində əhəmiyyətli server yükü hiss edirsinizsə, bu davranışı idarə edə bilərsiniz, baxmayaraq ki, əksər kiçik və orta veb saytlar üçün standart parametrlər kifayətdir.
Ümumi yanılma odur ki, robots.txt-də tezliyi artırmaqla Googlebot-u daha sürətli taramağa məcbur edə bilərsiniz. Bu belə deyil. Treker öz daxili alqoritmlərinə və serverinizin qəbul edilən sağlamlığına əsaslanaraq işləyir. Əgər performans problemləri ilə qarşılaşsınızsa, tarama həcminin trafik nümunələrinizə uyğun olub-olmadığını görmək üçün server qeydlərinizi izləyin.
Əksər saytlar üçün Googlebot orta hesabla hər neçə saniyədən bir saytınıza daxil olmamalıdır.
Google Search Central
Niyə robots.txt-ni noindex üçün istifadə etməkdən çəkinməlisiniz?
SEO mütəxəssisləri arasında tez-tez rast gəlinən səhv səhifələri axtarış nəticələrindən uzaq tutmaq üçün robots.txt-dən istifadə etməyə çalışmaqdır. Əgər siz robots.txt-də səhifəni bloklasanız, Googlebot onu nəzərdən keçirməyəcək, lakin digər saytlar ona keçid verərsə, o, hələ də URL-i indeksləşdirə bilər. Treker URL-i görəcək, lakin HTML-də yerləşən noindex meta etiketini oxumaq üçün səhifəyə daxil ola bilməyəcək. Nəticədə səhifəniz düzgün təsvir olmadan indeksdə qalır.
İndeksdən kənarda saxlamaq istədiyiniz məzmun üçün həmişə noindex meta etiketindən istifadə edin və bota həmin təlimatı görmək üçün səhifəni ziyarət etməyə icazə verin. Google-un məzmunu öz nəticələrindən tamamilə çıxarmasını təmin etməyin yeganə yolu budur. Robots.txt-də bloklama trekerin səhifənin mövcud olduğunu bildiyi, lakin onu silmək təlimatlarınızı təsdiq edə bilmədiyi ‘heç-kimin torpağı’ yaradır.
Alien Road müştəri uğuru üçün bunu necə tətbiq edir
Alien Road-da bizim prosesimiz robots.txt faylının texniki auditi ilə başlayır. Canlı URL-ləri sınamaq və heç bir kritik skriptin bloklanmadığından əmin olmaq üçün Search Console alətlərindən istifadə edirik. Sonra Googlebot-un saytın müxtəlif bölmələri ilə necə əlaqə saxladığında nümunələri müəyyən etmək üçün tarama statistikası hesabatını izləyirik. Tipik e-ticarət müştərisi üçün biz filtr parametrlərinin və ya giriş səhifələrinin müvafiq şəkildə məhdudlaşdırılmasını təmin edərək məhsul və kateqoriya səhifələrinin taralanmasını prioritetləşdiririk.
Biz həmçinin treker üçün əlavə bələdçilik qatını təmin edərək sayt xəritələrinin düzgün şəkildə təqdim olunmasını təmin edirik. Tarama statistikasını yoxlamaqla biz dəyişikliklərimizin səmərəli bot fəaliyyəti ilə nəticələndiyini təsdiqləyirik. Bu yanaşma müştəri yeni məzmun dərc etdikdə onun Google tərəfindən mümkün qədər tez aşkar edilməsini və işlənməsini təmin edərək axtarış reytinqlərində daha sürətli yeniləmələrə imkan verir.
- Mövcud direktivləri cari sayt strukturuna qarşı yoxlayın.
- Heç bir resurs bloklanmadığını təsdiqləmək üçün Search Console-da fərdi URL-ləri sınayın.
- Bot fəaliyyətini server sağlamlığı ilə uyğunlaşdırmaq üçün ‘Crawl Stats’ hesabatını izləyin.
- Yeni məzmunun aşkar edilməsini təmin etmək üçün sayt xəritəsi istinadını yeniləyin.
Robots.txt sintaksisində ümumi tələlər hansılardır?
Sintaksis xətaları tarama səmərəliliyinize başqa bir gizli təhlükədir. Yanlış yerləşdirilmiş şablon simvolu və ya səhv yol bütün saytın indekslənməsinin qarşısını almaq kimi gözlənilməz nəticələrə səbəb ola bilər. Həmişə istifadəçi agenti direktivlərinizin aydın şəkildə müəyyən edildiyini və qadağan etmək istədiyiniz yolları müəyyən etmək üçün standart simvollardan istifadə etdiyinizi yoxlayın.
Bəzi serverlərin yolları konfiqurasiyasından asılı olaraq fərqli idarə etdiyini nəzərə alaraq, hərf həssaslığına diqqət yetirin. Təmiz fayl saxlamaq да vacibdir. Artıq mövcud olmayan sayt bölmələri üçün şərhləri və ya qeydləri silin. Qarışıq faylı idarə etmək daha çətindir və yeniləmələr tələb olunduqda insan xətası riskini artırır.
Bu həftə haradan başlamaq lazımdır
Həftənizə yoursite.com/robots.txt ünvanını ziyarət etməklə və cari kod sətirlərini nəzərdən keçirməklə başlayın. Əgər CSS və ya şəkilləri bloklayan direktivlər tapsanız, onları dərhal silin. Googlebot istifadəçi agentinin əsas naviqasiya və məzmun səhifələrinizə tam dərviş olduğunu təsdiqləmək üçün Search Console-da test alətindən istifadə edin. Bu addımların atılması texniki axtarış performansınız üçün möhkəm təməl yaradacaq və saytınızın effektiv tarama üçün hazırdır.