Siz robots.txt faylını domeninizin kök qovluğunda yerləşdirməklə və Google-un tərəddüd edən botuna saytınızın hansı hissələrinə daxil olmağı buyuran dəqiq direktivlər daxil etməklə Googlebot üçün optimallaşdırırsınız. Bu mətn faylı serveriniz və axtarış sistemi botları arasında əlaqə vasitəsi kimi xidmət edir və əsas resursları bloklamadan tarana bilən məzmununuzun sərhədlərini müəyyənləşdirir.
Robots.txt faylının funksiyası nədən ibarətdir?
Robots.txt faylı veb botları üçün əsas təlimatlar toplusu rolunu oynayır. Googlebot saytınıza daxil olduqda, hansı yolların qadağan olduğunu başa düşmək üçün bu faylı yoxlayır. O, Google-u səhifəni indeksləşdirməyə və ya nəzərə almamağa məcbur etmir; əksinə, botun sayt strukturunuzda vaxtını necə xərclədiyini idarə edir.
Bu faylı bot üçün yol xəritəsi kimi nəzərdən keçirin. Əgər minlərlə dinamik yaradılmış səhifəniz və ya daxili axtarış nəticəsi səhifəniz varsa, Google-un emal gücünü bunlara sərf etməsini istəməzsiniz. Aydın sərhədlər təyin etməklə botu məhsul səhifələri və ya bloq yazıları kimi yüksək dəyərli məzmununuza yönəldirsiniz ki, bu da öz növbəsində saytınızın sağlam qalmasına kömək edir.
Bundan əlavə, fayl server sabitliyini qorumağa kömək edir. Əgər saytınızda hər dəfə bot müəyyən URL-ə daxil olduqda işə düşən ağır verilənlər bazası varsa, həmin URL-i robots.txt-də bloklamaq yüksək trafik dövrlərində botun server resurslarınızı həddən artıq yükləməsinin qarşısını alır.
Direktivlərinizi necə düzgün strukturlaşdırmalısınız?
Yaxşı hazırlanmış fayl işləmək üçün xüsusi sintaksis tələb edir. Siz user-agent-i müəyyən etməli və onu disallow və ya allow qaydaları ilə izləməlisiniz. Bu qeydlərin təmiz saxlanılması botu çaşdıra biləcək ziddiyyətli siqnalların qarşısını alır.
- User-agent: Googlebot qaydaları xüsusi olaraq Google botu üçün müəyyən edir.
- Disallow: /path/ müəyyən bir qovluğun və ya səhifənin taranmasını istisna edir.
- Allow: /path/page alt səhifəyə giriş təmin etmək üçün qlobal qadağunu ləğv edir.
- Sitemap: https://example.com/sitemap.xml botları indekslənə bilən məzmununuza yönləndirir.
Faylınızı yazarkən həmişə user-agent sətri ilə başlayın. Əgər eyni qaydaların bütün botlara şamil olunmasını istəyirsinizsə, ulduz işarəsindən istifadə edin. Əgər Googlebot-un digər botlardan fərqli davranmasını istəyirsinizsə, onu ayrıca bəyan etməlisiniz. Bu səviyyədə nəzarət mürəkkəb memarlığa malik saytlar üçün zəruridir.
Fayl ölçüsünü həmişə 500 kilobaytın altında saxlayın, çünki bu, Google-un izlədiyi cari limitdir. Daha böyük fayllar kəsilə bilər və təlimatlarınızın natamam qalmasına səbəb ola bilər. Direktiflərinizin sistem tərəfindən başa düşüldüyünü yoxlamaq üçün Google Search Console daxilində təqdim olunan sınaq alətlərindən istifadə edərək sintaksisinizi tez-tez sınayın.
Niyə həddindən artıq bloklamadan çəkinməlisiniz?
Çoxsaylı yolların bloklanması Google-un səhifənizi render etmək üçün lazım olan CSS və ya JavaScript fayllarını görməsinin qarşısını ala bilər. Əgər Google bu resursları görə bilmirsə, o, tərtibatınızı başa düşməkdə çətinlik çəkə bilər ki, bu da məzmununuzun reytinqinə təsir edir. Direktiflərinizi texniki qovluqları əhatə edəcək qədər geniş, lakin vizual elementlərinizə girişə icazə verəcək qədər xüsusi saxlayın.
Bir çox tərtibatçı təsadüfən bütün /js/ və ya /css/ qovluğunu bloklayır. Bu, indeksləşdirmə sistemi üçün pozulmuş təcrübə yaradan ümumi səhvdir. Google məzmununun kontekstini başa düşmək üçün səhifəni render etməli olduğundan, bu faylların gizlədilməsi botu saytınızın sadələşdirilmiş versiyasını görməyə məcbur edir ki, bu da nadir hallarda sizin nəzərdə tutduğunuz şey olur.
Robots.txt daxilində noindex direktivlərindən istifadə etməkdən çəkinin. Bu, həmin təlimat üçün düzgün yer deyil. Əgər səhifənin indekslənməsinin qarşısını almaq istəyirsinizsə, səhifənin özündə robots meta teqindən istifadə edin. Robots.txt faylı sırf tarama girişinə nəzarət üçündür, indeks statusunu idarə etmək üçün deyil.
Texniki tələblər Google Axtarışının veb səhifəsini axtarış nəticələrində göstərməsi üçün ondan tələb etdiyi ən az minimumu əhatə edir.
Google Search Central
Alien Road bu prosesi necə tətbiq edir
Alien Road olaraq biz qəbul mərhələsində hər bir müştəri üçün robots.txt faylının texniki auditini həyata keçiririk. Biz Googlebot-un aşağı dəyərli yollara vaxt sərf edib-etmədiyini müəyyən etmək üçün server qeydlərini təhlil edirik. Direktifləri birləşdirərək və artıq disallow qaydalarını silməklə biz tarama büdcəsinin biznes nəticələri əldə edən məzmuna ayrılmasını təmin edirik.
Məsələn, e-ticarət müştərisi ilə adi əməkdaşlıqda biz tez-tez rəng və ya ölçü filtrlərinin fərdi olaraq tarandığını, minlərlə təkrarlanan URL yaratdığını aşkar edirik. Biz əsas kateqoriya səhifələrinin tam əlçatan olmasını təmin etməklə yanaşı, bu parametr əsaslı URL-ləri bloklamaq üçün robots.txt faylını yeniləyirik.
Yerləşdirmə üçün addımlarımız
- Mövcud direktivləri cari sayt xəritəsi məlumatları ilə müqayisədə yoxlayın.
- Artıq sayt arxitekturasına aid olmayan köhnə qaydaları silin.
- Faylın Search Console-dakı robots.txt testi vasitəsilə əlçatan olduğunu yoxlayın.
- Səmərəlilik təkmilləşdirmələrini təmin etmək üçün tarama tezliyini izləyin.
Daha sonra biz bu dəyişiklikləri ümumi hesabatda sənədləşdiririk. Komandamız dəyişikliklərin prioritet məzmunun daha səmərəli indekslənməsi ilə nəticələndiyini yoxlamaq üçün növbəti dörd həftə ərzində Search Console-da Googlebot tarama fəaliyyətini izləyir.
Qaçınılmalı olan ümumi səhvlər hansılardır?
Ümumi səhvlərə səhv böyük/kiçik hərf həssaslığından istifadə etmək və ya faylı kök qovluq əvəzinə alt qovluqda yerləşdirmək daxildir. Serverinizin fayl üçün 200 OK status kodu qaytardığından əmin olun, çünki 404 xətası botların saytda heç bir məhdudiyyət yoxmuş kimi davranmasına səbəb ola bilər. Müntəzəm sınaq bu problemləri görünürlüğünüzə təsir etməzdən əvvəl aşkar etməyin etibarlı yoludur.
Digər səhv sonluq əyri xəttin (slash) olmaması və ya lazımsız ulduz işarələrinin daxil edilməsidir. Ulduz işarələri dəstəklənsə də, onlar bəzən URL nümunəsinə qarşı yoxlanılmadıqda gözlənilməz nəticələrə səbəb ola bilər. Həmişə regex nümunələrinizi saytınızın faktiki URL struktursuna qarşı yoxlayın.
Unutmayın ki, robots.txt ümumi fayldır. Hər kəs faylın məzmununu oxuya biləcəyi üçün həssas məlumatları və ya şəxsi inzibati səhifələri gizlətmək üçün ondan istifadə etməyin. Əgər həqiqətən şəxsi məzmununuz varsa, robots.txt istisnaına güvənməkdənsə, parol mühafizəsindən və ya digər autentifikasiya üsullarından istifadə edin.
Bu həftə haradan başlamalı
domain.com/robots.txt ünvanına daxil olaraq cari robots.txt faylınızı nəzərdən keçirin. Şəkilləri və ya üslub cədvəllərini bloklayan hər hansı qaydanı yoxlayın, çünki bunlar tez-tez lazımsız olur və reytinqə potensial zərər verir. Əgər mürəkkəb və ya ziddiyyətli qaydalar tapsanız, botun məzmununuz vasitəsilə aydın yola malik olmasını təmin etmək üçün onları sadələşdirin.
Faylı təmizlədikdən sonra yenilənmiş versiyanı Google Search Console-a təqdim edin. Tarama fəaliyyətində dəyişiklik olub-olmadığını müşahidə etmək üçün ‘Crawl Stats’ hesabatını yoxlayın. Direktiflərinizlə məqsədyönlü olmaqla, saytınızın axtarışda necə təmsil olunduğuna daha yaxşı nəzarət edirsiniz.