SEO üçün robots.txt ən yaxşı təcrübələri sayt sahiblərinin veb-saytın hansı hissələrinə daxil olunmalı və ya nəzərdən qaçırılmalı olduğu barədə axtarış sisteminin skanerləri ilə ünsiyyət qurması üçün əsas üsul kimi xidmət edir. Kök qovluqda sadə mətn faylı yerləşdirməklə inzibatçılar skanerlərə tarama büdcələrini səmərəli idarə etməyə kömək edən təlimatlar verirlər. Bu fayl texniki sağlamlıq üçün vacib olsa da, qiymətli səhifələrin skan edilməsinin və ya axtarış sistemləri tərəfindən aşkar edilməsinin təsadüfən qarşısını almaqdan kaçınmaq üçün dəqiqlik tələb edir.
Robots.txt faylının əsas funksiyası nədir?
Robots.txt faylı Googlebot kimi axtarış sistemi botları üçün onların hansı qovluqlara və ya fayllara baş çəkməyə icazə verildiyini müəyyən edən təlimatlar dəsti rolunu oynayır. Bu, təhlükəsizlik aləti deyil və əgər səhifələr digər yerlərdən əlaqələndirilibsə, onların axtarış nəticələrində görünməsinin qarşısını almır. Google-un sənədlərinə görə, robots.txt direktivləri skanerlərə hansı URL-lərə daxil ola biləcəklərini öyrədir, lakin başqa yerdən əlaqələndirilibsə, veb-səhifənin indekslənməsinin qarşısını almır. Bu fərq istənilən peşəkar sayt auditoru üçün tarama qaydalarını dəyişdirməzdən əvvəl başa düşülməlidir.
Tipik bir hesabda, tərtibatçılar girişin bloklanması ilə indeksləmənin bloklanmasını qarışdırdıqda texniki problemlər yaranır. Səhifəni Google axtarış nəticələrindən kənarda saxlamaq istəyirsinizsə, robots.txt düzgün mexanizm deyil. Bunun əvəzinə noindex meta teqindən və ya x-robots-tag HTTP başlığından istifadə edin. Əgər səhifəni gizli saxlamaq üçün yalnız robots.txt-dən istifadə etsəniz, çox güman ki, səhifənin hələ də axtarış nəticələrində göründüyünü görəcəksiniz, çünki Googlebot robots.txt qaydalarını görmək üçün heç vaxt səhifəyə baş çəkmədən xarici keçidlər vasitəsilə URL-i aşkar edə və məzmunu indeksləşdirə bilər.
Maksimum səmərəlilik üçün robots.txt faylınızı necə strukturlaşdırmalı
Yaxşı strukturlaşdırılmış robots.txt faylı maşınların təhlil etməsi asan olan xüsusi sintaksisə əməl edir. Hər bir fayl qaydanın hansı bota tətbiq olunduğunu müəyyən edən user-agent sətri ilə başlamalıdır. Bütün skanerləri hədəf almaq üçün ulduz işarəsindən (*) istifadə edə və ya dəqiq nəzarət üçün Googlebot və ya Bingbot kimi xüsusi botların adını çəkə bilərsiniz. User-agent-dən sonra serverinizdəki xüsusi yollar üçün davranışı diktə edən qadağan etmə və ya icazə vermə qaydalarını təyin edirsiniz.
Etibarlı robots.txt faylının əsas elementləri
- User-agent: Botu müəyyən edir, məsələn, User-agent: Googlebot və ya hamısı üçün User-agent: *.
- Disallow: Bot tərəfindən hansı yolların və ya qovluqların daxil edilməməli olduğunu müəyyən edir.
- Allow: Ana qovluğa icazə verilməsə belə, xüsusi alt qovluqlara girişi açıq şəkildə təmin edir.
- Sitemap: Skanerlərin məzmununuzu daha sürətli tapmasına kömək etmək üçün XML sayt xəritənizin yerini təmin edir.
Robots.txt faylınızı sınamaq yerləşdirmədən əvvəl standart təcrübədir. Bir çox SEO alətləri faylınızı yapışdıra və Googlebot-un onu necə şərh edəcəyini simulyasiya edə biləcəyiniz bir test cihazı təqdim edir. Bu, CSS, JavaScript və ya şəkil fayllarınızın təsadüfən bloklanması kimi ümumi səhvlərin qarşısını alır ki, Google səhifələrinizin vizual tərtibatını başa düşmək üçün bunları görməlidir. Əgər bu fayllar bloklanıbsa, Google Search Console Mobil İstifadə Hesabatında göstərmə xətaları görə bilərsiniz.
Niyə CSS və JavaScript-i bloklamaqdan çəkinməlisiniz?
Keçmişdə bir çox tərtibatçılar sərfiyyata qənaət etmək və ya sayt strukturunu gizlətmək üçün bütün skriptləri və üslub cədvəllərini bloklayırdılar. Müasir SEO tələb edir ki, Googlebot səhifəni istifadəçinin gördüyü kimi görsün. Əgər CSS və ya JS fayllarını bloklasanız, Googlebot səhifəni düzgün göstərə bilməz ki, bu da axtarış reytinqlərində zəif nəticələrə səbəb ola bilər. Heç bir kritik resursun skanerdən bloklanmamasını təmin etmək üçün robots.txt faylınızı yoxlamalısınız.
Saytınızın vəziyyətini Google Search Console-da yoxlamaq vacib aktivləri bloklayıb-bloklamadığınızı müəyyən etmək üçün ən yaxşı üsuldur. Köhnə alətlərdə Robots.txt Tester-ə keçin və ya müəyyən bir səhifənin bloklanmış resurs səbəbindən göstərilməməsini yoxlamaq üçün URL İnspeksiyası alətindən istifadə edin. Əgər bloklama tapsanız, sadəcə serverinizdəki robots.txt faylını yeniləyin və indeksini yeniləmək üçün eyni alətdən istifadə edərək yenilənmiş versiyanı Google-a təqdim edin.
Robots.txt konfiqurasiya edərkən ümumi səhvlər
Tez-tez edilən səhvlərdən biri şablon simvollarından səhv istifadə etmək və ya ziddiyyətli qaydalar yaratmaqdır. Məsələn, müəyyən bir şəkil qovluğuna icazə verən, lakin ana qovluğu qadağan edən qaydanız varsa, bəzi skanerlər xüsusi tətbiqlərindən asılı olaraq icazə qaydasına məhəl qoymaya bilər. Xüsusi olmaq və üst-üstə düşən təlimatlardan qaçınmaq daha yaxşıdır. Faylı sadə saxlayın və yalnız saytınızın işləməsi üçün qəti şəkildə lazım olan qaydaları daxil edin.
Təmiz robots.txt tətbiqi üçün yoxlama siyahısı
- Faylın kök qovluqda yerləşdiyinə əmin olun: example.com/robots.txt.
- Skanerlərin onu tamamilə emal edə bilməsi üçün fayl ölçüsünü 500 KB limitindən aşağı saxlayın.
- Admin giriş səhifələri kimi həssas məlumatları gizlətmək üçün robots.txt-dən istifadə etməyin; bunun əvəzinə autentifikasiyadan istifadə edin.
- XML sayt xəritəsi URL-inizin faylda düzgün şəkildə siyahıya alındığını həmişə yoxlayın.
- Təzə məzmunu bloklaya biləcək lazımsız qaydalar üçün robots.txt faylınızı müntəzəm olaraq yoxlayın.
Digər məsələ hərflərin həssaslığından istifadədir. Bəzi skanerlər bağışlasa da, bütün yolların həssas olduğunu güman etmək ən yaxşı təcrübədir. Əgər /Images/ adlı bir qovluğunuz və /images/ adlı başqa qovluğunuz varsa, skaner onları iki ayrı yol kimi qəbul edəcək. Qarışıqlığın qarşısını almaq və qaydalarınızın istisna olmaqla nəzərdə tutulmuş qovluqlara tətbiq olunmasını təmin etmək üçün adlandırma konvensiyalarınızda ardıcıl olun.
Alien Road müştərilər üçün robots.txt-ni necə idarə edir
Alien Road-da biz ilkin texniki auditimiz zamanı robots.txt idarəçiliyinə sistemli yanaşma tətbiq edirik. Yeni müştəri qəbul edərkən, məsələn, orta ölçülü e-ticarət mağazası, əvvəlcə cari tarama direktivlərini təhlil etmək üçün mövcud robots.txt faylını əldə edirik. Məhsul kateqoriyalarının və ya mühüm eniş səhifələrinin indekslənməsinə mane ola biləcək geniş qadağan əmrləri axtarırıq. Daha sonra biz bu tapıntıları Google Search Console-dakı tarama statistikası ilə çarpaz şəkildə yoxlayırıq ki, Googlebot-un hansı səhifələrə baş çəkməkdə çətinlik çəkdiyini görək.
Audit başa çatdıqdan sonra komandamız tövsiyə hesabatı hazırlayır. Tipik bir müştəri üçün biz inkişaf mərhələsində əlavə edilmiş, lakin buraxılışdan əvvəl heç vaxt silinməyən məhdudlaşdırıcı qaydaların silinməsini təklif edə bilərik. Daha sonra biz dəyişiklikləri həyata keçiririk, onları robots.txt test cihazı vasitəsilə yoxlayırıq və sonrakı iki həftə ərzində tarama sürətini izləyirik. Bu proses axtarış sistemlərinin vaxtlarını sistem qovluqlarına sərf etmək əvəzinə, faktiki olaraq trafik və gəlir gətirən səhifələrə səy göstərmələrini təmin edir.
Robots.txt tarama büdcəsi problemlərinə kömək edə bilrmi?
Tarama büdcəsi Googlebot-un saytınızda sərf etdiyi vaxt və resursların miqdarıdır. Filtrlənmiş naviqasiyası olan mağaza kimi minlərlə dinamik URL-i olan çox böyük vebsaytlar üçün bu büdcənin idarə edilməsi prioritetdir. Unikal məzmun təmin etməyən parametrli URL-ləri bloklamaq üçün robots.txt-dən istifadə skanerə əsas məhsul səhifələrinizə diqqət yetirməyə kömək edə bilər. Bu, tarama prosesini daha səmərəli edir və yeni məzmununuzun çox daha sürətli aşkar edilməsini və indekslənməsini təmin edir.
Bununla belə, SEO üçün vacib olan səhifələri bloklamamaq üçün diqqətli olmalısınız. Saytınızın böyük bir hissəsini bloklamaq üçün robots.txt-dən istifadə etsəniz, daxili keçid kapitalının həmin səhifələrə düzgün ötürülmədiyini görə bilərsiniz. Geniş qadağan qaydaları əlavə etməzdən əvvəl həmişə sayt arxitekturanınıza təsirini nəzərdən keçirin. Balanslaşdırılmış yanaşma adətən ən təsirli olur, burada siz yalnız /temp/, /cgi-bin/ və ya daxili axtarış nəticələri səhifələri kimi texniki qovluqları bloklayırsınız.
Bu həftə haradan başlamaq lazımdır
Brauzerinizdə öz robots.txt faylınıza baş çəkməklə başlayın ki, onun mövcud və əlçatan olduğunu yoxlayın. Sonradan Google Search Console-a daxil olun və robots.txt tərəfindən indeksləşdirilməli olan hər hansı səhifənin bloklanıb-bloklanmadığını görmək üçün Əhatə dairəsi və ya İndeksləmə hesabatlarını yoxlayın. Hər hansı uyğunsuzluq tapsanız, etməli olduğunuz dəyişiklikləri sənədləşdirin və saytınızın robots.txt faylını müvafiq olaraq yeniləyin. Ardıcıllıq və müntəzəm monitorinq vebsaytınız üçün sağlam tarama profilini saxlamağın açarıdır.
Böyük bir sayt idarə edirsinizsə, hansı botların saytınıza daha tez-tez baş çəkdiyini müəyyən etmək üçün tarama statistikası hesabatınıza baxın. Lazım gələrsə, robots.txt faylınızı məhz həmin botlar üçün uyğunlaşdırmaq üçün bu məlumatdan istifadə edin. Nəhayət, standart baxımınızın bir hissəsi olaraq hər rübdə robots.txt faylınızı yoxlamağı adət halına gətirin. Bu, saytınız böyüdükcə və dəyişdikcə tarama təlimatlarınızın bütün axtarış sistemi botları üçün dəqiq və faydalı olmasını təmin edir.
Oxumağa davam edin: SEO (Axtarış Sisteminin Optimizasiyası) · SEO