Robots.txt faylı, veb-saytın kök qovluğunda yerləşən və veb botlarına hansı səhifələrə daxil olub-olmamaları barədə təlimatlar verən standart bir mətn sənədidir. Bu, veb-master və axtarış motoru botları arasında əsas ünsiyyət vasitəsi kimi xidmət edir və kəşf prosesi zamanı resursların necə istifadə edildiyini idarə etməyə kömək edir. Texniki SEO-nun təməl hissəsi olsa da, bir çox sayt sahibi onun məhdudiyyətlərini, xüsusən də səhifə indekslənməsi və təhlükəsizlik baxımından düzgün anlamır.
Robots.txt faylının məqsədi nədir?
Robots.txt faylının əsas məqsədi tarama büdcəsini idarə etməkdir. Google və Bing kimi axtarış motorları hər gün internetdəki hər bir səhifəni taramaq üçün sonsuz resurslara malik deyil. Onlar hər veb-sayta tarama büdcəsi adlanan müəyyən miqdarda vaxt və enerji ayırırlar. Əgər saytınızda daxili axtarış nəticələri, filtr parametrləri və ya dublikat məzmun kimi minlərlə aşağı dəyərli səhifə varsa, botlar ən vacib məqalələrinizi və ya məhsullarınızı tapmaq əvəzinə vaxtlarını bunlara sərf edə bilərlər.
Robots.txt faylından istifadə edərək botları inzibati sahələrdən, müvəqqəti qovluqlardan və ya həssas axtarış sorğularından uzaqlaşdıra bilərsiniz. Bu, botun vaxtını axtarış nəticələrində görmək istədiyiniz yüksək keyfiyyətli məzmuna sərf etməsini təmin edir. Unutmayın ki, bu fayllar ictimaiyyətə açıqdır; hər kəs domeninizə /robots.txt əlavə edərək qaydalarınızı görə bilər. Buna görə də, bu faylı heç vaxt şəxsi məlumatları və ya həssas qovluqları istifadəçilərdən gizlətmək üçün istifadə etməməlisiniz.
Robots.txt faylını necə düzgün strukturlaşdırmaq olar?
Standart robots.txt faylı direktivlər və dəyərlərdən ibarət sadə sintaksisdən istifadə edir. Hər bir təlimat dəsti tətbiq olunduğu botu müəyyən etməklə başlayır, ardınca həmin bot üçün xüsusi qaydalar gəlir. Fayl tam olaraq robots.txt adlandırılmalı, kiçik hərflərlə yazılmalı və veb serverinizin ən üst qovluğunda yerləşdirilməlidir. Əgər o, alt qovluqda yerləşdirilərsə, axtarış motorları onu axtarmayacaq və heç bir qaydanın olmadığını güman edəcəklər.
Faylın əsas komponentlərinə aşağıdakı direktivlər daxildir:
- User-agent: Qaydanın hansı bota tətbiq olunduğunu müəyyən edir (məsələn, Googlebot, Bingbot və ya hamısı üçün *).
- Disallow: Botun daxil olmamalı olduğu qovluğu və ya səhifəni göstərir.
- Allow: Disallow qaydasına istisna yaradır və müəyyən bir alt qovluğun taranmasına icazə verir.
- Sitemap: Kəşf prosesinə kömək etmək üçün botu XML sayt xəritənizin yerinə yönləndirir.
Tipik bir hesabda sadə robots.txt faylı belə görünə bilər: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml Bu, bütün botlara WordPress admin sahəsindən kənarda qalmağı əmr edir, lakin sayt funksionallığı üçün tez-tez lazım olan AJAX faylına daxil olmağa icazə verir.
Niyə Google hələ də robots.txt tərəfindən bloklanmış səhifələri indeksləyir?
SEO-da ən çox qarışıqlıq yaradan məqamlardan biri tarama və indeksləmə arasındakı fərqdir. Robots.txt indekslənməni deyil, taramanı idarə edir. Əgər Google saytınızdakı bir səhifəyə xarici mənbədən keçid taparsa, o, həmin səhifənin mövcud olduğunu bilir. Robots.txt faylınız Google-a həmin səhifəyə daxil olmağı qadağan etsə belə, axtarış motoru xarici keçiddən topladığı məlumatlara əsasən URL-i hələ də indeksləyə bilər.
Bu, xüsusi bir problemə yol açır: əgər bir səhifəni axtarış nəticələrindən tamamilə kənarlaşdırmaq istəyirsinizsə, ‘noindex’ meta teqindən istifadə etməlisiniz. Lakin ‘noindex’ teqi yalnız axtarış motoru teqi görmək üçün səhifəni taraya bildikdə işləyir. Əgər səhifəni robots.txt-də bloklasanız, bot heç vaxt səhifəyə daxil olmur, ‘noindex’ təlimatını görmür və səhifə axtarış nəticələrində qala bilər. Səhifənin ‘noindex’ vasitəsilə silinməsi üçün o, bot üçün əlçatan olmalıdır.
Axtarış reytinqlərinə zərər verən ümumi robots.txt səhvləri
Robots.txt faylınızdakı bir simvol səhvi ciddi nəticələrə səbəb ola bilər. Veb-sayt miqrasiyaları və ya inkişaf mərhələləri zamanı tərtibatçıların hazırlıq saytının indekslənməsinin qarşısını almaq üçün ‘Disallow: /’ istifadə etməsi adi haldır. Bu direktiv bütün botların saytdakı hər bir səhifəyə daxil olmasını bloklayır. Əgər bu kod təsadüfən canlı serverə köçürülərsə, botlara daxil olmağı dayandırmaları əmr edildiyi üçün bütün veb-saytınız axtarış nəticələrindən yox olacaq.
Digər bir tez-tez rast gəlinən səhv CSS və JavaScript faylları kimi daxili aktivləri bloklamaqdır. Tarixən axtarış motorları yalnız mətn məzmunu ilə maraqlanırdı. Bu gün Googlebot tərtibatı, mobil uyğunluğu və istifadəçi təcrübəsini qiymətləndirmək üçün səhifələri müasir brauzer kimi render edir. Əgər robots.txt faylınız üslublarınızı və ya skriptlərinizi ehtiva edən qovluqları bloklayırsa, axtarış motoru saytınızın xarab versiyasını görür ki, bu da reytinqlərin aşağı düşməsinə və axtarış konsollarında ‘mobil istifadəyə yararlılıq’ səhvlərinə səbəb ola bilər.
Böyük-kiçik hərf həssaslığı səhvlərin baş verdiyi digər bir sahədir. ‘User-agent’ kimi direktivlər böyük-kiçik hərfə həssas olmasa da, fayl və qovluq yolları çox vaxt həssasdır. Məsələn, ‘Disallow: /Private/’ əmri ‘/private/’ adlı qovluğu bloklamayacaq. Bu texniki münaqişələrdən qaçmaq üçün serverinizdəki bütün fayl və qovluq adları üçün kiçik hərflərdən istifadə etmək ən yaxşı təcrübədir.
E-ticarət və böyük veb-saytlar üçün robots.txt idarəetməsi
Minlərlə geyim məhsulu satan Shopify mağazası kimi böyük veb-saytlar unikal çətinliklərlə üzləşir. E-ticarət platformaları çox vaxt rəng, ölçü və ya qiymət aralığı üçün filtrlər kimi fasetli naviqasiya vasitəsilə çox sayda URL yaradır. Bu filtrlənmiş səhifələr çox vaxt indekslənməyə ehtiyacı olmayan dublikat məzmun ehtiva edir. Düzgün robots.txt strategiyası olmadan, bu saytlar tarama büdcələrini faydasız URL parametrlərinə asanlıqla sərf edə bilərlər.
Məsələn, tez-tez izləmə parametri və ya filtr bildirən sual işarəsi olan bütün URL-ləri bloklamaq üçün ‘Disallow: /*?*’ kimi bir qaydadan istifadə edə bilərsiniz. Lakin parametrlərdən istifadə edən vacib səhifələri bloklamamaq üçün diqqətli olmalısınız. Alien Road olaraq, daxili axtarış sorğusu qeydlərinizi nəzərdən keçirməyi, hansı URL nümunələrinin daha tez-tez tarandığını müəyyən etməyi və onların axtarış istifadəçiləri üçün real dəyər verib-vermədiyini qiymətləndirməyi təklif edirik.
Robots.txt faylınızı necə test etmək və təsdiqləmək olar?
Canlı saytınızda dəyişiklik etməzdən əvvəl qaydalarınızı həmişə təsdiqləməlisiniz. Google, Axtarış Konsolunun köhnə versiyasında kodunuzu yapışdırmağa və xüsusi URL-ləri ona qarşı test etməyə imkan verən Robots.txt Tester alətini təqdim edir. Bu, hansı qaydaların hansı səhifələri blokladığını dəqiq görməyə kömək edir. Sintaksis səhvlərini və ya məntiqi ziddiyyətləri vurğulaya bilən müxtəlif üçüncü tərəf brauzer genişləndirmələri və onlayn validatorlar da mövcuddur.
Təsdiqləmə üçün ümumi bir nümunəyə bu addımlar daxildir:
- Faylın yourdomain.com/robots.txt ünvanında əlçatan olduğunu yoxlayın.
- Bütün saytı bloklamaq niyyətində deyilsinizsə, ‘Disallow: /’ qaydalarının olmadığından əmin olun.
- CSS və JS qovluqlarınızın bloklanmadığını təsdiqləyin.
- XML sayt xəritəsi URL-inizin faylın sonunda düzgün qeyd olunduğunu yoxlayın.
- İcazə verildiyindən əmin olmaq üçün ən vacib məhsul və ya açılış səhifələrinizi test edin.
Bu həftə haradan başlamaq lazımdır
İlk addımınız hazırda hansı təlimatların aktiv olduğunu görmək üçün öz veb-saytınızın /robots.txt ünvanına baş çəkmək olmalıdır. Google Axtarış Konsolunun ‘İndeksləmə’ hesabatında ‘İndekslənib, lakin robots.txt tərəfindən bloklanıb’ xəbərdarlıqlarını yoxlayın. Bu, Google-un indekslənməyə kifayət qədər vacib hesab etdiyi səhifələri blokladığınızı göstərir ki, bu da strategiyanızda məntiqi bir səhv əlamətidir. Əgər bunları tapsanız, bloku silməli və ya taramaya icazə verərkən ‘noindex’ teqi əlavə etməli olduğunuzu qiymətləndirin. Nəhayət, botların saytınızda səmərəli naviqasiya etməsinə kömək etmək üçün sayt xəritənizin düzgün əlaqələndirildiyindən əmin olun.
Oxumağa davam edin: SEO (Axtarış Motoru Optimizasiyası) · SEO