robots.txt faylını necə yazmaq və göndərmək olar

Siz robots.txt faylı ilə saytınızdakı krolerlərin hansı fayllara daxil ola biləcəyinə nəzarət edə bilərsiniz.

robots.txt faylı saytınızın kök qovluğunda yerləşir. Beləliklə, www.example.com saytı üçün robots.txt faylı www.example.com/robots.txt ünvanında yerləşir. robots.txt, Robots Exclusion Standard qaydalarına tabe olan sadə mətn faylıdır. robots.txt faylı bir və ya bir neçə qaydadan ibarətdir. Hər bir qayda, robots.txt faylının yerləşdiyi domen və ya alt domendəki müəyyən bir fayl yoluna bütün krolerlərin və ya xüsusi bir krolerin girişini bloklayır və ya icazə verir. Siz robots.txt faylınızda başqa cür qeyd etmədiyiniz müddətcə, bütün faylların krol edilməsinə dolayı yolla icazə verilir.

Budur iki qaydası olan sadə bir robots.txt faylı:

Bu robots.txt faylının mənası budur:

1. Googlebot adlı istifadəçi agentinə https://example.com/nogooglebot/ ilə başlayan heç bir URL-i krol etməyə icazə verilmir.
2. Bütün digər istifadəçi agentlərinə bütün saytı krol etməyə icazə verilir. Bu hissəni yazmasanız da nəticə eyni olardı; standart davranış odur ki, istifadəçi agentlərinə bütün saytı krol etməyə icazə verilir.
3. Saytın sitemap faylı https://www.example.com/sitemap.xml ünvanında yerləşir.

Daha çox nümunə üçün sintaksis bölməsinə baxın.

robots.txt faylı yaratmaq üçün əsas qaydalar

robots.txt faylı yaratmaq və onu əlçatan və faydalı etmək dörd addımdan ibarətdir:

1. robots.txt adlı fayl yaradın.
2. robots.txt faylına qaydalar əlavə edin.
3. robots.txt faylını saytınızın kök qovluğuna yükləyin.
4. robots.txt faylını test edin.

robots.txt faylı yaradın

robots.txt faylı yaratmaq üçün demək olar ki, istənilən mətn redaktorundan istifadə edə bilərsiniz. Məsələn, Notepad, TextEdit, vi və emacs etibarlı robots.txt faylları yarada bilər. Mətn prosessorlarından istifadə etməyin; mətn prosessorları faylları çox vaxt xüsusi formatda saxlayır və krolerlər üçün problemlər yarada bilən qıvrım dırnaq işarələri kimi gözlənilməz simvollar əlavə edə bilər. Faylı saxlayarkən sorğu gələrsə, UTF-8 kodlaşdırması ilə saxladığınızdan əmin olun.

Format və yerləşmə qaydaları:

• Faylın adı mütləq robots.txt olmalıdır.
• Saytınızda yalnız bir robots.txt faylı ola bilər.
• robots.txt faylı tətbiq olunduğu sayt hostunun kök qovluğunda yerləşməlidir. Məsələn, https://www.example.com/ altındakı bütün URL-lərdə krol etməyə nəzarət etmək üçün robots.txt faylı https://www.example.com/robots.txt ünvanında yerləşməlidir. O, alt qovluqda (məsələn, https://example.com/pages/robots.txt ünvanında) yerləşdirilə bilməz. Saytın kök qovluğuna necə daxil olacağınızdan əmin deyilsinizsə və ya bunun üçün icazəyə ehtiyacınız varsa, veb hostinq xidməti provayderinizlə əlaqə saxlayın. Saytın kök qovluğuna daxil ola bilmirsinizsə, meta teqləri kimi alternativ bloklama metodundan istifadə edin.
• robots.txt faylı alt domendə (məsələn, https://site.example.com/robots.txt) və ya standart olmayan portlarda (məsələn, https://example.com:8181/robots.txt) yerləşdirilə bilər.
• robots.txt faylı yalnız yerləşdirildiyi protokol, host və port daxilindəki yollara tətbiq olunur. Yəni, https://example.com/robots.txt faylındakı qaydalar yalnız https://example.com/ daxilindəki fayllara tətbiq olunur, https://m.example.com/ kimi alt domenlərə və ya http://example.com/ kimi alternativ protokollara şamil edilmir.
• robots.txt faylı UTF-8 kodlaşdırılmış mətn faylı olmalıdır (ASCII daxil olmaqla). Google, UTF-8 diapazonuna daxil olmayan simvolları nəzərə almaya bilər və bu, robots.txt qaydalarını etibarsız edə bilər.

robots.txt qaydalarını necə yazmalı

Qaydalar krolerlər üçün saytınızın hansı hissələrini krol edə biləcəkləri barədə təlimatlardır. robots.txt faylınıza qaydalar əlavə edərkən bu təlimatlara əməl edin:

• robots.txt faylı bir və ya bir neçə qrupdan (qaydalar toplusu) ibarətdir.
• Hər qrup bir neçə qaydadan (direktivlər kimi də tanınır) ibarətdir, hər sətirdə bir qayda olur. Hər qrup qrupun hədəfini müəyyən edən User-agent sətri ilə başlayır.
• Bir qrup aşağıdakı məlumatları verir:
  • Qrupun kimə tətbiq olunduğu (istifadəçi agenti).
  • Həmin agentin hansı qovluqlara və ya fayllara daxil ola biləcəyi.
  • Həmin agentin hansı qovluqlara və ya fayllara daxil ola bilməyəcəyi.
• Krolerlər qrupları yuxarıdan aşağıya doğru emal edir. Bir istifadəçi agenti yalnız bir qaydalar toplusuna uyğun gələ bilər; bu, verilmiş istifadəçi agentinə uyğun gələn ilk və ən spesifik qrupdur. Eyni istifadəçi agenti üçün bir neçə qrup varsa, qruplar emal edilməzdən əvvəl vahid bir qrupda birləşdiriləcək.
• Standart fərziyyə odur ki, istifadəçi agenti disallow qaydası ilə bloklanmayan istənilən səhifəni və ya qovluğu krol edə bilər.
• Qaydalar böyük-kiçik hərfə həssasdır. Məsələn, disallow: /file.asp qaydası https://www.example.com/file.asp ünvanına tətbiq olunur, lakin https://www.example.com/FILE.asp ünvanına tətbiq olunmur.
• # simvolu şərhin başlanğıcını bildirir. Şərhlər emal zamanı nəzərə alınmır.

Google-un krolerləri robots.txt fayllarında aşağıdakı qaydaları dəstəkləyir:

• user-agent: [Tələb olunur, hər qrup üçün bir və ya daha çox] Bu qayda, qaydanın tətbiq olunduğu axtarış sistemi kroleri kimi tanınan avtomatik müştərinin adını müəyyən edir. Bu, istənilən qayda qrupu üçün ilk sətirdir. Google istifadəçi agentlərinin adları Google istifadəçi agentləri siyahısında verilmişdir. Ulduz işarəsindən (*) istifadə etmək, açıq şəkildə adlandırılmalı olan müxtəlif AdsBot krolerləri istisna olmaqla, bütün krolerlərə uyğun gəlir. Məsələn:
• disallow: [Hər qayda üçün ən azı bir və ya daha çox disallow və ya allow girişi] Kök domenə nisbətən istifadəçi agentinin krol etməsini istəmədiyiniz qovluq və ya səhifə. Əgər qayda bir səhifəyə aiddirsə, bu, brauzerdə göstərildiyi kimi tam səhifə adı olmalıdır. O, / simvolu ilə başlamalıdır və əgər qovluğa aiddirsə, / işarəsi ilə bitməlidir.
• allow: [Hər qayda üçün ən azı bir və ya daha çox disallow və ya allow girişi] Kök domenə nisbətən, yuxarıda qeyd olunan istifadəçi agenti tərəfindən krol edilə bilən qovluq və ya səhifə. Bu, bloklanmış qovluqdakı alt qovluğun və ya səhifənin krol edilməsinə icazə vermək üçün disallow qaydasını ləğv etmək üçün istifadə olunur. Tək bir səhifə üçün brauzerdə göstərildiyi kimi tam səhifə adını qeyd edin. O, / simvolu ilə başlamalıdır və əgər qovluğa aiddirsə, / işarəsi ilə bitməlidir.
• sitemap: [İstəyə bağlı, hər fayl üçün sıfır və ya daha çox] Bu sayt üçün sitemap-in yeri. Sitemap URL-i tam keyfiyyətli URL olmalıdır; Google http/https/www/non-www alternativlərini fərz etmir və ya yoxlamır. Sitemap-lər, Google-un hansı məzmunu krol edə biləcəyindən və ya edə bilməyəcəyindən fərqli olaraq, hansı məzmunu krol etməli olduğunu göstərmək üçün yaxşı bir yoldur.
  Sitemap-lər haqqında daha çox məlumat əldə edin.
  Nümunə:

sitemap istisna olmaqla, bütün qaydalar yol prefiksi, suffiksi və ya tam sətir üçün * joker simvolunu dəstəkləyir.

Bu qaydaların heç birinə uyğun gəlməyən sətirlər nəzərə alınmır.

Hər bir qaydanın tam təsviri üçün Google-un robots.txt spesifikasiyasını şərh etməsi haqqında səhifəmizi oxuyun.

robots.txt faylını yükləyin

robots.txt faylınızı kompüterinizdə saxladıqdan sonra onu axtarış sistemi krolerləri üçün əlçatan etməyə hazırsınız. Bunun üçün vahid bir alət yoxdur, çünki robots.txt faylını saytınıza necə yükləyəcəyiniz saytınızdan və server arxitekturanızdan asılıdır. Hostinq şirkətinizlə əlaqə saxlayın və ya hostinq şirkətinizin sənədlərini axtarın; məsələn, “upload files infomaniak” kimi axtarış edin.

robots.txt faylını yüklədikdən sonra onun ictimaiyyətə açıq olub-olmadığını və Google-un onu təhlil edə biləcəyini yoxlayın.

robots.txt işarələməsini test edin

Yeni yüklənmiş robots.txt faylınızın ictimaiyyətə açıq olub-olmadığını yoxlamaq üçün brauzerinizdə gizli rejim pəncərəsi (və ya ekvivalenti) açın və robots.txt faylının yerləşdiyi yerə keçin. Məsələn, https://example.com/robots.txt. Əgər robots.txt faylınızın məzmununu görürsünüzsə, işarələməni test etməyə hazırsınız.

Google, robots.txt işarələməsi ilə bağlı problemləri həll etmək üçün iki seçim təklif edir:

1. Search Console-da robots.txt hesabatı. Siz bu hesabatdan yalnız saytınızda artıq əlçatan olan robots.txt faylları üçün istifadə edə bilərsiniz.
2. Əgər tərtibatçısınızsa, Google Axtarışında da istifadə olunan Google-un açıq mənbəli robots.txt kitabxanasını yoxlayın və qurun. Siz bu alətdən robots.txt fayllarını yerli olaraq kompüterinizdə test etmək üçün istifadə edə bilərsiniz.

robots.txt faylını Google-a təqdim edin

robots.txt faylınızı yüklədikdən və test etdikdən sonra Google-un krolerləri avtomatik olaraq robots.txt faylınızı tapacaq və istifadə etməyə başlayacaqlar. Heç nə etməyinizə ehtiyac yoxdur. Əgər robots.txt faylınızı yeniləmisinizsə və Google-un keşlənmiş nüsxəsini mümkün qədər tez yeniləməlisinizsə, yenilənmiş robots.txt faylını necə təqdim edəcəyinizi öyrənin.