robots.txt faylını necə yazmaq və təqdim etmək olar

Siz
tarayıcıların hansı fayllara daxil ola biləcəyinə nəzarət edə bilərsiniz
saytınızda robots.txt faylı ilə.

robots.txt faylı saytınızın kök qovluğunda yerləşir. Beləliklə, www.example.comsaytı üçün robots.txt faylı www.example.com/robots.txtünvanında yerləşir. robots.txt
Robots Exclusion Standardstandartına uyğun olan sadə mətn faylıdır. robots.txt faylı bir və ya bir neçə qaydadan ibarətdir. Hər bir qayda bütün və ya xüsusi bir tarayıcı üçün robots.txt faylının yerləşdiyi domen və ya alt domendəki müəyyən edilmiş fayl yoluna girişi bloklayır və ya icazə verir. robots.txt faylınızda başqa cür qeyd etməmisinizsə, bütün faylların taranmasına dolayı yolla icazə verilir.

Budur iki qaydası olan sadə bir robots.txt faylı:

Bu robots.txt faylının mənası budur:

1. Googlebot adlı istifadəçi agentinə aşağıdakı ilə başlayan heç bir URL-i taramağa icazə verilmir:
   https://example.com/nogooglebot/.
2. Bütün digər istifadəçi agentlərinə bütün saytı taramağa icazə verilir. Bu hissə buraxıla bilərdi və nəticə eyni olardı; standart davranış odur ki, istifadəçi agentlərinə bütün saytı taramağa icazə verilir.
3. Saytın sitemap faylı burada yerləşir:
   https://www.example.com/sitemap.xml.

Daha çox nümunə üçün sintaksis bölməsinə baxın.

robots.txt faylı yaratmaq üçün əsas təlimatlar

robots.txt faylı yaratmaq və onu ümumi şəkildə əlçatan və faydalı etmək dörd addımdan ibarətdir:

1. robots.txt adlı fayl yaradın.
2. robots.txt faylına qaydalar əlavə edin.
3. robots.txt faylını saytınızın kök qovluğuna yükləyin.
4. robots.txt faylını test edin.

robots.txt faylı yaradın

robots.txt faylı yaratmaq üçün demək olar ki, istənilən mətn redaktorundan istifadə edə bilərsiniz. Məsələn, Notepad, TextEdit, vi və emacs etibarlı robots.txt faylları yarada bilər. Mətn prosessorundan istifadə etməyin; mətn prosessorları faylları tez-tez xüsusi formatda saxlayır və tarayıcılar üçün problemlər yarada bilən qıvrım dırnaq işarələri kimi gözlənilməz simvollar əlavə edə bilər. Faylı saxlayarkən sorğu gələrsə, onu UTF-8 kodlaşdırması ilə saxlamağınızdan əmin olun.

Format və yerləşmə qaydaları:

• Faylın adı robots.txt olmalıdır.
• Saytınızda yalnız bir robots.txt faylı ola bilər.
• robots.txt faylı tətbiq olunduğu sayt hostunun kök qovluğunda yerləşməlidir. Məsələn, aşağıdakı bütün URL-lərdə taramaya nəzarət etmək üçün
  https://www.example.com/robots.txt faylı burada yerləşməlidir:
  https://www.example.com/robots.txt. O ola bilməz alt qovluqda yerləşdirilə (məsələn, https://example.com/pages/robots.txt). Saytınızın kök qovluğuna necə daxil olacağınızdan əmin deyilsinizsə və ya bunun üçün icazəyə ehtiyacınız varsa, veb hostinq xidməti provayderinizlə əlaqə saxlayın. Saytınızın kök qovluğuna daxil ola bilmirsinizsə, alternativ bloklama metodundan istifadə edin, məsələn, meta teqləri.
• robots.txt faylı alt domendə (məsələn,
  https://site.example.com/robots.txt) və ya standart olmayan portlarda (məsələn, https://example.com:8181/robots.txt).
• robots.txt faylı yalnız yerləşdirildiyi protokol, host və port daxilindəki yollara tətbiq olunur. Yəni, https://example.com/robots.txt faylındakı qaydalar yalnız
  https://example.com/fayllarına tətbiq olunur, alt domenlərə deyil, məsələn,
  https://m.example.com/və ya alternativ protokollara, məsələn,
  http://example.com/.
• robots.txt faylı UTF-8 kodlaşdırılmış mətn faylı olmalıdır (ASCII daxil olmaqla). Google UTF-8 diapazonuna daxil olmayan simvolları görməzdən gələ bilər, bu da robots.txt qaydalarını etibarsız edə bilər.

robots.txt qaydalarını necə yazmaq olar

Qaydalar tarayıcılar üçün saytınızın hansı hissələrini taraya biləcəkləri barədə təlimatlardır. robots.txt faylınıza qaydalar əlavə edərkən bu təlimatlara əməl edin:

• robots.txt faylı bir və ya bir neçə qrupdan (qaydalar toplusu) ibarətdir.
• Hər qrup bir neçə qaydadan (direktivlər kimi də tanınır) ibarətdir, hər sətirdə bir qayda. Hər qrup qrupların hədəfini müəyyən edən User-agent sətri ilə başlayır.
• Qrup aşağıdakı məlumatları verir:
  • Qrupun kimə tətbiq olunduğu (istifadəçi agenti).
  • Həmin agentin daxil ola biləcəyi qovluqlar və ya fayllar.
  • Həmin agentin daxil ola bilməyəcəyi qovluqlar və ya fayllar.
• Tarayıcılar qrupları yuxarıdan aşağıya doğru emal edir. İstifadəçi agenti yalnız bir qaydalar toplusuna uyğun gələ bilər, bu da verilmiş istifadəçi agentinə uyğun gələn ilk və ən spesifik qrupdur. Eyni istifadəçi agenti üçün bir neçə qrup varsa, qruplar emal edilməzdən əvvəl vahid qrupda birləşdiriləcəkdir.
• Varsayılan fərziyyə ondan ibarətdir ki, istifadəçi agenti
  disallow qaydası ilə bloklanmayan istənilən səhifəni və ya qovluğu taraya bilər.
• Qaydalar böyük-kiçik hərflərə həssasdır. Məsələn, disallow: /file.asp bu ünvana tətbiq olunur:
  https://www.example.com/file.asp, lakin buna tətbiq olunmur:
  https://www.example.com/FILE.asp.
• Simvolu # şərhin başlanğıcını bildirir. Şərhlər emal zamanı nəzərə alınmır.

Google-un krolerləri robots.txt fayllarında aşağıdakı qaydaları dəstəkləyir:

• user-agent: [Tələb olunur, hər qrup üçün bir və ya daha çox] Bu qayda, qaydanın tətbiq olunduğu axtarış sistemi kroleri kimi tanınan avtomatik müştərinin adını müəyyən edir. Bu, istənilən qayda qrupu üçün ilk sətirdir. Google istifadəçi agenti adları
  Google istifadəçi agentləri siyahısındagöstərilmişdir. Ulduz işarəsindən (*) istifadə etməklə, açıq şəkildə adlandırılmalı olan müxtəlif AdsBot krolerləri istisna olmaqla, bütün krolerlər uyğunlaşdırılır. Məsələn:*disallow:
• [Hər qayda üçün ən azı bir və ya daha çox disallow və ya allow
  girişi] Kök domenə nisbətən istifadəçi agentinin taramasını istəmədiyiniz qovluq və ya səhifə. Əgər qayda səhifəyə aiddirsə, o, brauzerdə göstərildiyi kimi tam səhifə adı olmalıdır. O, bir simvolu ilə başlamalıdır və əgər qovluğa aiddirsə, o, / işarəsi ilə bitməlidir. / allow:
• [Hər qayda üçün ən azı bir və ya daha çox disallow və ya allow
  girişi] Kök domenə nisbətən yuxarıda qeyd olunan istifadəçi agenti tərəfindən tarana bilən qovluq və ya səhifə. Bu, bloklanmış qovluqdakı alt qovluğun və ya səhifənin taranmasına icazə vermək üçün disallow
  qaydasını ləğv etmək üçün istifadə olunur. Tək səhifə üçün brauzerdə göstərildiyi kimi tam səhifə adını daxil edin. O, bir simvolu ilə başlamalıdır və əgər qovluğa aiddirsə, o, / işarəsi ilə bitməlidir.
  / sitemap:
• [İstəyə bağlı, hər fayl üçün sıfır və ya daha çox] Bu sayt üçün sayt xəritəsinin yeri. Sayt xəritəsinin URL-i tam ixtisaslaşmış URL olmalıdır; Google http/https/www.non-www alternativlərini fərz etmir və ya yoxlamır. Sayt xəritələri Google-un hansı məzmunu tara
  və ya tara bilməyəcəyini göstərmək üçün yaxşı bir yoldur. Sayt xəritələri haqqında daha çox məlumat əldə edin. Nümunə:
  Bütün qaydalar,
  sitemap

istisna olmaqla, yol prefiksi, suffiksi və ya bütün sətir üçün wildcard (təkrarlayıcı) simvolunu dəstəkləyir.Bu qaydaların heç birinə uyğun gəlməyən sətirlər nəzərə alınmır. * Səhifəmizi oxuyun

Google-un robots.txt spesifikasiyasını şərh etməsi

hər bir qaydanın tam təsviri üçün.
robots.txt faylını yükləyin
robots.txt faylınızı kompüterinizdə saxladıqdan sonra onu axtarış sistemi krolerləri üçün əlçatan etməyə hazırsınız. Bunun üçün sizə kömək edə biləcək tək bir alət yoxdur, çünki robots.txt faylını saytınıza necə yüklədiyiniz saytınızdan və server arxitekturanızdan asılıdır. Hostinq şirkətinizlə əlaqə saxlayın və ya hostinq şirkətinizin sənədlərini axtarın; məsələn, “upload files infomaniak” axtarışını edin.

robots.txt faylını yüklədikdən sonra onun ictimaiyyətə açıq olub-olmadığını və Google-un onu təhlil edə biləcəyini yoxlayın.

robots.txt işarələməsini yoxlayın

Yeni yüklənmiş robots.txt faylınızın ictimaiyyətə açıq olub-olmadığını yoxlamaq üçün brauzerinizdə

şəxsi baxış pəncərəsini

(və ya ekvivalentini) açın və robots.txt faylının yerinə keçin. Məsələn,
https://example.com/robots.txt
. Əgər robots.txt faylınızın məzmununu görürsünüzsə, işarələməni yoxlamağa hazırsınız. Google robots.txt işarələməsi ilə bağlı problemləri həll etmək üçün iki seçim təklif edir:Axtarış Konsolundakı

robots.txt hesabatı

1. . Bu hesabatdan yalnız saytınızda artıq əlçatan olan robots.txt faylları üçün istifadə edə bilərsiniz.
   Əgər tərtibatçısınızsa, yoxlayın və qurun Google-un açıq mənbəli robots.txt kitabxanası
2. , hansı ki, Google Axtarışda da istifadə olunur. Bu alətdən robots.txt fayllarını yerli olaraq kompüterinizdə yoxlamaq üçün istifadə edə bilərsiniz.
   robots.txt faylını Google-a təqdim edinrobots.txt faylınızı yüklədikdən və yoxladıqdan sonra Google-un krolerləri avtomatik olaraq robots.txt faylınızı tapacaq və istifadə etməyə başlayacaqlar. Heç nə etməyinizə ehtiyac yoxdur. Əgər robots.txt faylınızı yeniləmisinizsə və Google-un keşlənmiş nüsxəsini mümkün qədər tez yeniləməlisinizsə, öyrənin

yenilənmiş robots.txt faylını necə təqdim etmək olar

robots.txt faylı necə yazılır və təqdim olunur | Alien Road
robots.txt faylı saytınızın kökündə yerləşir. robots.txt faylını necə yaratmağı öyrənin, nümunələrə baxın və robots.txt qaydalarını araşdırın..