Robots.txt-ə giriş

Robots.txt faylı axtarış sistemi botlarına saytınızda hansı URL-lərə daxil ola biləcəklərini bildirir.
Bu, əsasən saytınızın sorğularla həddindən artıq yüklənməsinin qarşısını almaq üçün istifadə olunur; bu, veb səhifəni Google-dan kənarda saxlamaq üçün bir mexanizm deyil. Veb səhifəni Google-dan kənarda saxlamaq üçün,
indeksləməni bloklayın noindex
və ya səhifəni parol ilə qoruyun.

Robots.txt faylı nə üçün istifadə olunur?

Robots.txt faylı ilk növbədə saytınıza gələn bot trafigini idarə etmək üçün istifadə olunur və
adətən fayl növündən asılı olaraq faylı Google-dan uzaq tutmaq üçün:

robots.txt fayl növlərinə təsiri
Veb səhifə	Robots.txt faylından veb səhifələr üçün (HTML, PDF və ya Google-un oxuya biləcəyidigər qeyri-media formatları) serverinizin Google botunun sorğuları ilə həddindən artıq yüklənəcəyini düşünürsünüzsə, gəzmə trafikini idarə etmək və ya saytınızdakı əhəmiyyətsiz və ya oxşar səhifələri gəzməkdən qaçınmaq üçün istifadə edə bilərsiniz. Veb səhifəniz robots.txt faylı ilə bloklanıbsa, onun URL-i axtarış nəticələrində hələ də görünə bilər, lakin axtarış nəticəsi təsvirə malik olmayacaq. Bloklanmış səhifəyə daxil edilmiş şəkil faylları, video faylları, PDF-lər və digər qeyri-HTML faylları da gəzinti üçün icazə verilən digər səhifələrə istinad edilmədiyi təqdirdə gəzməkdən istisna ediləcək. Səhifəniz üçün bu axtarış nəticəsini görürsünüzsə və onu düzəltmək istəyirsinizsə, səhifəni bloklayan robots.txt girişini silin. Səhifəni Axtarışdan tamamilə gizlətmək istəyirsinizsə, istifadə edin başqa üsul.
Media faylı	Gəzmə trafikini idarə etmək və həmçinin şəkil, video və audio fayllarının Google Axtarış nəticələrində görünməsinin qarşısını almaq üçün robots.txt faylından istifadə edin. Bu, digər səhifələrin və ya istifadəçilərin şəkil, video və ya audio faylınıza keçid etməsinə mane olmayacaq. Şəkillərin Google-da görünməsinin qarşısını almaq haqqında ətraflı oxuyun. Video fayllarınızın Google-da görünməsinin qarşısını almaq və ya məhdudlaşdırmaq haqqında ətraflı oxuyun.
Resurs faylı	Vacib olmayan şəkil, skript və ya üslub faylları kimi resurs fayllarını bloklamaq üçün robots.txt faylından istifadə edə bilərsiniz, əgər bu resurslar olmadan yüklənmiş səhifələrin itkidən əhəmiyyətli dərəcədə təsirlənməyəcəyini düşünürsünüzsə. Lakin, əgər bu resursların olmaması Google botunun səhifəni başa düşməsini çətinləşdirirsə, onları bloklamayın, əks halda Google həmin resurslardan asılı olan səhifələri təhlil etməkdə yaxşı iş görməyəcək.

Robots.txt faylının məhdudiyyətlərini anlayın

Robots.txt faylı yaratmazdan və ya redaktə etməzdən əvvəl bu URL bloklama üsulunun limitlərini bilməlisiniz. Məqsədlərinizdən və vəziyyətinizdən asılı olaraq, URL-lərinizin internetdə tapılmamasını təmin etmək üçün digər mexanizmləri nəzərdən keçirmək istəyə bilərsiniz.

• Robots.txt qaydaları bütün axtarış sistemləri tərəfindən dəstəklənməyə bilər.
  Robots.txt fayllarındakı təlimatlar saytınızda botların davranışını məcbur edə bilməz; onlara tabe olmaq botun öhdəsindədir. Googlebot və digər hörmətli veb botları robots.txt faylındakı təlimatlara əməl etsə də, digər botlar bunu etməyə bilər. Buna görə də, məlumatı veb botlardan təhlükəsiz saxlamaq istəyirsinizsə, kimi digər bloklama üsullarından istifadə etmək daha yaxşıdır
  serverinizdə şəxsi faylların parolla qorunması.
• Fərqli botlar sintaksisi fərqli şərh edirlər.
  Hörmətli veb botları robots.txt faylındakı qaydalara əməl etsə də, hər bir bot qaydaları fərqli şərh edə bilər. Siz bilməlisiniz
  düzgün sintaksis bəziləri müəyyən təlimatları başa düşməyə biləcəyi üçün müxtəlif veb botlarına müraciət etmək üçün.
• Robots.txt-də icazə verilməyən səhifə digər saytlardan keçid edildikdə hələ də indeksləşdirilə bilər.
  Google robots.txt faylı tərəfindən bloklanmış məzmunu gəzməsə və ya indeksləşdirməsə də, internetdəki digər yerlərdən əlaqələndirilərsə, biz icazə verilməyən URL-i hələ də tapıb indeksləşdirə bilərik. Nəticədə, URL ünvanı və potensial olaraq səhifəyə keçidlərdə ankor mətn kimi digər ümumi əlçatan məlumatlar Google Axtarış nəticələrində hələ də görünə bilər. URL-inizin Google Axtarış nəticələrində görünməsinin qarşısını almaq üçün,
  serverinizdəki faylları parol ilə qoruyun,
  istifadə edin noindex meta teti və ya cavab başlıqı, və ya səhifəni tamamilə silin.

Robots.txt faylı yaradın və ya yeniləyin

Birinə ehtiyacınız olduğuna qərar verdinizsə, necə olduğunu öyrənin
robots.txt faylı yaradın. Və ya artıq biriniz varsa, necə olduğunu öyrənin
onu yeniləyin.

Daha çox öyrənmək istəyirsiniz? Aşağıdakı resursları yoxlayın:

• Robots.txt faylını necə yazmaq və təqdim etmək olar
• Robots.txt faylınızı yeniləyin
• Google robots.txt spesifikasiyasını necə şərh edir