Robots.txt faylı nədir və SEO üçün necə tənzimlənir

Updated 22 August 2026

Robots.txt nədir?

Robots.txt axtarış motoru krollerlərinə və digər avtomatlaşdırılmış botlara təlimatlar vermək üçün istifadə olunan sadə bir mətn faylıdır. O, bu botlara veb saytın hansı hissələrini krol etməyə icazə verildiyini və hansı sahələrdən qaçınmalı olduqlarını bildirir.

Bu fayl veb saytın kök qovluğunda yerləşir və axtarış motorlarının sayta daxil olarkən yoxladığı ilk resurslardan biridir. Robots.txt texniki cəhətdən sadə olsa da, texniki SEO və krol idarəetməsində kritik rol oynayır.

• Robots.txt nədir?
• Robots.txt necə işləyir
• Niyə robots.txt SEO üçün vacibdir
• Robots.txt və krol etmə vs indeksləmə
• Ümumi robots.txt direktivləri
• İcazə ver (Allow) və Qadağan et (Disallow) qaydalarının izahı
• Ümumi robots.txt istifadə halları
• Ümumi robots.txt səhvləri
• Robots.txt üçün ən yaxşı təcrübələr
• Yekun fikirlər

Robots.txt Necə İşləyir

Robots.txt faylı xüsusi istifadəçi agentləri üçün qaydalar müəyyən etməklə işləyir. İstifadəçi agenti Googlebot və ya Bingbot kimi xüsusi bir krolleri təmsil edir.

Hər bir qayda dəsti istifadəçi agenti bəyannaməsi ilə başlayır və ardınca həmin krollerə aid təlimatlar gəlir.

Nümunə:

User-agent: *
Disallow: /admin/

Bu qayda bütün krollerlərə /admin/ ilə başlayan URL-ləri krol etməməyi tapşırır. /admin/.

Niyə Robots.txt SEO üçün Vacibdir

SEO nöqteyi-nəzərindən, robots.txt krol büdcəsini idarə etməyə kömək edir. Axtarış motorları hər bir veb sayta məhdud resurslar ayırır və robots.txt bu resursların səmərəli istifadə olunmasını təmin etməyə kömək edir.

Aşağı dəyərli və ya dublikat səhifələri bloklamaqla, robots.txt axtarış motorlarına məhsul səhifələri, bloq yazıları və ya kateqoriya səhifələri kimi vacib məzmunlara diqqət yetirməyə imkan verir.

Robots.txt və Krol Etmə vs İndeksləmə

Ümumi bir yanlış fikir, robots.txt-in indeksləməni idarə etməsidir. Əslində, robots.txt indeksləməni deyil, krol etməni idarə edir.

Əgər səhifə robots.txt tərəfindən bloklanıbsa, lakin ona işarə edən xarici keçidlər varsa, axtarış motorları məzmununu krol etmədən URL-i indeksləyə bilər.

İndeksləmənin qarşısını tamamilə almaq üçün əvəzində meta robots teqləri və ya HTTP başlıqlarından istifadə edilməlidir.

Ümumi Robots.txt Direktivləri

Robots.txt-də ən çox istifadə olunan direktivlərə aşağıdakılar daxildir:

• User-agent: Qaydanın hansı krollerə aid olduğunu müəyyən edir
• Disallow: Xüsusi yolların krol edilməsini bloklayır
• Allow: Xüsusi yolların krol edilməsinə icazə verir
• Sitemap: XML sayt xəritəsinin yerini göstərir

İcazə ver (Allow) və Qadağan et (Disallow) Qaydalarının İzahı

Disallow direktivi krollerlərin müəyyən edilmiş URL-lərə və ya qovluqlara daxil olmasının qarşısını alır. O, adətən admin panellərini, daxili axtarış səhifələrini və ya filtrlənmiş URL-ləri bloklamaq üçün istifadə olunur.

Allow direktivi daha geniş Disallow qaydalarını ləğv etmək və xüsusi fayllara və ya alt qovluqlara girişi təmin etmək üçün istifadə olunur.

Ümumi Robots.txt İstifadə Halları

Robots.txt adətən aşağıdakılar üçün istifadə olunur:

• Admin və giriş səhifələrini bloklamaq
• Faset naviqasiyasını və URL parametrlərini idarə etmək
• Daxili axtarış nəticələrinin krol edilməsinin qarşısını almaq
• Staging və ya inkişaf mühitlərini bloklamaq
• Böyük fayl qovluqlarına girişi idarə etmək

Ümumi Robots.txt Səhvləri

Sadəliyinə baxmayaraq, robots.txt tez-tez yanlış konfiqurasiya edilir. Ümumi səhvlərə aşağıdakılar daxildir:

• Bütün veb saytı təsadüfən bloklamaq
• Render üçün tələb olunan CSS və ya JavaScript fayllarını bloklamaq
• Həssas məlumatları gizlətmək üçün robots.txt-dən istifadə etmək
• Sayt dəyişikliklərindən sonra qaydaları yeniləməmək

Robots.txt üçün Ən Yaxşı Təcrübələr

Robots.txt-dən təhlükəsiz və səmərəli istifadə etmək üçün bu ən yaxşı təcrübələrə əməl edin:

• Faylı sadə və yaxşı sənədləşdirilmiş saxlayın
• Dəyişiklikləri tətbiq etməzdən əvvəl test edin
• Vacib aktivləri bloklamaqdan çəkinin
• Robots.txt-i mütəmadi olaraq yoxlayın

Krol optimallaşdırmasının təsirini ölçmək üçün, həmçinin bələdçimizə baxa bilərsiniz SEO göstəriciləri.

Rəsmi sənədlər üçün ziyarət edin Google Search Central.

Yekun Fikirlər

Robots.txt, axtarış motorlarının veb saytı necə krol etdiyini idarə edən təməl texniki SEO alətidir. Reytinqlərə birbaşa təsir etməsə də, krol səmərəliliyində və indeks keyfiyyətində mühüm rol oynayır.

Düzgün konfiqurasiya edildikdə, robots.txt axtarış motorlarına dəyərli məzmuna diqqət yetirməyə kömək edir. Yanlış istifadə edildikdə, kritik səhifələri səssizcə bloklaya və görünürlüyə zərər verə bilər.

Əlaqəli xidmət: SEO (Axtarış Motoru Optimizasiyası)