Robots.txt faylı, veb saytın kök qovluğunda yerləşdirilən və veb botlarına saytın hansı sahələrinə daxil olub-ola bilməyəcəkləri barədə təlimatlar verən bir mətn sənədidir. Xüsusi sintaksisdən istifadə edərək, sayt sahibləri öz seçimlərini Google, Bing və digərləri kimi axtarış sistemlərinə çatdırırlar. Google Search Central bildirir ki, robots.txt faylları tarama girişinə nəzarət edir, lakin başqa yerdə linklənibsə, axtarış sistemlərinin səhifəni indeksləməsinə mane olmur. Bu fərq effektiv sayt idarəetməsi və texniki SEO planlaşdırılması üçün vacibdir.
Robots.txt faylının məqsədi nədir?
Bu faylın əsas rolu tarama büdcənizi idarə etməyə kömək etməkdir. Minlərlə səhifəsi olan böyük veb saytlar üçün axtarış botlarının daxili axtarış nəticələri, filtr kombinasiyaları və ya müvəqqəti hazırlıq səhifələri kimi aşağı dəyərli məzmunlara vaxt itirməsini istəmirsiniz. Bu sahələri açıq şəkildə bloklayaraq, axtarış sistemlərinin məhsul təsvirləri, bloq yazıları və ya xidmət açılış səhifələri kimi yüksək dəyərli səhifələrinizə diqqət yetirməsini təmin edirsiniz. Bu, tərtibatçılar və SEO mütəxəssisləri tərəfindən sayt strukturunda tarama səmərəliliyinin yüksək qalmasını təmin etmək üçün istifadə olunan standart texniki təcrübədir.
Faylınız üçün əsas sintaksis qaydaları
Funksional bir robots.txt faylı botlar tərəfindən düzgün şərh edilməsi üçün xüsusi formatlaşdırma qaydalarına əməl etməlidir. Hər bir fayl, aşağıdakı qaydaların hansı bota aid olduğunu müəyyən edən User-agent sətri ilə başlayır. Ulduz işarəsi (*) joker simvol kimi çıxış edir, yəni qaydalar bütün botlara aiddir. Daha sonra müəyyən qovluqlara və ya fayllara girişi idarə etmək üçün Disallow və ya Allow direktivlərindən istifadə edirsiniz. Şərhlər, fayla daha sonra daxil ola biləcək digər komanda üzvləri üçün sənədləşdirməni saxlamağa kömək edən həş (#) simvolundan istifadə edilərək əlavə edilə bilər. Bu qaydalar böyük-kiçik hərfə həssasdır və aşkar edilməsi üçün kök qovluqda yerləşdirilməlidir.
- User-agent: Müraciət edilən xüsusi bot və ya bütün botlar üçün *.
- Disallow: Taramaqdan məhdudlaşdırmaq istədiyiniz yol və ya fayl.
- Allow: Üst qovluq bloklansa belə, icazə vermək istədiyiniz yol və ya fayl.
- Sitemap: Botların məzmununuzu kəşf etməsinə kömək edən XML sayt xəritənizin yeri.
Faylınızı necə düzgün strukturlaşdırmaq olar?
Faylınızı strukturlaşdırmaq aydın bir iyerarxiya tələb edir. Faylı oxunaqlı saxlamaq üçün qaydalarınızı istifadəçi agentinə görə məntiqli şəkildə qruplaşdırın. Əgər bütün botları müəyyən bir qovluqdan, məsələn, hazırlıq qovluğundan bloklamaq istəyirsinizsə, ‘User-agent: *’ yazır və ardınca ‘Disallow: /staging/’ əlavə edirsiniz. İstisna etmək lazımdırsa, eyni agent bloku altında ‘Allow’ sətri əlavə edə bilərsiniz. Faylı kiçik saxlayın və lazımsız mürəkkəblikdən qaçın, çünki botlar faylı yuxarıdan aşağıya oxuyur və uyğun bir qayda tapdıqdan sonra dayanırlar. İstehsala keçməzdən əvvəl potensial səhvləri tutmaq üçün sintaksisinizi həmişə Google Search Console robots.txt tester kimi alətlərdən istifadə edərək yoxlayın.
Robots.txt indeksləmənin qarşısını ala bilərmi?
Ümumi bir yanlış fikir, robots.txt-də bir URL-i bloklamağın onu axtarış nəticələrindən siləcəyidir. Bu yanlışdır. Google Search Central bildirir ki, robots.txt faylları tarama girişinə nəzarət edir, lakin başqa yerdə linklənibsə, axtarış sistemlərinin səhifəni indeksləməsinə mane olmur. Əgər bir səhifə robots.txt vasitəsilə bloklanıbsa, lakin digər saytlardan və ya səhifələrdən ona keçid varsa, Google məzmunu taramadan URL-i indeksləyə bilər. Bir səhifənin axtarış nəticələrində görünməsini dayandırmaq istəyirsinizsə, bunun əvəzinə ‘noindex’ meta teqindən istifadə edin. Bu nüansı başa düşmək axtarış mövcudluğunuzu idarə etmək üçün vacibdir.
İndeksləməyə nəzarət üsullarının müqayisəsi
| Metod | Tarama təsiri | İndeksləmə təsiri |
|---|---|---|
| robots.txt | Taramaya mane olur | İndeksləməyə mane olmur |
| noindex teqi | Taramaya icazə verir | İndeksləməyə mane olur |
| Parol qoruması | Taramaya mane olur | İndeksləməyə mane olur |
Alien Road texniki fayl idarəetməsini necə tətbiq edir
Alien Road-da biz robots.txt konfiqurasiyasına daha geniş sayt sağlamlığı auditinin bir hissəsi kimi yanaşırıq. Yeni müştəri ilə işə başlayarkən, əsas səhifələrin indekslənməsinə mane ola biləcək təsadüfi blokları müəyyən etmək üçün əvvəlcə mövcud robots.txt faylını nəzərdən keçiririk. Məsələn, tipik bir hesabda tez-tez inkişaf qovluqlarının bloklandığını və ya həyati CSS/JS fayllarının məhdudlaşdırıldığını görürük ki, bu da Google-un səhifəni necə göstərdiyinə təsir edir. Daha sonra müştərinin XML sayt xəritəsi ilə uyğunlaşan təmiz, konsolidasiya edilmiş bir versiya yaradırıq. Prosesimiz, yeni sayt yeniləmələrinin axtarış sisteminə girişi təsadüfən bloklamamasını təmin etmək üçün davamlı monitorinqi əhatə edir.
Qaçınılmalı olan ümumi səhvlər
- CSS, JavaScript və ya şəkil qovluqları kimi kritik resursları bloklamaq.
- Aydın bir ardıcıllıq olmadan müxtəlif istifadəçi agentləri üçün ziddiyyətli qaydalardan istifadə etmək.
- XML sayt xəritənizə tam URL yolunu daxil etməyi unutmaq.
- Robots.txt-ni təhlükəsizlik aləti kimi səhv salmaq; o, məzmunu istifadəçilərdən və ya hakerlərdən gizlətmir.
Bu həftə haradan başlamaq lazımdır
Həftənizə adətən domain.com/robots.txt ünvanında yerləşən veb saytınızın robots.txt faylına daxil olmaqla başlayın. Direktivləri oxuyun və heç bir vacib səhifənin bloklanmadığından əmin olun. WordPress kimi CMS istifadə edirsinizsə, plaginlərinizin ziddiyyətli qaydalar yaratmadığını yoxlayın. Faylı nəzərdən keçirdikdən sonra, heç bir sintaksis xəbərdarlığının olmadığından əmin olmaq üçün yenilənmiş versiyanı Google Search Console-a təqdim edin. Bu faylı dəqiq saxlamaq, axtarış sistemi mövcudluğunuzun texniki təməlini qorumağın sadə, lakin effektiv yoludur.
Tez-tez verilən suallar
Şəkil qovluğumu bloklamalıyam?
Xeyr, ümumiyyətlə şəkil qovluğunuzu bloklamamalısınız. Google şəkillərdən bir çox sayt üçün əsas trafik mənbəyi olan Google Şəkillər axtarışı üçün istifadə edir. Bu qovluğu bloklamaq axtarış sistemlərinin vizual məzmununuzu başa düşməsinə mane olur ki, bu da ümumi sayt görünürlüyünüzə və SEO performansınıza zərər verə bilər.
Robots.txt böyük-kiçik hərfə həssasdır?
Bəli, robots.txt faylınızda müəyyən edilmiş yollar böyük-kiçik hərfə həssasdır. Əgər /Admin adlı bir qovluğunuz varsa və ‘Disallow: /admin/’ yazırsınızsa, server konfiqurasiyanızdan asılı olaraq qayda nəzərdə tutulduğu kimi tətbiq olunmaya bilər. Yolun faktiki qovluq strukturunuzla tam uyğun olduğundan həmişə əmin olun.
Robots.txt-də joker simvollardan istifadə edə bilərəmmi?
Bəli, standart robots.txt sintaksisi joker simvolları dəstəkləyir. Ulduz işarəsi (*) istənilən simvollar ardıcıllığı ilə uyğunlaşmaq üçün, dollar işarəsi ($) isə URL-in sonu ilə uyğunlaşmaq üçün istifadə edilə bilər. Bunlar izləmə parametrləri və ya sessiya ID-ləri kimi dinamik URL nümunələrini bloklamaq üçün faydalıdır.
Faylımın düzgün olub olmadığını necə yoxlaya bilərəm?
Faylınızı yoxlamağın ən etibarlı yolu Google Search Console daxilindəki robots.txt tester alətindən istifadə etməkdir. Bu alət cari fayl məzmununuzu yapışdırmağa və Googlebot-un qaydalarınızı saytınızdakı xüsusi URL-lərə qarşı necə şərh etdiyini simulyasiya etməyə imkan verir, hər hansı potensial ziddiyyətləri qeyd edir.
Oxumağa davam edin: SEO (Axtarış Motoru Optimizasiyası) · SEO