Google sənədlərinə görə, robots.txt faylı axtarış sistemi skanerlərinə saytınızda hansı URL-lərə daxil ola biləcəyini bildirən sadə mətn faylıdır. O, botlar üçün təlimatlar toplusu rolunu oynayır və axtarış sistemlərinin məzmununuzla necə qarşılıqlı əlaqədə olmasını idarə etməyinizə kömək edir. Bu faylı domeninizin kök kataloquna yerləşdirməklə, hansı səhifələrin şəxsi qalmalı və ya indeksləşdirmə səylərindən kənarlaşdırılmalı olması ilə bağlı üstünlüklərinizi bildirirsiniz. Bu faylı başa düşmək veb-saytı idarə edən hər kəs üçün əsas bacarıqdır, çünki o, birbaşa texniki axtarış sisteminin optimallaşdırılması strategiyanıza təsir edir.
Robots.txt faylının əsas funksiyası nədir?
Robots.txt faylının əsas rolu axtarış sistemi botlarının veb saytınızı necə nəzərdən keçirdiyini tənzimləməkdir. Səhifənin axtarış nəticələrində tamamilə görünməsinin qarşısını almaq əvəzinə, o, skanerə müəyyən bir yola baş çəkmək icazəsinin olub-olmadığını bildirir. Əgər skaner kataloqun qadağan edildiyini görsə, o zaman həmin direktivə hörmət edəcək və həmin yoldakı məzmunu ötürəcək. Bu, xüsusilə skanerlərin daxili axtarış nəticələri, müvəqqəti enmə səhifələri və ya şəxsi idarəetmə panelləri kimi əlaqəsiz səhifələrə vaxt itirməsinin qarşısını almaq üçün faydalıdır. Unutmaq olmaz ki, bu fayl həssas məlumatlar üçün təhlükəsizlik tədbirindən daha çox yaxşı davranışlı botlar üçün bələdçi rolunu oynayır.
Böyük bir veb-saytı idarə etdiyiniz zaman indeksləşdirilməsinə ehtiyac olmayan minlərlə səhifəniz ola bilər. Düzgün robots.txt faylı olmadan skanerlər vaxtlarını təkrarlanan məzmunu emal etməklə keçirə bilər ki, bu da tarama büdcənizi tükədə bilər. Bu qeyri-vacib zonalara girişi məhdudlaşdırmaqla siz axtarış sistemlərini yüksək keyfiyyətli, ictimaiyyətə açıq səhifələrinizə üstünlük verməyə təşviq edirsiniz. Məsələn, məzmunla zəngin xəbər saytı üçün tipik hesab ictimaiyyət üçün nəzərdə tutulmayan inkişaf mühitlərinə və ya arxiv qovluqlarına girişi bloklamaq üçün bu fayldan istifadə edə bilər. Bu, skanerin faktiki olaraq trafik yaradan məqalələrə diqqət yetirməsini təmin edir.
Robots.txt faylını necə düzgün format etmək olar?
Robots.txt faylının formatlanması təlimatların bütün əsas axtarış sistemləri tərəfindən başa düşülməsini təmin etmək üçün xüsusi sintaksis qaydalarına ciddi riayət etməyi tələb edir. Faylın adı məhz robots.txt olmalı və saytınızın ən yüksək səviyyəli kataloqunda yerləşdirilməlidir. O, yazılar adlanan bloklardan ibarətdir, h biri User-agent sətrindən və ondan sonra bir və ya bir neçə Disallow və ya Allow direktivindən başlayır. Əgər siz yazım səhvi etsəniz və ya səhv aralıqdan istifadə etsəniz, skaner təlimatlarınıza məhəl qoymaya bilər və ya onları səhv şərh edə bilər ki, bu da şəxsi faylların təsadüfən indekslənməsinə və ya vacib səhifələrin təsadüfən bloklanmasına səbəb ola bilər.
- User-agent: Bu, Google üçün Googlebot və ya bütün botlar üçün * kimi qaydanın hansı bota aid olduğunu müəyyən edir.
- Disallow: Bu əmr skanerə saytınızdakı müəyyən fayla və ya qovluğa daxil olmamağı bildirir.
- Allow: Bu əmr skanerlərə müəyyən alt kataloqa baş çəkməyə imkan verən əvvəlki icazə verilməməsi qaydasına istisna verir.
- Sitemap: Bu sətir skanerləri bütün vacib səhifələrinizi kəşf etməyə kömək edən XML sayt xəritəsi faylına yönəldir.
Niyə bu faylı veb saytınız üçün istifadə etməlisiniz?
Robots.txt faylından istifadə saytınızın axtarış nəticələrində mövcudluğuna nəzarəti qorumağa kömək edir. Ev əşyaları satan Shopify mağazası işlədirsinizsə, ehtimal ki, dublikat məzmun problemləri yaradan bir çox filtr əsaslı URL-ləriniz var. Filtrləri robots.txt faylınız vasitəsilə bloklamaqla siz konversiyalar üçün ən vacib olan məhsul səhifələrinə diqqət yetirirsiniz. Bu təcrübə həm də botun məlumat bazanıza etdiyi lazımsız sorğuların sayını azaltmaqla server gərginliyinin qarşısını alır. Sadə bir vasitədir, lakin səmərəlilik və server resurslarının idarə edilməsi baxımından əhəmiyyətli faydalar təklif edir.
Bundan əlavə, bu fayl saytınızın sağlam saxlanmasının vacib hissəsidir. Səhnələşdirmə saytınız və ya sınaq mühitiniz varsa, bölünmüş reytinqlərdən və ya bitməmiş işin indekslənməsindən qaçmaq üçün onu həmişə axtarış sistemlərindən kənarlaşdırmalısınız. Ümumi nümunə sayt tikinti mərhələsində olarkən bütün inkişaf yolunu ləğv etməkdir. Bu, axtarış nəticələrinizi təmiz saxlayır və ziyarətçilərinizin yalnız bitmiş, canlı məzmun tapmasını təmin edir. Həmişə direktivlərinizi sadə saxlayın və faylı daha sonra saxlamaq çətin ola biləcək lazımsız qaydalarla həddən artıq mürəkkəbləşdirməkdən çəkinin.
Alien Road robots.txt konfiqurasiyalarını necə tətbiq edir
Alien Road olaraq, müştərilərimiz üçün robots.txt faylını qurarkən və ya yoxlayarkən ardıcıl prosesə əməl edirik. Saytın hansı sahələrinin şəxsi olmalı, hansıların isə tarama üçün açıq qalmalı olduğunu müəyyən etmək üçün texniki auditlə başlayırıq. Problemlərə səbəb ola biləcək hər hansı sintaksis xətaları və ya ziddiyyətli direktivlər üçün cari faylı yoxlayırıq. Tipik nişan üçün biz həmçinin faylda skanerə bütün yüksək dəyərli səhifələri müəyyən etməkdə kömək etmək üçün XML sayt xəritəsinə istinad olmasını təmin edirik. Bu mütəşəkkil yanaşma axtarış botlarının izləməsi üçün aydın yol xəritəsini təmin etməyimizi təmin edir.
Audit başa çatdıqdan sonra botların dəyişikliklərlə necə əlaqə saxladığını görmək üçün rəsmi axtarış konsolu vasitələri vasitəsilə tarama davranışına nəzarət edirik. Əgər müəyyən səhifələrin çox tez-tez və ya kifayət qədər tarandığını müşahidə etsək, direktivləri müvafiq olaraq tənzimləyirik. Bu iterativ proses nəyin indeksləndiyinə ciddi nəzarət etməklə saytın görünməsini optimallaşdırmağa imkan verir. Biz təxmin etmirik; direktivlərin tam olunduğu kimi işləməsini təsdiqləmək üçün mövcud alətlərdən istifadə edirik və ümumi axtarış strategiyası üçün sabit təməl təmin edirik.
Robots faylını yaradற்கen ümumi səhvlər
Bir çox sayt sahibi robots.txt faylından səhifələri axtarış nəticələrindən gizlətmək üsulu kimi istifadə etmək səhvinə yol verir. Bilmək vacibdir ki, fayl taramanın qarşısını alsa da, başqa yerdən əlaqəlidirsə, səhifənin indeksdən kənarlaşdırılacağına zəmanət vermir. Axtarış nəticələrində görünməməli olan şəxsi məzmununuz varsa, əvəzinə noindex etiketlərindən istifadə etməlisiniz. Robots.txt faylı məxfilik və ya təhlükəsizlik üçün deyil, skaner girişini idarə etmək üçündür. Həssas məlumatları gizlətmək üçün bu fayla etibar etmək şəxsi məlumatların axtarış siyahılarında üzə çıxmasına səbəb ola biləcək ümumi xətadır.
- CSS və ya JavaScript fayllarının bloklanması: Səhifələrinizin dizaynını və tərtibatını başa düşmək üçün skanerlərə bunlar lazımdır.
- Yanlış simvol qutusu: Direktivlər həssasdır, ona görə də həmişə standart formatlaşdırmaya əməl edin.
- Wildcard-lardan səhv istifadə etmək: Ulduz (*) və dollar işarəsinin ($) necə işlədiyini başa düşdüyünüzə əmin olun.
- Faylı yeniləməyi unutmaq: Saytınız böyüdükcə köhnə qaydalar köhnəlmiş və ya məhdudlaşdırıcı ola bilər.
Robots.txt faylını necə sınamaq olar?
Robots.txt faylınızın sınaqdan keçirilməsi canlı saytınızda dəyişikliklər etməzdən əvvəl vacib addımdır. Qaydalarınızı yoxlamaq üçün müxtəlif onlayn sınaq alətlərindən və ya Google Search Console tərəfindən təmin edilən quraşdırılmış xüsusiyyətlərdən istifadə edə bilərsiniz. Bu alətlər xüsusi URL-lərin bloklanıb-bloklanmadığını və ya skaner üçün əlçatan olub-olmadığını görmək üçün onları daxil etməyə imkan verir. Konfiqurasiyalarınızı sınamaklısınız ki, bütün ana səhifənizi və ya bütün məhsul kateqoriyalarınızı təsadüfən bloklamaq kimi potensial fəlakətli səhvlərin orqanik trafikinizə təsir etməməsi üçün onları tuta bilərsiniz.
Saytınızın arxitekturasında hər hansı əsas yeniləmə etdikdən və ya fayl strukturunu dəyişdikdən sonra həmişə sınaqdan keçirin. Veb saytınıza yeni bölmə əlavə edirsinizsə, yeni URL-lərin mövcud qaydalar tərəfindən bloklanmadığından əmin olmaq üçün faylı yoxlayın. Sistematik nəzərdən keçirmə prosesi saytınızı hər zaman əlçatan və indekslənə bilən saxlamağa kömək edir. Unutmayın ki, bu fayla edilən dəyişikliklər axtarış sistemlərində yayılması üçün bir müddət tələb edə bilər, ona görə də yeniləmələrinizi yerləşdirdikdən sonra səbir tələb olunur.
Bu həftə haradan başlamaq lazımdır
Siz bu həftə brauzerinizə /robots.txt izləyən domenini daxil etməklə tapıla bilən cari robots.txt faylınızı yoxlamaqla başlamalısınız. Mövcud qaydaların cari sayt strukturunuza hələ də uyğun olub-olmadığını yoxlayın. Əgər hər hansı çaşdırıcı sətir və ya məqsədə xidmət etməyən qaydalar tapsanız, faylı sadələşdirmək üçün təmizlik həyata keçirin. Hələ sayt xəritəsinə istinad yaratmamısınızsa, skanerlərə məzmununuzda effektiv şəkildə naviqasiya etməyə kömək etmək üçün XML sayt xəritənizə keçid əlavə edin. Bu düzəlişləri etdikdən sonra hər şeyin düzgün olduğundan və axtarış sistemlərinə hazır olduğundan əmin olmaq üçün faylı yenidən sınayın.
Böyük bir sayt idarə edirsinizsə və texniki parametrlərdən narahatsınızsa, irəliləyişinizi izləmək üçün etdiyiniz hər bir dəyişikliyi sənədləşdirin. Robots.txt parametrlərinizlə əlaqəli ola biləcək hər hansı tarama xətalarını yoxlamaq üçün axtarış konsolundan istifadə edin. Bu tapşirığa bu həftə yalnız bir saat sərf etməklə, saytınızın tarama səmərəliliyini artara və mövcud tarama büdcənizdən maksimum yararlandığınızdan əmin ola bilərsiniz. Bu, qabaqcıl kodlaşdırma biliklərinə ehtiyac duyulmadan uzunmüddətli axtarış sisteminin optimallaşdırılması səylərinizi dəstəkləməyin praktik yoludur.
Oxumağa davam et: SEO (axtarış sistemi optimallaşdırması) · SEO