Robots txt faylınızı necə optimallaşdırmaq olar

Robots.txt faylı, Googlebot və ya Bingbot kimi axtarış motoru botları üçün ilk əlaqə nöqtəsi rolunu oynayan sadə bir sənəddir. Bir bot saytınıza gəldikdə, evin qaydalarını başa düşmək üçün bu faylı yourdomain.com/robots.txt ünvanında axtarır. Bu faylın əsas istifadəsi crawl trafikini idarə etmək və serverinizin eyni anda çoxlu sorğu ilə yüklənməsinin qarşısını almaqdır. Bu, xüsusilə səhifələrin sayı minlərlə və ya milyonlarla olduqda, saytın sağlamlığını qorumağa kömək edən texniki SEO-nun standart bir hissəsidir.

Google Search Central-a görə, robots.txt direktivləri axtarış motoru botlarına saytınızda hansı URL-lərə daxil ola biləcəklərini bildirir, lakin bu, başqa yerdən keçid verildiyi təqdirdə veb səhifənin indekslənməsinin qarşısını almır. Bu, bir çox sayt sahibi üçün ümumi çaşqınlıq nöqtəsidir. Əgər bir səhifə robots.txt-də bloklanıbsa, lakin ona xarici keçidlər varsa, Google yenə də URL-i axtarış nəticələrində təsvir fraqmenti olmadan göstərə bilər. Buna görə də, bu fayl həssas məlumatlar üçün ciddi təhlükəsizlik və ya indeksdən çıxarma vasitəsi kimi deyil, crawl idarəetmə vasitəsi kimi nəzərdən keçirilməlidir.

Yalnız bir neçə onlarla səhifəsi olan kiçik veb saytlar üçün robots.txt daha az vacib görünə bilər, lakin daha böyük qurumlar üçün bu, möhkəm SEO strategiyasının əsas komponentidir. Böyük veb saytlar tez-tez müxtəlif URL parametrləri, hazırlıq mühitləri və indekslənməsinə ehtiyac olmayan daxili axtarış nəticələri səhifələri ilə mürəkkəb strukturlara malikdir. Aydın təlimatlar verməklə, axtarış motorlarına ən vacib məzmununuzu daha sürətli tapmağa kömək edirsiniz. Bu, daha səmərəli indekslənməyə gətirib çıxarır və son yeniləmələrinizin axtarış nəticələrində mümkün qədər tez əks olunmasını təmin edir.

Robots.txt faylının strukturu, botların əmrləri başa düşməsi üçün dəqiq şəkildə izlənilməli olan xüsusi sintaksisi izləyir. Fayl qruplara bölünür, hər biri aşağıdakı qaydaların hansı bota aid olduğunu göstərən User-agent sətri ilə başlayır. User-agent-dən sonra sərhədləri müəyyən etmək üçün Disallow və Allow direktivlərindən istifadə edirsiniz. Tipik bir fayl bütün botları müəyyən bir qovluqdan bloklaya və ya yalnız müəyyən botların müəyyən sahələrə daxil olmasına icazə verə bilər. Bu formatlamada dəqiqlik çox vacibdir, çünki bir yanlış yerləşdirilmiş simvol təsadüfən bütün saytınızın axtarış nəticələrində görünməsinin qarşısını ala bilər.

• User-agent: Bu, qaydanın hansı bota aid olduğunu müəyyən edir, məsələn, bütün botlar üçün * və ya xüsusilə Google üçün Googlebot.
• Disallow: Bu, bota hansı qovluqlara və ya fərdi səhifələrə daxil olmamalı olduğunu bildirir.
• Allow: Bu, bota daha böyük bloklanmış qovluq daxilində müəyyən bir səhifəyə və ya alt qovluğa daxil ola biləcəyini bildirir.
• Sitemap: Bu, botların bütün məzmununuzu tapmasına kömək etmək üçün XML sitemap-ınıza tam URL yolunu təmin edir.
• Crawl-delay: Google bunu nəzərə almasa da, Bing kimi bəzi botlar ziyarət tezliyini yavaşlatmaq üçün istifadə edir.

Bu direktivləri yazarkən daha çevik qaydalar yaratmaq üçün joker simvollardan istifadə edə bilərsiniz. Ulduz işarəsi (*) istənilən simvollar ardıcıllığı üçün joker rolunu oynayır, dollar işarəsi ($) isə URL-in sonunu göstərir. Məsələn, .pdf kimi xüsusi fayl genişlənməsi ilə bitən bütün URL-ləri bloklamaq istəyirsinizsə, Disallow: /*.pdf$ kimi bir qaydadan istifadə edərdiniz. Bu təfərrüat səviyyəsi, hər bir URL-i əl ilə siyahıya almağa ehtiyac olmadan avtomatlaşdırılmış sistemlərin sayt məzmununuzu necə qəbul etdiyinə və onunla necə qarşılıqlı əlaqədə olduğuna dair mürəkkəb nəzarətə imkan verir.

Xaric ediləcək düzgün səhifələri müəyyən etmək robots.txt optimallaşdırmasında əsas addımdır. Ümumi bir nümunə, WordPress-də /wp-admin/ qovluğu və ya xüsusi quruluşlarda /admin/ yolu kimi inzibati sahələri bloklamaqdır. Bu səhifələr axtarış edənlər üçün heç bir dəyər təqdim etmir və bəzən ictimai botlardan gizli saxlamaq istədiyiniz sayt strukturunuz haqqında məlumatları ifşa edə bilər. Eynilə, daxili axtarış nəticələri səhifələri tez-tez axtarış motorlarının indeksləməsi üçün unikal məzmun təmin etmədən crawl büdcənizi tükəndirə bilən sonsuz sayda unikal URL yaradır.

E-ticarət saytları tez-tez çoxşaxəli naviqasiya və filtr parametrləri ilə bağlı çətinliklərlə üzləşirlər. Məsələn, bir Shopify mağazasının rəng, ölçü və qiymət filtrlərinə əsasən eyni məhsul kateqoriyası üçün minlərlə URL variasiyası ola bilər. Əgər axtarış botları hər bir variasiyanı crawl edərsə, onlar heç vaxt faktiki məhsul səhifələrinizə çatmaya bilərlər. Belə hallarda, sorğu parametrlərini robots.txt faylınızda bloklamaq botları əsas kateqoriya və məhsul səhifələrinizə yönəltmək üçün etibarlı bir yoldur. Bu, ən vacib açılış səhifələrinizin keçid kapitalını və reytinq potensialını qorumağa kömək edir.

Bundan əlavə, müvəqqəti faylları, log fayllarını və hazırlıq mühitlərini bloklamağı düşünməlisiniz. Əgər dev.yourdomain.com ünvanında saytınızın inkişaf versiyası varsa, dublikat məzmun problemlərinin qarşısını almaq üçün o, ideal olaraq bloklanmalı və ya parolla qorunmalıdır. Robots.txt parol üçün əvəzedici olmasa da, faydalı bir ilk müdafiə xətti kimi xidmət edir. Üstəlik, səhifənin vizual göstərilməsinə töhfə verməyən skriptləri və ya API son nöqtələrini bloklamaq crawl prosesini daha da sadələşdirə və ağır bot fəaliyyəti zamanı server yükünü azalda bilər.

SEO-da ən çox edilən səhvlərdən biri Disallow-un Noindex demək olduğunu güman etməkdir. Google Search Central tərəfindən bildirildiyi kimi, əgər URL robots.txt-də bloklanıbsa, Googlebot məzmununu oxumaq üçün həmin səhifəyə daxil olmayacaq. Lakin, əgər həmin səhifəyə başqa bir veb saytdan və ya hətta öz saytınızın bloklanmamış başqa bir hissəsindən keçid verilibsə, Google hələ də URL-i kəşf edə bilər. Bot səhifəni oxuya bilmədiyi üçün məzmunun nə olduğunu bilməyəcək, lakin səhifənin mövcud olduğunu bilir və xarici keçidlərin lövbər mətni əsasında onu indeksləyə bilər.

Bir səhifənin Google indeksindən tamamilə silindiyinə əmin olmaq üçün səhifənin öz HTML-ində meta noindex teqindən və ya HTTP başlığında X-Robots-Tag-dən istifadə etməlisiniz. Bir məqam var: əgər bir səhifəni robots.txt-də bloklasanız və həmin səhifəyə noindex teqi əlavə etsəniz, bot noindex teqini heç vaxt görməyəcək, çünki ona səhifəyə daxil olmaq qadağandır. Buna görə də, bir səhifəni indeksdən çıxarmaq üçün düzgün ardıcıllıq crawl-a icazə vermək, noindex teqini əlavə etmək, Google-un crawl etməsini və səhifəni silməsini gözləmək və yalnız bundan sonra lazım gələrsə, onu robots.txt-də bloklamağı düşünməkdir.

Crawl büdcəsi, Googlebot-un müəyyən bir vaxt çərçivəsində saytınızda crawl etdiyi səhifələrin sayıdır. Bir neçə yüz səhifəsi olan tipik bir hesab üçün crawl büdcəsi nadir hallarda problem yaradır. Lakin, yüz minlərlə URL-i olan nəhəng veb saytlar üçün bu büdcəni idarə etmək SEO uğurunun əsas amilidir. Əgər Googlebot vaxtını aşağı keyfiyyətli və ya dublikat səhifələri crawl etməyə sərf edirsə, o, yeni məzmununuzu və ya mövcud yüksək dəyərli səhifələrinizdəki yeniləmələri qaçıra bilər. Robots.txt trafik nəzarətçisi kimi çıxış edərək, botun enerjisinin düzgün yerlərə sərf olunmasını təmin edir.

Saytınızın müəyyən bölmələrini prioritetləşdirmək üçün robots.txt-dən istifadə edə bilərsiniz. Əsas məhsul kateqoriyalarınıza girişi icazə verməklə və istifadəçi profilləri və ya köhnə arxivlər kimi daha az vacib bölmələri bloklamaqla, botu ən vacib səhifələrə effektiv şəkildə yönəldirsiniz. Google Search Console-da ‘Crawl Stats’ hesabatınızı izləmək, botların əhəmiyyətsiz yollara çox vaxt sərf edib-etmədiyini göstərə bilər. Robots.txt-ni bu məlumatlara əsasən tənzimləmək, domeniniz üzrə crawl resurslarının daha səmərəli paylanmasına gətirib çıxara bilər.

Alien Road, strukturlaşdırılmış texniki SEO çərçivəsinə riayət edərək geniş miqyaslı veb mülklərinin crawl səmərəliliyini idarə edir. Prosesimiz, axtarış botlarının vaxtlarını tam olaraq harada keçirdiklərini görmək üçün ətraflı log faylı təhlili ilə başlayır. Məsələn, yüksək həcmli e-ticarət saytı üçün tipik bir iş, Googlebot-un vaxtının 40%-ni indekslənməyə ehtiyacı olmayan süzülmüş məhsul səhifələrinə sərf etdiyini aşkar edə bilər. Alien Road daha sonra bu sorğu parametrlərini bloklamaq üçün robots.txt faylını yeniləyir və axtarış motorunun biznes üçün gəlir gətirən yüksək prioritetli səhifələrə diqqət yetirməsini təmin edir.

Tətbiqdən sonra Alien Road, israf edilmiş crawl sorğularının azaldığını yoxlamaq üçün Google Search Console-dakı ‘Crawl Stats’ hesabatı vasitəsilə nəticələri izləyir. Biz həmçinin yeni sayt xüsusiyyətlərinin və ya bölmələrinin təsadüfən crawl tələləri yaratmadığından əmin olmaq üçün müntəzəm auditlər aparırıq. Sayt strukturları yeniləmələr zamanı tez-tez dəyişdiyi üçün bu davamlı texniki xidmət xidmətimizin standart bir hissəsidir. Təmiz və səmərəli robots.txt faylını qorumaqla, müştərilərimizə ümumi axtarış performansını və görünürlüyünü dəstəkləyən güclü texniki təməl saxlamağa kömək edirik.

Robots.txt fayllarındakı ümumi səhvlər saytın performansına əhəmiyyətli dərəcədə mənfi təsir göstərə bilər. Tez-tez edilən bir səhv, universal User-agent (*) altında Disallow: / istifadə edərək bütün saytı bloklamaqdır. Bu, çox vaxt sayt miqrasiyaları zamanı və ya tərtibatçı hazırlıq mühitindən canlı istehsala keçdikdən sonra bloku silməyi unutduqda baş verir. Digər bir səhv CSS və JavaScript fayllarını bloklamaqdır. Googlebot səhifələrinizin tərtibatını və məzmununu başa düşmək üçün onları render etməlidir, buna görə də bu aktivləri bloklamaq zəif reytinqlərə və ya mobil uyğunluq problemlərinə səbəb ola bilər.

• Böyük-kiçik hərf həssaslığı: Unutmayın ki, /Admin/ və /admin/ bir çox bot tərəfindən fərqli yollar kimi qəbul edilir.
• Yanlış sitemap yolu: Tam URL (https:// daxil olmaqla) əvəzinə nisbi yol təmin etmək səhvlərə səbəb ola bilər.
• Direktivlərin ardıcıllığı: Botlar ümumiyyətlə URL-ə uyğun gələn ən spesifik qaydaya əməl edirlər, lakin ardıcıllıq mürəkkəb fayllarda hələ də çaşqınlıq yarada bilər.
• Lazımi resursları bloklamaq: Robots.txt-inizin istifadəçi təcrübəsi üçün vacib olan şəkilləri və ya skriptləri bloklamadığından əmin olun.
• Təhlükəsizlik üçün istifadə etmək: Həssas məlumatları gizlətmək üçün heç vaxt robots.txt-dən istifadə etməyin, çünki fayl ictimaidir və hər kəs tərəfindən oxuna bilər.

Bu problemlərdən qaçmaq üçün hər hansı dəyişikliyi canlı etməzdən əvvəl sınaqdan keçirmək yaxşı təcrübədir. Google, Search Console-un köhnə versiyasında Googlebot-un qaydalarınızı necə şərh etdiyini görməyə imkan verən Robots.txt Tester alətini təqdim edir. Cari faylınıza əsasən bloklanıb-bloklanmadıqlarını görmək üçün xüsusi URL-ləri daxil edə bilərsiniz. Bu, təsadüfi blokları trafikinizə təsir etməzdən əvvəl tutmağa kömək edir. Faylınızı yourdomain.com/robots.txt ünvanına daxil olaraq əl ilə yoxlamaq da faylın düzgün yükləndiyini və gözlənilən direktivləri ehtiva etdiyini yoxlamaq üçün sadə bir yoldur.

Başlamağın ən yaxşı yolu cari faylınızın sürətli auditini aparmaqdır. Brauzerinizi açın və hazırda hansı qaydaların tətbiq olunduğunu görmək üçün yourdomain.com/robots.txt ünvanına keçin. Əgər faylın boş olduğunu və ya çatışmadığını görsəniz, sitemap-ınıza keçid olan əsas birini yaratmaq ilk addımdır. Vacib səhifələri və ya temanızın CSS və JS qovluqları kimi aktivləri bloklaya biləcək Disallow sətirlərini yoxlayın. Əgər başa düşmədiyiniz qaydalar görsəniz, onların məqsədini araşdırın və ya cari sayt strukturunuz üçün hələ də lazım olduqlarından əmin olmaq üçün texniki SEO mütəxəssisi ilə məsləhətləşin.

Sonra, Google Search Console-a keçin və ‘Settings’ menyusu altında ‘Crawl Stats’ hesabatına baxın. Botun çoxlu parametrləri olan URL-lərə və ya mövcud olmayan yollara baş çəkdiyi hər hansı nümunəni axtarın. Əgər SEO dəyəri təqdim etməyən səhifələr üçün minlərlə sorğu tapsanız, həmin yolları bloklamaq üçün Disallow direktivindən istifadə edə bilərsiniz. Robots.txt-də kiçik, artan dəyişikliklər axtarış motorlarının saytınızı zamanla necə qəbul etdiyini və indekslədiyini əhəmiyyətli dərəcədə yaxşılaşdıra bilər. Müntəzəm monitorinq crawl büdcənizin biznesinizi böyüdən məzmuna yönəldilməsini təmin edəcəkdir.

Oxumağa davam edin: SEO (Axtarış Motoru Optimizasiyası) · SEO