Robots.txt tarama büdcəsinin optimallaşdırılması axtarış botlarının vaxtlarını ən dəyərli səhifələrinizə sərf etmələrini təmin etmək üçün robots.txt faylınızda təqdim olunan təlimatların təkmilləşdirilməsini nəzərdə tutur. Axtarış mövcudluğunuza töhfə verməyən qovluqlara girişin qarşısını alaraq, Google-un əlaqəsiz məzmuna emal gücünü israf etməsinin qarşısını alırsınız. Bu proses server sabitliyini qorumağa kömək edir və vacib səhifələrin daha səmərəli şəkildə kəşf edilməsini və indekslənməsini təmin edir.
Bu direktivlərin idarə edilməsi dərin memarlığa malik böyük saytlar üçün zəruri tapşırıqdır. Minlərlə URL dinamik filtrlər və ya axtarış parametrləri tərəfindən yaradıldıqda, tarama büdcəsi istifadəçilərə heç bir unikal dəyər təqdim etməyən səhifələr tərəfindən sürətlə tükənə bilər. Aydın sərhədlər təyin etməklə, skaneri üzvi trafik yaradan səhifələr olan məhsul səhifələrinizə, məqalələrinizə və kateqoriya mərkəzlərinizə yönəldirsiniz.
Niyə skaner girişinin idarə edilməsi server performansı üçün vacibdir?
Axtarış sistemi skanerlərinin domeninizə sərf etmək üçün məhdud vaxtı və resursları var. Saytda fasetli naviqasiya nəticələri və ya müvəqqəti sessiya səhifələri kimi minlərlə az dəyərli URL olduqda, skaner əsas məzmununuz əvəzinə bunları emal etməkdə qala bilər. Bu trafiki idarə etmək serverinizin cavab müddətinin sabit qalmasını təmin edir və indeksi həqiqətən trafik gətirən səhifələrə yönəldir.
Serveriniz əsaslı olmayan səhifələr üçün sorğularla daim bombardman edilərsə, real insan istifadəçilər üçün saytınızın sürəti pisləşə bilər. Yaxşı konfiqurasiya edilmiş robots.txt faylı trafiki idarə edən kimi çıxış edir və bota saytın hansı hissələrinin məhdud resurslarına layiq olmadığını bildirir. Bu balans böyük verilənlər bazalarına ev sahibliyi edən və ya məzmunu tez-tez yeniləyən saytlar üçün xüsusilə vacibdir.
Milyonlarla mümkün məhsul variantı olan böyük bir e-ticarət mağazasını nəzərdən keçirək. Aydın direktivlər olmadan, skaner rəng, ölçü və çeşidləmə qaydasının hər bir tək birləşməsini indeksləşdirməyə cəhd edə bilər. Bu, Google-un yüksək keyfiyyətli kateqoriya səhifələrinizdən daha çox dublikat məzmuna vaxt sərf etdiyi şişirdilmiş indeksə gətirib çıxarır. Robots.txt-də bu parametrləri bloklamaqla siz skaneri məhsullarınızın kanonik, SEO dostu versiyalarına üstünlük verməyə məcbur edirsiniz.
Robots.txt faylı axtarış sistemi skanerlərinə skanerin saytınızda hansı URL-lərə daxil ola biləcəyini bildirir.
Google Search Central
Qaçınılması lazım olan ümumi robots.txt sintaksis səhvləri hansılardır?
Sintaksis səhvləri çox vaxt direktivlər səhv formatlandıqda və ya qrup sıralamasına məhəl qoyulmadıqda baş verir. Qayda təhlilçi tərəfindən səhv şərh edilərsə, bot təlimatlarınıza tamamilə məhəl qoymaya bilər və bu, şəxsi və ya az dəyərli qovluqların qəsdən taramasına səbəb ola bilər. Bu ümumi tələlərdən qaçmaq üçün həmişə fayl strukturunuzu yoxlamalısınız.
Bir çox sayt sahibi admin qovluqlarına girişi məhdudlaşdırmağa çalışarkən təsadüfən vacib CSS və ya JavaScript fayllarını bloklayır. Bu, Google-un səhifəni render etməsinin qarşısını alır ki, bu da səhifənin necə başa düşüldüyünə və sıralandığına mənfi təsir göstərə bilər. Əsas aktivləri öz şəbəkəsində tuta biləcək geniş şablonlardan qaçaraq qaydalarınızın mümkün qədər xüsusi olmasını təmin etmək üçün həmişə sınaqdan keçirin.
Tez-tez baş verən səhvlərdən biri səhv qrupda ‘Allow’ və ‘Disallow’ direktivlərindən səhv istifadədir. Hər bir qaydalar qrupu xüsusi istifadəçi agentləri üçün aydın şəkildə müəyyən edilməlidir. Faylın yuxarı hissəsində geniş ‘Disallow: /’ qoysanız, istəmədən bütün saytını hər bir bot üçün bloklaya bilərsiniz. Nümunələrinizin nəzərdə tutulmuş qovluq strukturuna dəqiq uyğun gəlməsini təmin etmək üçün yol sintaksisinizi həmişə rəsmi sənədlərlə iki dəfə yoxlayın.
- Xüsusi qovluqların xaric edilməsinin qarşısını alan yol bəyannamələrində yazım səhvləri.
- Səhv qrup sıralaması səhv qaydaların xüsusi istifadəçi agentlərinə tətbiq olunmasına səbəb olur.
- Google-un səhifələrinizi düzgün şəkildə render etməsinə mane olan əsas resursların həddindən artıq bloklanması.
- Skanerin bütün mətn faylına məhəl qoymamasına səbəb olan etibarsız simvollar.
Tarama büdcəsinin səmərəsizliyini necə müəyyən edə bilərsiniz?
Optimallaşdırmağa başlamaq üçün botların server loqlarınızla necə qarşılıqlı əlaqədə olduğunu izləməlisiniz. Skanerlərin sayt strukturunuza az dəyər təqdim edən minlərlə URL tələb etdiyi nümunələri axtarın. Bu nümunələr müəyyən edildikdən sonra fəaliyyəti dayandırmaq üçün xüsusi qadağan qaydaları yaza bilərsiniz.
Server loqlarının təhlili əsaslandırılmış qərarlar qəbul etmək üçün lazımi xam məlumatları təmin edir. Dinamik filtrlərə (məsələn, ?color=red&size=large) toxunan yüksək həcmdə sorğular fark etsəniz, skanerə həmin xüsusi parametrlərə məhəl qoymamağı tapşıra bilərsiniz. Bu, hər hansı texniki SEO mütəxəssisi üçün arzu olunan nəticə olan skaneri səhifələrinizin təmiz, kanonik versiyalarına yönəldir.
Bu göstəriciləri zamanla izləmək tarama sağlamlığınızın dəqiq qiymətləndirilməsinə imkan verir. Əgər tarama sürətinizin yüksək qaldığını, lakin üzvi trafikinizin artmadığını görsəniz, bu, botun səhv yerlərə baş çəkdiyinin əlamətidir. Axtarış nəticələrində həqiqətən sıralamaq istədiyiniz səhifələrlə daxil olunan URL-ləri çarpaz istinad etmək üçün Skan Statistikası hesabatından istifadə edin.
Mövcud konfiqurasiyanızı yoxlamaq üçün addımlar
- Googlebot-dan yüksək tezlikli sorğuları müəyyən etmək üçün server loqlarını nəzərdən keçirin.
- Artıq URL parametrlərini və ya sessiya ID-lərini tapmaq üçün sayt strukturunuzu təhlil edin.
- Google Search Console-da robots.txt tester alətindən istifadə edərək təklif olunan dəyişikliklərinizi sınayın.
- Sorğularda azalmanın baş verib-şərtlənmədiyini görmək üçün Search Console-da tarama statistikası hesabatlarını izləyin.
Alien Road bunu necə tətbiq edir
Alien Road-da biz hər bir layihəyə əvvəlcə sayt memarlığını xəritələşdirməklə yanaşırıq. Biz həddindən artıq taramanın baş verdiyi texniki darboğazları müəyyən edirik və yüksək dəyərli məzmuna üstünlük vermək üçün robots.txt faylını təmizləyirik. Tipik əməkdaşlıq üçün biz direktivlərimizin axtarış sistemlərinin faktiki davranışına uyğun olmasını təmin etmək üçün server loqlarını nəzərdən keçiririk, saytı incə və səmərəli saxlamaq üçün qaydaları tənzimləyirik.
Komandamız ciddi audit protokoluna əməl edir. Biz botun nəyə məhəl qoymamasını müəyyən edirik, sonra heç bir kritik resursun bloklanmamasını təmin etmək üçün bu dəyişiklikləri səhnələşdirmə mühitində yoxlayırıq. Biz həmçinin dörd həftəlik müddət ərzində Search Console-da tarama statistikası hesabatını izləməklə bu dəyişikliklərin təsirini sənədləşdiririk. Bu, botun əsas prioritetli səhifələrə daha çox vaxt sərf etdiyini sübut etməyə imkan verir ki, bu da müştərilərimiz üçün daha yaxşı indeks əhatə dairəsinə səbəb olur.
Bir müştəri üçün son audit zamanı biz aşkar etdik ki, tarama büdcəsinin 40%-i köhnəlmiş irs URL-lərinə israf edilib. Hədəflənmiş Disallow direktivini tətbiq etməklə biz botun diqqətini yeni məhsul kataloquna yönəltdik. Bu tənzimləmə yeni məzmunun daha sürətli kəşfinə və rəqabətli açar sözlər üçün təkmilləşdirilmiş reytinq sabitliyinə səbəb oldu.
Bu həftə haradan başlamaq lazımdır
Google Search Console-dan tarama statistikanızı endirməklə başlayın. Google-un HTML olmayan məzmuna və ya dinamik URL yollarına həddindən artıq vaxt sərf edib-etmədiyini görmək üçün ‘Fayl növünə görə’ və ya ‘Məqsədə görə’ nişanlarına diqqət yetirin. Bu sahələri müəyyən etdikdən sonra robots.txt yeniləmələrinizi layihələndirin və onları serverinizdə canlı yayımlamazdan əvvəl sınaq alətində yoxlayın.
Tətbiqdən sonra bloklanmış qovluqlar üçün tarama sorğularının azalmasını təsdiqləmək üçün 48 saatdan sonra server loqlarınızı yenidən yoxlayın. Əgər skanerin diqqətini əsas səhifələrinizə yönəltdiyini görsəniz, tarama büdcənizi uğurla optimallaşdırmış olursunuz. Yeni sayt xüsusiyyətlərinin tarama şişməsinə səbəb olmamasını təmin etmək üçün bu performansı aylıq olaraq izləməyə davam edin.