Veb saytınızın filtrləmə sisteminin yaratdığı xüsusi sorğu sətirlərinə uyğunlaşmaq üçün Disallow direktivindən istifadə edərək robots.txt-də parametrli URL-ləri bloklayırsınız. Bu konfiqurasiya Googlebot-un fasetli naviqasiya və ya çeşidləmə filtrləri tərəfindən yaradılanlar kimi artıq URL variasiyalarını tələb etməsinin qarşısını alır və botun öz resurslarını dublikat səhifələr əvəzinə yüksək dəyərli məzmununuza yönəltməsini təmin edir. Bu təlimatları idarə etməklə, axtarış sistemlərinin saytınızın strukturunu necə şərh etdiyinə nəzarət edirsiniz.
Niyə dinamik URL-lərə bot girişini məhdudlaşdırmalısınız?
Axtarış sistemi botları server sürətinə və sayt nüfuzuna əsasən istənilən veb sayt üçün məhdud vaxt və resurs ayırır. Sayt strukturu filtrlər vasitəsilə minlərlə unikal URL yaratdıqda, bot ayrılmış büdcəsini istifadəçilərə heç bir unikal dəyər təqdim etməyən səhifələrə sərf edə bilər. Bu direktivlərin idarə edilməsi dərin arxitekturalı böyük saytlar üçün zəruri tapşırıqdır.
Dinamik filtrlər və ya axtarış parametrləri tərəfindən minlərlə URL yaradıldıqda, tarama büdcəsi istifadəçilərə heç bir unikal dəyər təqdim etməyən səhifələr tərəfindən tez bir zamanda tükənə bilər.
Google Search Central
Əgər serveriniz dinamik filtr variasiyaları üçün sorğularla daim bombardman edilirsə, gecikmənin artdığını və ya server yükünün yüksəldiyini görə bilərsiniz. Bu, hər bir unikal sorğu parametrinin, məzmun funksional olaraq başqa bir səhifə ilə eyni olsa belə, serveri sorğunu emal etməyə məcbur etdiyi üçün baş verir. Bu yolları bloklamaqla siz server resurslarını qoruyursunuz, bu da Googlebot-a məhsul təfərrüat səhifələri və ya bloq məqalələri kimi əsas məzmun səhifələrinizə daha çox vaxt sərf etməyə imkan verir.
Bundan əlavə, taralanan səhifələrin sayının azaldılması axtarış indeksini təmiz saxlamağa kömək edir. Axtarış sistemləri çeşidləmə və ya filtrləmə nəticəsində yaranan yüzlərlə demək olar ki, eyni səhifəni indeksləşdirdikdə, bu, daxili kannibalizasiyaya gətirib çıxarır, burada sayt düzgün hədəf səhifəsi üçün sıralanmaqda çətinlik çəkir. Girişin məhdudlaşdırılması axtarış sistemləri üçün yüksək keyfiyyətli siqnalları qorumaq üçün proaktiv tədbirdir.
Hansı parametrlərin bloklanacağını necə müəyyən etmək olar?
robots.txt faylınızı redaktə etməzdən əvvəl indeksləmə üçün vacib olmayan sorğu parametrlərini müəyyən etməlisiniz. Ümumi namizədlərə çeşidləmə qaydaları, istifadəçi sessiya ID-ləri və ya artıq filtr kombinasiyaları daxildir. Server qeydlərinizi nəzərdən keçirərək və ya ən çox sorğu istehlak edən URL-ləri görmək üçün Search Console-dakı Tarama Statistikası hesabatından istifadə edərək URL strukturunuzu yoxlaya bilərsiniz.
- ?sort=price-asc və ya ?sort=newest kimi çeşidləmə parametrləri.
- ?utm_source= və ya ?ref= kimi izləmə parametrləri.
- Hər istifadəçi ziyarəti ilə dəyişən sessiya ID-ləri.
- Dublikat məhsul siyahıları yaradan hərtərəfli filtr kombinasiyaları.
- Boş və ya aşağı dəyərli səhifələr yaradan daxili axtarış nəticələri yolları.
Server qeydlərinizi təhlil etmək Googlebot-un əslində nə tələb etdiyinə dair ən dəqiq mənzərəni təqdim edir. Əgər müəyyən bir parametr üzrə minlərlə klik görürsünüzsə, həmin parametrin unikal səhifə məzmunu məqsədinə xidmət edib-etmədiyini yoxlayın. Əgər məzmun əsas kateqoriya səhifəsi ilə eynidirsə, həmin parametr bloklamaq üçün əsas namizəddir. Səhvən vacib indekslənə bilən səhifələri bloklamamaq üçün bu məlumatları həmişə Sitemap-ınızla çarpaz yoxlayın.
Disallow qaydalarını düzgün tətbiq etmək
robots.txt faylı URL nümunələrinə uyğunlaşmaq üçün xüsusi sintaksisdən istifadə edir. Dəqiq olmalısınız; tək bir səhv yerləşdirilmiş ulduz işarəsi bütün kateqoriyaları və ya ana səhifənizi bloklaya bilər. Googlebot-un hələ də əsas məzmununuza çata biləcəyinə əmin olmaq üçün qaydalarınızı həmişə robots.txt Tester alətindən istifadə edərək yoxlayın.
- Disallow: /*?*sort= (Bu çeşidləmə parametrini ehtiva edən bütün URL-ləri bloklayır)
- Disallow: /*?*filter= (Xüsusi kateqoriya filtr sətirlərini bloklayır)
- Disallow: /search? (Daxili axtarış nəticələri səhifələrinizi bloklayır)
- Disallow: /*?sessionid= (Dinamik sessiya identifikatoru sətirlərini bloklayır)
Sintaksis işləyən robots.txt faylının təməlidir. Wildcard (*) simvolundan istifadə müxtəlif sətirləri effektiv şəkildə uyğunlaşdırmağa imkan verir, lakin bu, ehtiyatlılıq tələb edir. Məsələn, çox geniş bir qayda qoysanız, təsadüfən Google-un render üçün tələb olunan şəkilləri və ya CSS fayllarını taramasını əngəlləyə bilərsiniz. Qaydalarınızın yalnız sorğu sətirlərini hədəf aldığından və qovluq yollarının özünü hədəf almadığından həmişə əmin olun.
Alien Road bunu necə tətbiq edir
Alien Road-da tarama büdcəsinin idarə edilməsinə yanaşmamız sayt arxitekturasının dərin auditi ilə başlayır. Tipik bir e-ticarət müştərisi üçün biz onların fasetli naviqasiyasının dinamik yolları necə yaratdığını təhlil edirik. Biz parametrləri kor-koranə bloklamırıq; biz bloklanmış URL-lərin Google-un yeni məhsulları kəşf etməsi üçün lazım olmadığını təsdiqləyirik. Problemli sətirləri müəyyən etdikdən sonra, xüsusi Disallow qaydalarını tətbiq edirik və Search Console-dakı İndeksləmə hesabatı vasitəsilə indeksləməyə təsirini izləyirik.
İşlərimizdə tez-tez köhnə izləmə parametrlərinin və ya köhnə axtarış nəticələri səhifələrinin mövcud tarama büdcəsinin böyük bir hissəsini istehlak etdiyini görürük. Biz URL nümunələrini yoxlamaqla başlayırıq, sonra robots.txt faylının təhlükəsiz versiyasını hazırlayırıq. Biz bunu staging mühitlərində kanonik teqlərin görünən qaldığını və əsas istifadəçi təcrübəsinin qorunduğunu təmin etmək üçün sınaqdan keçiririk. Qaydaları təsdiqlədikdən sonra onları ehtiyatla tətbiq edirik və server sorğularındakı dəyişikliyi izləyirik.
Qaçınılması lazım olan ümumi tələlər hansılardır?
Tez-tez edilən səhv, həyati vacib indekslənə bilən məzmunu ehtiva edən parametri bloklamaqdır. Məsələn, saytınız siyahıdakı səhifə nömrəsini müəyyən etmək üçün parametrdən istifadə edirsə (?page=2), həmin parametri bloklamaq Google-un daha dərin səhifələrdəki məhsulları kəşf etməsinə mane ola bilər. Yalnız mövcud səhifələrin artıq versiyalarını yaradan parametrləri bloklamalısınız.
Digər problem dəyişikliklərinizi Google Search Console-a bildirməməkdir. robots.txt birbaşa təlimat olsa da, əlavə siqnallar vermək üçün URL Parametri Alətindən (əgər mövcuddursa) və ya kanonik teqlərdən istifadə etməyi də düşünməlisiniz. robots.txt-dəki qaydanın mövcud URL-ləri indeksdən dərhal siləcəyini heç vaxt güman etməyin; bu, yalnız həmin xüsusi yolların gələcək taramasını əngəlləyir.
Dəyişikliklərinizin təsirini izləmək
Faylınızı yenilədikdən sonra bir neçə həftə ərzində Tarama Statistikası hesabatını izləyin. Gündəlik taralanan səhifələrin sayında azalma və əsas kateqoriya və məhsul səhifələrinizə doğru diqqətin dəyişdiyini görməlisiniz. Əgər server cavab vaxtlarınız sabitləşirsə, bu, direktivlərin nəzərdə tutulduğu kimi işlədiyinin əlamətidir.
Bu həftə saytınızın ən aktiv filtr parametrlərini server qeydlərinizdə yoxlamaqla başlayın. Ən çox artıq trafik yaradan nümunələri sənədləşdirin və xüsusi Disallow qaydaları siyahısını hazırlayın. Bu yolları müəyyən etdikdən sonra, dəyişiklikləri istehsal mühitinizə canlı göndərməzdən əvvəl robots.txt tester alətində qaydaları sınaqdan keçirin.