Crawler tələsinin aşkarlanması, axtarış motoru botlarını sonsuz dövrələrə salan, server resurslarını istehlak edən və yeni məzmunun kəşfini məhdudlaşdıran URL nümunələrini müəyyən etmək prosesidir. Bu tələlər, filtrlər və ya çeşidləmə seçimləri kimi dinamik parametrlər eyni və ya oxşar səhifə məzmununa işarə edən demək olar ki, sonsuz sayda unikal URL yaratdıqda baş verir. Bu strukturları müəyyən etməklə, komandalar Google-un vaxtını aşağı dəyərli səhifələrə sərf etməsinin qarşısını ala və kritik sayt yeniləmələrinin indekse daha sürətli çatmasını təmin edə bilərlər.
Faset naviqasiyasında crawler tələləri niyə baş verir?
Faset naviqasiyası istifadəçilər üçün məhsulları rəng, qiymət və ya ölçüyə görə filtrləmək üçün faydalı bir yoldur. Lakin, bu filtrlər istənilən qaydada birləşdirilə bilən URL parametrlərindən istifadə etdikdə, onlar astronomik sayda mümkün URL yaradırlar. Googlebot hansı kombinasiyaların faydalı, hansıların isə artıq olduğunu təbii olaraq bilmir.
Faset naviqasiyası, ziyarətçilərə səhifədəki elementlərin göstərilmə qaydasını dəyişməyə imkan verən veb saytların ümumi xüsusiyyətidir.
Google Search Central
Crawlerlər unikal inventar ehtiva edən filtrli görünüş ilə sadəcə dublikat olanı ayıra bilmədikləri üçün, hər bir variasiyanı crawl etməyə cəhd edə bilərlər. Bu, serverinizin axtarış istifadəçiləri üçün əlavə dəyər təmin etməyən səhifələr üçün minlərlə sorğunu emal etdiyi həddindən artıq crawl (overcrawling) ilə nəticələnir. Bir çox hallarda, parametrlərin birləşməsi boş səhifələrə və ya təkrar emal edilmiş məzmuna aparan bir yol yaradır və botu indeks üçün heç bir fayda verməyən bir dövrəyə salır.
Məsələn, 50 məhsulu olan bir e-ticarət saytında rəng, ölçü, material və marka üçün filtrlər ola bilər. Əgər istifadəçi bunları istənilən qaydada seçə bilərsə, yaradılan URL-lərin sayı milyonlara çata bilər. Googlebot bu linklərin hər birini izləməyə cəhd edəcək və sıralanmalı olan faktiki məhsul səhifələrini qaçıracaq.
Saytınızdakı potensial tələləri necə müəyyən edə bilərsiniz?
Server loglarınızı izləmək bu problemləri aşkar etməyin ən birbaşa yoludur. Əgər çoxsaylı sorğu parametrləri olan URL-lər üçün yüksək həcmdə sorğu müşahidə etsəniz, çox güman ki, bir tələ müəyyən etmisiniz. Analiziniz zamanı bu ümumi göstəricilərə diqqət yetirməlisiniz:
- ?color=blue&color=red kimi təkrarlanan parametrləri olan URL-lər.
- Hər bir ziyarətçi sessiyası üçün unikal URL-lər yaradan çeşidləmə parametrləri.
- Boş axtarış nəticələri səhifələri ilə nəticələnən filtr kombinasiyaları.
- URL strukturuna daxil edilmiş dinamik sessiya ID-ləri.
Log fayllarından kənarda, Google Search Console daxilindəki ‘Crawl stats’ hesabatındakı nümunələrə baxın. Əgər ‘Crawled – currently not indexed’ və ya ‘Discovered – currently not indexed’ sayları artırsa, bu, crawlerin çoxlu URL variasiyaları tapdığının əlamətidir. Siz faydalı, indekslənə bilən açılış səhifələri ilə sayt arxitekturasının yaratdığı səs-küyü ayırmalısınız.
‘Sort by’ funksionallığının təsirini nəzərə alın. Əgər istifadəçi ‘sort by price: high to low’ düyməsini klikləyərsə, bu adətən yeni bir URL yaradır. Googlebot bu linki izlədikdə, kateqoriya səhifəsi ilə eyni məhsulları görür, sadəcə fərqli qaydada. Bunu on çeşidləmə seçimi ilə vurun və crawler üçün unikal məzmun qazancı olmadan on dəfə çox iş yaratmış olursunuz.
Alien Road bunu necə tətbiq edir
Alien Road-da yanaşmamız crawl log məlumatlarının dərin auditi ilə başlayır. Biz hansı URL nümunələrinin gündəlik crawl büdcəsinin ən yüksək faizini istehlak etdiyini təhlil edirik. Tipik bir e-ticarət müştərisi üçün biz tez-tez crawl edilən URL-lərin 70%-nin artıq fasetlər tərəfindən yaradıldığını görürük. Biz gəlir gətirən səhifələri bloklamamaq üçün bunları konversiya məlumatları ilə müqayisə edirik.
Bu nümunələri müəyyən etdikdən sonra, parametrlər üçün strukturlaşdırılmış bir iyerarxiya tətbiq edirik. Biz botları əsas kateqoriya səhifəsinə yönəltmək üçün canonical teqlərdən istifadə etməyə və ya heç bir axtarış dəyəri təklif etmirlərsə, lazımsız parametr kombinasiyalarını robots.txt vasitəsilə bloklamağa üstünlük veririk. Daxili axtarış funksionallığının toxunulmaz qalmasını təmin edərkən, Googlebot-un yüksək təsirli səhifələrə diqqət yetirməsi üçün hər bir dəyişikliyi sənədləşdiririk.
Biz həmçinin dövri yoxlamalar aparırıq. Düzəlişi tətbiq etdikdən sonra, crawl edilən URL-lərin sayının sabitləşib-sabitləşmədiyini görmək üçün Google Search Console-dakı ‘Pages’ hesabatını izləyirik. Əgər server yükündə azalma, lakin əsas məhsul səhifələrinə trafikdə artım görürüksə, auditin uğurlu olduğunu bilirik. Bu proses müştəri yeni kolleksiya buraxdıqda və ya sayt naviqasiyasını dəyişdikdə təkrarlanır.
Hansı strategiyalar crawl büdcəsi israfının qarşısını alır?
Crawl büdcənizi idarə etmək, sayt strukturunuzu botlara necə təqdim etməyinizə intizamlı yanaşma tələb edir. Crawler-i ən uyğun məzmuna yönəltmək və dövrələrdən uzaqlaşdırmaq üçün bir neçə standart alət və protokoldan istifadə edə bilərsiniz.
- Dövrələr yaratdığı bilinən xüsusi parametr sətirlərinə girişi qadağan etmək üçün robots.txt faylından istifadə edin.
- Əsas versiyanı Google-a bildirmək üçün bütün faset səhifələrində canonical teqləri tətbiq edin.
- Sayt arxitekturası dəstəkləyirsə, parametr idarəetməsini konfiqurasiya edin.
- İndeksləşmənin istənilmədiyi yerlərdə filtr kombinasiyalarına keçidlərin nofollow atributundan istifadə etdiyinə əmin olun.
Robots.txt faylından istifadə edərkən dəqiq olun. Bütün kataloqu bloklamaq, qanuni səhifələr orada yerləşirsə, gözlənilməz nəticələrə səbəb ola bilər. Bunun əvəzinə, problemli olduğunu bildiyiniz xüsusi sorğu sətirlərini hədəf alın. Bu, crawler-i tələdən kənarda saxlayarkən, kök kateqoriyaya baş çəkməsinə imkan verir.
Canonical teqlər dublikat məzmunu idarə etmək üçün güclü bir vasitədir. Filtrli səhifənin hər bir variasiyasını təmiz, orijinal URL-ə yönəltməklə, siz Google-a bildirirsiniz ki, bu səhifələr mövcud olsa da, onlar fərqli qurumlar kimi qəbul edilməməlidir. Bu, əsas səhifə üçün sıralama siqnallarını birləşdirməyə kömək edir.
Bu həftə haradan başlamaq lazımdır
Google Search Console crawl stats hesabatını nəzərdən keçirməklə başlayın. Crawl tezliyinə görə ilk 50 URL-i müəyyən edin və onların unikal səhifələr, yoxsa əsas kateqoriyanın filtrli versiyaları olduğunu yoxlayın. Əgər dublikatlar tapsanız, onları həll etmək üçün bir üsul seçin—məsələn, canonical teq və ya robots.txt bloku. Crawl davranışının növbəti yeddi gün ərzində necə dəyişdiyini müşahidə etmək üçün hər dəfə bir kateqoriyaya diqqət yetirin.
Sonra, daxili linklərinizi yoxlayın. Yan panelinizdə mümkün olan hər bir filtr kombinasiyasına keçid edirsinizmi? Bu aktiv linkləri JavaScript ilə idarə olunan filtrlər və ya indekslənə bilməyən elementlərlə əvəz etmək, crawlerlərin tələləri tapmasının qarşısını ala bilər. Sayt arxitekturanızda kiçik, qəsdli dəyişikliklər reaktiv bloklamadan daha yaxşı nəticələr verəcəkdir.