Robots.txt crawl budget optimizasiyası, indeksləmə səmərəliliyini maksimuma çatdırmaq üçün axtarış motoru hörümçəklərinin saytın müəyyən hissələrinə girişini idarə etmək prosesidir. Böyük e-ticarət saytları tez-tez axtarış istifadəçiləri üçün heç bir dəyər təmin etməyən filtrlər, çeşidləmə seçimləri və sessiya ID-ləri tərəfindən yaradılan milyonlarla URL-ə malikdir. Bu yolları bloklamaq üçün robots.txt faylından istifadə edərək, Yandex botlarını resursları lazımsız məlumatlara sərf etmək əvəzinə unikal məhsul təsvirlərinə və əsas kateqoriya səhifələrinə yönəldirsiniz. Bu üsul serverin həddindən artıq yüklənməsinin qarşısını alır və yeni məhsulların axtarış nəticələrində görünmə sürətini artırır.
Böyük mağazalar üçün crawl budget niyə vacibdir?
Crawl budget, axtarış motoru botunun müəyyən bir vaxt çərçivəsində saytınızda taramağa qərar verdiyi səhifələrin ümumi sayıdır. Kütləvi onlayn kataloq üçün bu büdcə diqqətlə idarə olunmalı olan məhdud bir resursdur. Yandex bütün ziyarətini aşağı keyfiyyətli filtr kombinasiyalarını taramağa sərf edərsə, heç vaxt ən yeni gələnlərə və ya yenilənmiş qiymət siyahılarına çatmaya bilər. Bu, axtarış nəticələrində köhnəlmiş məlumatlara və itirilmiş satış imkanlarına gətirib çıxarır.
Yandex bu büdcəni domeninizin nüfuzu və serverinizin sürəti daxil olmaqla bir neçə amilə əsasən müəyyən edir. Server yavaş cavab verdikdə, bot saytın çökməməsi üçün avtomatik olaraq tarama sürətini azaldır. Buna görə də, sürətli server cavabını saxlamaq mətn fayllarınızda yazdığınız qaydalar qədər vacibdir. Minlərlə dinamik olaraq yaradılmış parametrləri olan bir sayt, avtomatlaşdırılmış hörümçəklər düzgün nəzarət olmadan hər mümkün permutasiyanı tələb edərsə, hostinq tutumunu tez bir zamanda tükəndirə bilər.
Böyük e-ticarət kataloqları üçün robots.txt faylını necə strukturlaşdırmaq olar?
Yandex-ə yönəlmiş sayt üçün robots.txt faylı xüsusi olmalıdır. Bir çox mühərrik ümumi qaydalara əməl etsə də, Yandex mürəkkəb URL strukturlarını idarə etməyə kömək edən unikal direktivləri dəstəkləyir. Ən vacib addım hansı qovluqların sırf funksional olduğunu və hansıların indekslənə bilən məzmunu ehtiva etdiyini müəyyən etməkdir. İnzibati qovluqlar, daxili axtarış nəticələri və istifadəçi hesabı səhifələri həmişə məhdudlaşdırılmalıdır.
Disallow direktivindən istifadə botların müəyyən yollara girməsini dayandırmaq üçün standart yoldur. Lakin e-ticarət üçün məntiq çox vaxt qovluqlardan çox parametrlərlə bağlıdır. Qiymət diapazonları, rənglər və ya ölçülərə əsasən minlərlə variasiya yaradan bir kateqoriya səhifəniz ola bilər. Əsas kateqoriya səhifəsinin indekslənməsini hələ də istəyirsinizsə, bunları standart Disallow qaydaları ilə bloklamaq çətin ola bilər. Məhz burada daha təkmil məntiq zəruri olur.
- User-agent: Yandex – Xüsusi qaydalar üçün müvafiq botu ünvanlayaraq başlayın.
- Disallow: /admin/ – Backend sistemlərini gizli saxlayın və crawl resurslarına qənaət edin.
- Disallow: /search/ – Daxili axtarış nəticələri səhifələrinin indekslənməsinin qarşısını alın.
- Disallow: /*?*sort= – Dublikat məzmun yaradan çeşidləmə parametrlərini bloklayın.
- Clean-param: ref / – İzləmə ID-lərini nəzərə almamaq üçün bu Yandex-ə xas direktivdən istifadə edin.
- Sitemap: https://example.com/sitemap.xml – Daha sürətli kəşf üçün həmişə xəritənizi göstərin.
Yandex artıq URL parametrlərini necə idarə edir?
Yandex səhifənin məzmununu dəyişdirməyən parametrləri olan URL-ləri idarə etmək üçün Clean-param adlı xüsusi bir alət təqdim edir. Bu, sessiya ID-ləri, yönləndirmə teqləri və bəzi çeşidləmə filtrləri ilə ümumidir. URL-i tamamilə bloklamaq əvəzinə, Clean-param bota bir neçə fərqli URL-i tək bir ünvan kimi qəbul etməyi tapşırır. Bu, crawl budget-i birləşdirmək üçün yüksək effektiv bir yoldur.
Məsələn, məhsul səhifənizə ‘product-123’ və ‘product-123?from=newsletter’ vasitəsilə çatmaq mümkündürsə, bot iki fərqli səhifə görür. Clean-param direktivində ‘from’ təyin etməklə, Yandex-ə bunların eyni olduğunu bildirirsiniz. Bu, botun eyni məzmunu iki dəfə yükləməsinin qarşısını alır. O, həmçinin link çəkisini əsas URL-də cəmləşdirməyə kömək edir ki, bu da onun axtarış nəticələrindəki mövqeyini yaxşılaşdıra bilər.
Crawl budget-i idarə etmək məzmunu gizlətmək deyil, server enerjisini ən gəlirli səhifələr üçün prioritetləşdirməkdir. Tipik bir saytda görürük ki, crawl budget-in 30 faizi çox vaxt həftələr əvvəl təmizlənməli olan sessiya ID-lərinə sərf olunur.
Alien Road SEO komandası
Alien Road robots.txt optimizasiyasını necə tətbiq edir
Komandamız hər bir layihəyə Yandex Webmaster istifadə edərək cari indeksləmə statusunun ətraflı təhlili ilə başlayır. Hansı URL-lərin hazırda ilk 50 nəticədə göründüyünü görmək üçün ‘Bütün sorğular’ qrupuna baxırıq. Əgər bunların çoxunun axtarış nəticələri səhifələri və ya unikal məzmunu olmayan filtrli siyahılar olduğunu aşkar etsək, onları istisna üçün qeyd edirik. Bu, 1000 sorğu limiti olan ‘Saxlanılan’ qrupunun zibil deyil, yüksək niyyətli kommersiya ifadələri ilə doldurulmasını təmin edir.
İstanbuldakı bir e-ticarət müştərisi üçün tipik bir işdə, 10.000 real məhsulu olan bir saytın 200.000-dən çox indekslənmiş URL-i olduğunu görə bilərik. Bu boşluq böyük resurs israfından xəbər verir. Biz bütün səhifəni bloklamadan izləmə parametrlərini idarə etmək üçün Clean-param direktivindən istifadə edən xüsusi bir robots.txt faylı hazırlayırıq. Daha sonra 7 günlük müddət ərzində ‘Xülasə göstəriciləri’ni — təəssüratlar, kliklər və mövqeyi izləyirik. Bu monitorinq əsas səhifələrə trafikin sabit qalmasını təmin edərkən, taranan URL-lərin ümumi sayının sağlam səviyyəyə enməsinə kömək edir.
Robots.txt faylının limitləri nələrdir?
Robots.txt-in səhifəni indeksdən dərhal çıxaracağını düşünmək ümumi bir səhvdir. Botun səhifəni taramasını dayandırsa da, həmin səhifənin çoxlu xarici keçidləri varsa, o, axtarış nəticələrində hələ də ‘yalnız keçid’ girişi kimi görünə bilər. Səhifəni tamamilə silmək üçün ‘noindex’ teqi və ya 404 status kodu çox vaxt daha yaxşıdır. Robots.txt mütləq silinmə üçün deyil, səmərəlilik üçün bir vasitədir.
Həmçinin, robots.txt-in öz fayl ölçüsünün limitləri var. Yandex ümumiyyətlə faylın ilk 512 KB-nı emal edir. Faylınız bundan böyükdürsə, bot aşağıdakı qaydaları nəzərə almaya bilər. Mürəkkəb qaydaları olan çox böyük saytlar üçün hər bir URL-i sadalamaq əvəzinə joker simvollardan və nümunələrdən istifadə etmək daha yaxşıdır. Faylı sadə və təmiz saxlamaq bütün axtarış botlarının təlimatları səhvsiz oxumasını və yerinə yetirməsini təmin edir.
- Yandex Webmaster-də ‘Bütün sorğular’ bölməsi altında cari indekslənmiş URL-ləri yoxlayın.
- Clean-param istifadəsi üçün səhifə məzmununu dəyişdirməyən parametrləri müəyyən edin.
- Hansı aşağı dəyərli URL-lərin ən tez-tez tələb olunduğunu görmək üçün server qeydlərini yoxlayın.
- Webmaster panelindəki validator alətindən istifadə edərək yeni robots.txt qaydalarını sınayın.
- Botun tarama yükünün gecikməyə səbəb olmadığından əmin olmaq üçün server cavab vaxtlarını izləyin.
- Kommersiya baxımından əsas səhifələrin performansını izləmək üçün ‘Saxlanılan’ sorğu qrupunu nəzərdən keçirin.
Filtrlərin idarə edilməsi və server cavabının yoxlanılması təcrübələri
Yandex botunun tarama yükünü server cavabının yoxlanılması təcrübələri vasitəsilə azaltmaq sadəcə qovluqları bloklamaqdan daha çoxunu əhatə edir. Veb serverinizi düzgün status kodlarını qaytaracaq şəkildə konfiqurasiya etməlisiniz. Əgər məhsul daimi olaraq stokda yoxdursa, 404 və ya 410 kodu qaytarmaq bota həmin URL-ə baş çəkməyi dayandırmağı bildirir. Bu, aktiv məhsullar üçün büdcəni azad edir. Əgər server ‘Səhifə tapılmadı’ xətası üçün 200 OK kodu qaytarırsa, bot geri qayıtmağa davam edəcək və qiymətli vaxtı israf edəcək.
Tipik bir e-ticarət ssenarisində, minlərlə dinamik olaraq yaradılmış filtr parametrləri olan onlayn mağaza server tutumunu tez bir zamanda tükəndirə bilər. Hər bir sorğu verilənlər bazası bağlantılarını və CPU dövrlərini istehlak edir. Əgər bu resurslar avtomatlaşdırılmış hörümçəklər tərəfindən tükənərsə, real insan alıcılar yavaş yüklənmə vaxtları ilə qarşılaşacaq və bu da səbətlərin tərk edilməsinə səbəb olacaq. Güclü infrastruktur planlaşdırılması bu avtomatlaşdırılmış sorğuların tətbiq qatınızla necə qarşılıqlı əlaqədə olduğunu anlamağı tələb edir.
İndeksləmədə səmərəlilik çox vaxt yeni inventar üçün reytinq yaxşılaşmalarını görməyin ən sürətli yoludur. Bot 40.000 ölü filtr səhifəsinə vurmağı dayandırdıqda, o, yeni gələnlərinizi həftələr deyil, saatlar ərzində tapır.
Alien Road SEO komandası
Texniki SEO auditiniz üçün dərhal görüləcək tədbirlər
Bu həftə, tarama qeydlərinizi yükləməklə və onları ən çox satılan məhsullarınızla müqayisə etməklə başlayın. Yandex botunun ən çox satılanlarınızdan çox köhnə promosyon teqlərinə və ya qiymət çeşidləmə filtrlərinə daha çox vaxt sərf etdiyini görürsünüzsə, robots.txt faylınızı yeniləməyin vaxtı çatıb. İstənilən izləmə ID-ləri üçün Clean-param direktivindən istifadə edin və sayt xəritənizin yeniləndiyindən əmin olun. Bu dəyişikliklərin orta klik nisbətinə və orta mövqeyinizə necə təsir etdiyini görmək üçün Webmaster ‘Xülasə göstəriciləri’ni gündəlik izləyin.
Alien Road bu yoxlamanı ayda bir dəfə, xüsusilə yeni məhsul xətləri əlavə etdikdən və ya sayt strukturunuzu dəyişdikdən sonra həyata keçirməyi tövsiyə edir. Crawl budget-in ardıcıl idarə edilməsi saytınızın sağlam, sürətli və almağa hazır olan müştərilər üçün görünən qalmasını təmin edir.