E-ticarət üçün tarama büdcəsini optimallaşdırmaq məqsədilə Yandex log fayllarının təhlili, axtarış botunun məhsul səhifələrinizi necə ziyarət etdiyini və indeksləşdirdiyini izləmək üçün server fəaliyyəti qeydlərinin yoxlanılmasını əhatə edir. Böyük onlayn mağazalar çox vaxt faset naviqasiyası, çeşidləmə parametrləri və nazik kateqoriya filtrləri səbəbindən tarama resurslarının israfından əziyyət çəkirlər. Bu sorğu loglarını nəzərdən keçirməklə, texniki komandalar hansı kataloqların kroler diqqətini cəlb etdiyini və axtarış motorlarının yeni və ya yenilənmiş inventar məhsullarını aşkar etmədən harada lazımsız vaxt sərf etdiyini dəqiq müəyyən edirlər.
E-ticarət saytları üçün tarama büdcəsinin idarə edilməsi niyə vacibdir?
E-ticarət platformaları dinamik filtrlər, səhifələmə və sessiya parametrləri vasitəsilə minlərlə URL yaradır. Botlar bu aşağı dəyərli səhifələri təkrar-təkrar taradıqda, yeni əlavə edilmiş inventarı və ya vacib qiymət yeniləmələrini qaçırırlar. Server sorğu limitlərini idarə etmək, axtarış motorlarının pik trafik saatlarında dərəcə limitlərinə çatmadan və ya vaxt aşımına uğramadan əsas gəlir gətirən səhifələri aşkar etməsini təmin edir.
Geyim satan tipik bir onlayn mağaza üçün avtomatlaşdırılmış krolerlər gündəlik sorğu kvotalarının yetmiş faizinə qədərini rəng və ölçü çeşidləmə filtrləri tərəfindən yaradılan dublikat URL-lərə sərf edə bilər. Bu səmərəsizlik yeni mövsümi kolleksiyaların kəşfini gecikdirir. Texniki komandalar dərk etməlidirlər ki, axtarış botları hər ziyarət üçün məhdud tutumla işləyir, bu da hər bir israf edilmiş sorğunu üzvi görünürlük üçün qaçırılmış fürsətə çevirir.
Bu problemlərin qarşısını almaq üçün tərtibatçılar inventar səhifələnməsi və parametr idarəetməsi üçün strukturlaşdırılmış yanaşmaya ehtiyac duyurlar. Aydın göstərişlər olmadan, krolerlər sonsuz çeşidləmə kombinasiyaları döngələrinə düşür, bu da server gərginliyinə və insan alıcılar üçün daha yavaş cavab müddətlərinə səbəb olur.
- Çeşidləmə filtrləri tərəfindən yaradılan dublikat məhsul URL-lərini müəyyən edin.
- Botların sessiya əsaslı və ya izləmə parametrlərini taramasının qarşısını alın.
- Əsas kateqoriya səhifələrinə və aktiv inventar məhsullarına üstünlük verin.
Server log məlumatlarını necə çıxarır və hazırlayırsınız?
Log faylının təhlili birbaşa veb serverinizdən və ya məzmun çatdırılma şəbəkənizdən xam giriş loglarının ixracı ilə başlayır. Bu fayllar domeninizə edilən hər bir HTTP sorğusunu, o cümlədən istifadəçi agenti sətirlərini, cavab status kodlarını və sorğu zaman damğalarını qeyd edir. Bu qeydləri xüsusilə Yandex bot istifadəçi agenti üçün filtrləmək, axtarış motoru trafikini insan ziyarətçilərdən və digər avtomatlaşdırılmış skanerlərdən ayırır.
Məlumatların hazırlanması bu mətn fayllarının verilənlər bazasına və ya ixtisaslaşdırılmış log təhlili proqramına idxal edilməsini tələb edir. İdxal edildikdən sonra mühəndislər şəkillər, üslub cədvəlləri və JavaScript faylları kimi üzvi axtarış indeksləşdirməsinə birbaşa təsir etməyən statik aktiv sorğularını silməklə məlumat dəstini təmizləyirlər. Bu, yalnız HTML sənəd sorğularına yönəlmiş təmiz bir məlumat dəsti buraxır.
Xam loglarda istifadəçi agentlərinin filtrlənməsi
Krolerlə əlaqəli xüsusi sətirləri axtarmaq üçün müntəzəm ifadələrdən istifadə etməlisiniz. Bu qeydləri təcrid etdikdən sonra, qeyri-adi bot fəaliyyəti nümunələrini aşkar etmək üçün məlumatları sorğu tezliyi, cavab kodları və kataloq yolları üzrə toplaya bilərsiniz. Bu filtrləmə addımı hesabatlarınızın ümumi veb trafik səs-küyündən deyil, faktiki axtarış motoru davranışından bəhs etməsini təmin edir.
Hansı log nümunələri tarama büdcəsinin israfını göstərir?
Server logları tez-tez səmərəsiz bot istehlakının aydın göstəricilərini ortaya qoyur. Məsələn, kroler sorğularının böyük bir faizi 404 xətaları verirsə və ya sonsuz təqvim döngələrinə işarə edirsə, saytınız dəyərli tarama tutumunu israf edir. Bu nümunələri aşkar etmək tərtibatçılara düzgün kanonik etiketlər tətbiq etməyə və ya robots.txt direktivlərindən istifadə edərək lazımsız yolları bloklamağa imkan verir.
Digər bir ümumi qırmızı bayraq log tarixçəsində 302 müvəqqəti yönləndirmələrin yüksək tezliyidir. Axtarış botları təkrar-təkrar müvəqqəti yönləndirmələrlə qarşılaşdıqda, onlar tez-tez sorğu zəncirini tərk edir və həmin kataloq üçün taramanı dayandırırlar. Status kodu paylanmasını yoxlamaq, bu pozulmuş sorğu yollarının tarama büdcənizi harada tükəndirdiyini müəyyən etməyə kömək edir.
Log təhlili həmçinin daxili keçidləri olmayan, lakin bot ziyarətləri alan yetim səhifələri də aşkar edir. Bu girişlər adətən köhnə marketinq kampaniyalarından və ya serverdə hələ də mövcud olan köhnəlmiş XML sayt xəritələrindən qaynaqlanır.
Biz tez-tez görürük ki, nəzarətsiz faset naviqasiyası böyük onlayn mağazalarda kroler sorğularının böyük hissəsini tükəndirir. Bu struktur darboğazlarını düzəltmək dərhal yeni məhsul siyahıları üçün tutumu azad edir.
Alien Road SEO komandası
Alien Road bu prosesi necə tətbiq edir
Alien Road-da bizim əməkdaşlıq prosesimiz müştəri infrastrukturunun hərtərəfli texniki auditi ilə başlayır. Tipik bir e-ticarət müştərisi üçün biz bir neçə həftəlik server loglarını toplayır, bot trafikini təcrid edir və sorğu tezliklərini faktiki indeksləşdirmə statusu ilə xəritələyirik. Bu iş axını axtarış motoru resurslarını tükəndirən yetim səhifələri, yavaş yüklənən aktivləri və yönləndirmə zəncirlərini vurğulayır.
Mühəndislik komandamız hədəflənmiş düzəlişləri tətbiq etmək üçün müştəri tərtibatçıları ilə sıx əməkdaşlıq edir. Biz server tərəfində keşləmə qaydalarını konfiqurasiya edir, robots.txt direktivlərini təkmilləşdirir və krolerlərin yalnız əsas məhsul kateqoriyalarına və yüksək konversiyalı açılış səhifələrinə diqqət yetirməsini təmin etmək üçün parametr idarəetməsini optimallaşdırırıq.
- Bot fəaliyyətini təcrid etmək üçün xam giriş loglarını toplayın və təmizləyin.
- Kroler sorğularını cari indeksləşdirmə əhatəsi ilə xəritələyin.
- Tapıntılara əsasən robots.txt yeniləmələrini və kanonik düzəlişləri tətbiq edin.
- Təkmilləşdirilmiş tarama səmərəliliyini yoxlamaq üçün tətbiqdən sonrakı log fayllarını izləyin.
Log təhlilini server performansı ilə necə uyğunlaşdırırsınız?
Tarama səmərəliliyi serverin cavab müddətlərindən çox asılıdır. Veb serveriniz ağır bot yükü altında yavaşlayarsa, axtarış motoru hostinq infrastrukturunuzu qorumaq üçün tarama sürətini azaldır. Cavab kodlarını sorğu tezliyi ilə birlikdə izləmək, sayt performansı ilə axtarış görünürlüyü arasında sabit balansı qorumağa kömək edir.
Verilənlər bazası sorğuları ləng olduqda, cavab müddətləri artır və krolerlər gecikməni server xətası kimi şərh edirlər. Server aparatını optimallaşdırılmış saxlamaq və etibarlı məzmun çatdırılma şəbəkələrindən istifadə etmək, axtarış motorlarının vaxt aşımı xəbərdarlıqlarını işə salmadan dəqiqədə yüzlərlə səhifəni emal edə bilməsini təmin edir.
Texniki komandalar trafik artımlarını CPU istifadə dərəcələri ilə əlaqələndirmək üçün giriş logları ilə yanaşı server xəta loglarını da mütəmadi olaraq yoxlamalıdırlar. Bu ikili yanaşma server sağlamlığının tam mənzərəsini təqdim edir.
Serverin cavab müddəti tarama optimallaşdırılmasında səssiz amildir. Verilənlər bazası sorğularını yığcam saxlamaq axtarış motoru botlarının ayrılmış ziyarət pəncərəsində daha çox səhifəni emal edə bilməsini təmin edir.
Alien Road SEO komandası
Bu həftə haradan başlamaq lazımdır
Hostinq provayderinizdən və ya sistem administratorunuzdan server giriş loglarınıza daxil olmaq üçün icazə istəməklə başlayın. Axtarış botlarının aşağı dəyərli parametr URL-lərinə nə qədər tez-tez daxil olduğunu yoxlamaq üçün son yeddi günün qeydlərini filtrləyin. Növbəti texniki təmizləməni planlaşdırmaq və ümumi indeksləşdirmə sağlamlığını yaxşılaşdırmaq üçün bu ilkin tapıntılardan istifadə edin.
Log xülasələrini aylıq nəzərdən keçirmək üçün müntəzəm yoxlama cədvəli qurun. Server loglarınıza davamlı nəzarət etməklə, e-ticarət kataloqunuz yeni inventarla genişləndikcə tarama büdcəsinin israfının geri qayıtmasının qarşısını alırsınız.