Googlebot crawl sıçrayışları, axtarış motoru serverinizə sorğu tezliyini artırdıqda baş verir və bu, çox vaxt əhəmiyyətli sayt yeniləmələri və ya yeni kəşf edilmiş yüksək nüfuzlu məzmun tərəfindən tetiklenir. Bu sıçrayışlar indeksləmə zamanı normal davranış olsa da, axtarış motoru istifadəçi agentlərini təqlid edən zərərli bot trafiki ilə qarışdırıla bilər. Həqiqi Googlebot sorğuları ilə saxta trafik arasındakı fərqi başa düşmək, həm istifadəçilər, həm də axtarış motorları üçün sabit, yüksək performanslı bir veb sayt saxlamaq üçün ilk addımdır.
Server yükündə qəfil artım müşahidə etdikdə, dərhal reaksiya çox vaxt mənbəyi bloklamaq olur. Lakin, çox tez hərəkət etmək, təsadüfən qanuni Google botlarını bloklasanız, axtarış görünürlüyünüzə zərər verə bilər. Bu bələdçi, bu botların qanuniliyini necə yoxlayacağınızı və istifadəçi təcrübəsini qurban vermədən yüksək həcmli trafikə tab gətirmək üçün infrastrukturunuzu necə idarə edəcəyinizi izah edir.
Crawl sıçrayışının həqiqi olub-olmadığını necə yoxlamaq olar
Həqiqi Googlebot ilə saxtakarları ayırd etmək üçün daxil olan sorğuların IP ünvanını yoxlamaq lazımdır. IP ünvanının googlebot.com və ya google.com ilə bitən bir domenə uyğun gəldiyinə əmin olmaq üçün tərs DNS axtarışı aparmalısınız. Tərs DNS yoxdursa və ya başqa bir yerə işarə edirsə, sorğu saxtadır.
Bir çox avtomatlaşdırılmış skriptlər aldadıcı User-Agent sətirindən istifadə edərək izlərini gizlətməyə çalışır. Bunun qarşısını almaq üçün texniki komandalar yalnız jurnal sətirlərini yoxlamaq əvəzinə IP yoxlamasına etibar etməlidirlər. Trafikdə artım görsəniz, zaman damğalarını Search Console-un crawl statistikası hesabatı ilə müqayisə edin ki, onların sənədləşdirilmiş axtarış motoru fəaliyyəti ilə uyğun olub-olmadığını görəsiniz.
Tipik bir server analizində, tez-tez Google olduğunu iddia edən tək bir IP aralığından minlərlə sorğu görürük. DNS-i yoxlayaraq, bunların əslində skreyper olduğunu tez-tez aşkar edirik. Jurnallarınızın dəqiq olduğundan əmin olmaq, axtarış görünürlüyünüzə mənfi təsir göstərəcək qanuni indeksləmə trafikini təsadüfən bloklamağınızın qarşısını alır.
Host adını təsdiqləmək üçün server başlıqlarınızı və jurnal fayllarınızı əl ilə yoxlayın. Host adı düzgün həll olunmursa, trafik çox güman ki, Google-dan deyil. Yalnız ‘User-Agent’ sahəsinə etibar etməyin, çünki bu, zərərli botun saxtalaşdırması üçün HTTP sorğusunun ən asan hissəsidir.
Saytımda crawl sıçrayışları niyə baş verir?
Axtarış motorları crawl büdcəsini saytınızın sağlamlığına və məzmun yeniləmələrinin tezliyinə əsasən tənzimləyir. Crawl sürətində qəfil artım çox vaxt böyük sayt miqrasiyasından, minlərlə yeni səhifənin əlavə edilməsindən və ya daxili keçidlərin kütləvi şəkildə yenidən qurulmasından sonra baş verir. Bu hadisələr axtarış motoruna saytınızın dərhal işlənməsini tələb edən təzə məlumatlara sahib olduğunu bildirir.
Bəzən sıçrayışlar, Googlebot-u dəqiq məlumat vermək üçün səhifələri daha tez-tez ziyarət etməyə məcbur edən trend mövzusu kimi müvəqqəti hadisələr tərəfindən tetiklenir. Serveriniz bu partlayışlara hazır deyilsə, 5xx xətaları qaytara bilər. Davamlı server xətaları, axtarış motoru trafiki səmərəli şəkildə idarə edə bilməyən saytlardan qaçdığı üçün crawl büdcənizin azalmasına səbəb ola bilər.
Bu sıçrayışları idarə etmək texniki sağlamlıq üçün vacibdir. Böyük bir sayt bölməsi işə salırsınızsa, serverinizi əvvəlcədən isitməyi və ya resursları miqyaslamağı düşünün. Bu proaktiv yanaşma, trafik sıçrayışının real istifadəçi təcrübəsinə təsir etmədən və ya dayanma müddətinə səbəb olmadan zərif şəkildə idarə olunmasını təmin edir.
Dinamik parametrlərin təsirini nəzərə alın. Saytınız sonsuz variasiyalı URL-lər yaradırsa, Googlebot döngəyə girə bilər və bu da kütləvi, lazımsız sıçrayışa səbəb ola bilər. URL strukturunuzu nəzərdən keçirin və bu sorğuları birləşdirmək üçün kanonik etiketlərdən istifadə edin, bu da botun səhifələrinizin əsas versiyalarına diqqət yetirməsinə kömək edir.
İstənməyən bot trafikini necə effektiv idarə etmək olar
Serverinizi gərginləşdirən qeyri-Google botlarını müəyyən etsəniz, onları firewall və ya server konfiqurasiyanız vasitəsilə bloklamalısınız. Qanuni Googlebot-u bloklamaqdan çəkinin, çünki bu, məzmununuzun axtarış nəticələrində görünməsinin qarşısını alır. Standart qaydaları görməzdən gələ biləcək xüsusi vəziyyət botları üçün onların xüsusi davranışlarını və saytınızla necə qarşılıqlı əlaqədə olduqlarını xatırlayın.
- Məzmun tələb edən ən tez-tez IP ünvanlarını müəyyən etmək üçün xam giriş jurnallarınızı yoxlayın.
- Dəqiqədə ağlabatan sayda sorğunu aşan naməlum botlar üçün sürət məhdudiyyəti tətbiq edin.
- Nginx-in ‘deny’ direktivi kimi server səviyyəli qaydalardan istifadə edərək müəyyən edilmiş zərərli skreyperləri bloklayın.
- Robots.txt faylınızın qeyri-vacib bölmələr üçün crawl gecikmələrini aydın şəkildə müəyyən etdiyinə əmin olun.
Məlum pis aktyorları süzgəcdən keçirmək üçün Veb Tətbiq Firewall-dan (WAF) istifadə edin. Bir çox WAF provayderi zərərli botların yenilənmiş siyahılarını saxlayır. Bu filtrləri aktivləşdirməklə, jurnallarınızdakı səs-küyü azaldırsınız, bu da həqiqi trafik problemlərini aşkar etməyi və server performansınızı optimallaşdırmağı çox asanlaşdırır.
Xüsusi vəziyyət botları, crawl edilən sayt ilə məhsul arasında crawl prosesi haqqında razılaşma olduqda xüsusi Google məhsulları tərəfindən istifadə olunur.
Google Search Central
Alien Road bunu necə tətbiq edir
Alien Road-da biz texniki SEO işlərimizin kəşf mərhələsində server jurnallarını yoxlayaraq crawl sıçrayışlarını idarə edirik. Müştəri saytının sabit qalmasını təmin etmək üçün qeyri-adi trafik nümunələri üçün avtomatlaşdırılmış xəbərdarlıqlar qururuq. Məsələn, təsdiqlənmiş Google IP aralıqlarından gəlməyən bir sıçrayış görsək, axtarış görünürlüyünə təsir etmədən bant genişliyini qorumaq üçün server konfiqurasiyası vasitəsilə ciddi sürət məhdudiyyəti tətbiq edirik.
Biz tez-tez müştərilərin bilmədən aşağı keyfiyyətli botların server resurslarını istehlak etməsinə icazə verdiyini görürük. Onboarding prosesimiz zamanı trafiki ‘məhsuldar’ (axtarış motorları) və ‘qeyri-məhsuldar’ (skreyperlər) olaraq kateqoriyalara ayırırıq. Qeyri-məhsuldar trafiki təmizləməklə, tez-tez sayt sürətində dərhal yaxşılaşma və qanuni axtarış botları üçün crawl büdcəsinin daha səmərəli bölüşdürülməsini görürük.
Tipik bir müştəri işində, əvvəlcə məlum Googlebot IP-lərini süzgəcdən keçirərək jurnalları təhlil etmək üçün xüsusi skriptlər yaradırıq. Bu, analiz üçün yalnız ‘naməlum’ trafiki buraxır. Skreyperləri müəyyən etdikdən sonra, yükü tamamilə mənşə serverindən çıxaran kənar səviyyədə bloklama tətbiq edirik.
Server sabitliyini qorumaq üçün ən yaxşı təcrübələr
Sabit bir infrastruktur saxlamaq davamlı bir prosesdir. Yüksək trafik dövrlərində belə səmərəli aralıqlarda qaldıqlarından əmin olmaq üçün serverinizin cavab vaxtı göstəricilərini izləməlisiniz. Server tərəfində keşləmədən istifadə etmək, botlar saytınızı ziyarət etdikdə verilənlər bazanızdakı yükü əhəmiyyətli dərəcədə azalda bilər.
- Yüksək həcmli sorğuların təsirini buferləşdirmək üçün məzmun çatdırılma şəbəkələrindən (CDN) istifadə edin.
- Serverinizi botların məlumatları daha az tez-tez əldə etməsinə yönəldən keş başlıqlarına xidmət etmək üçün konfiqurasiya edin.
- Qeyri-vacib dinamik parametr səhifələrinin crawl edilməsini qadağan etmək üçün robots.txt faylınızı mütəmadi olaraq nəzərdən keçirin.
- İnfrastruktur stressinə tez reaksiya vermək üçün 5xx xəta sıçrayışları üçün monitorinq xəbərdarlıqları qurun.
Botlara səhifələrin statik versiyalarını təqdim etmək üçün düzgün keşləmə strategiyaları tətbiq edin. Bu, verilənlər bazasının hər dəfə bir bot gəldikdə bahalı sorğular yerinə yetirməsinin qarşısını alır. Yaxşı keşlənmiş bir sayt, bu sıçrayışların qanuni və ya zərərli olmasından asılı olmayaraq, qəfil trafik sıçrayışlarına qarşı daha davamlıdır.
Botları bloklayarkən edilən ümumi səhvlər
Əsas səhvlərdən biri tərs DNS-i yoxlamadan IP ünvanı ilə bloklamaqdır. IP ünvanları tez-tez yenidən təyin olunur, yəni dünən skreyperə aid olan bir IP bu gün qanuni bir xidmətə təyin edilə bilər. Firewall səviyyəsində daimi blok tətbiq etməzdən əvvəl həmişə host adını yoxlayın.
Digər bir ümumi səhv, yanlış User-Agent-i tamamilə bloklamaqdır. Sətirin yalnız ilk bir neçə simvoluna baxsanız, təsadüfən Google Ads və ya Google News botları kimi etibarlı bir Google məhsulunu bloklaya bilərsiniz. Həmişə tam istifadəçi agenti sətirini nəzərdən keçirin və onu Google axtarış sənədlərində verilən rəsmi siyahı ilə müqayisə edin.
Bu həftə haradan başlamaq lazımdır
Ən aktiv istifadəçi agentlərini müəyyən etmək üçün son yeddi gün üçün veb server jurnallarınızı nəzərdən keçirərək başlayın. Tanınmayan botlar tapsanız, hər hansı bir blok tətbiq etməzdən əvvəl onların kimliyini yoxlayın. Trafik mənbələrinizin aydın mənzərəsinə sahib olduqdan sonra, infrastrukturunuzun həm istifadəçilər, həm də axtarış motorları üçün etibarlı qalmasını təmin edərək, botları ən dəyərli məzmununuza yönəltmək üçün robots.txt faylınızı tənzimləyin.