Server fayervolları vasitəsilə Baiduspider giriş problemləri təhlükəsizlik konfiqurasiyaları Baidu-nun kroulerlərini səhvən zərərli trafik və ya icazəsiz botlar kimi müəyyən etdikdə baş verir. Bunu düzəltmək üçün server qeydlərinizi axtarış motoru IP ünvanlarından gələn rədd edilmiş sorğular üçün yoxlamalı və kroulerə sayt aktivlərinizə giriş imkanı vermək üçün fayervolun icazə verilən siyahısını və ya user-agent qaydalarını tənzimləməlisiniz.
Serveriniz niyə Baiduspider-i bloklayır?
Fayervollar ciddi sürət məhdudiyyəti və ya köhnəlmiş təhlükəsizlik qara siyahıları ilə konfiqurasiya edildikdə, çox vaxt axtarış motoru botları üçün maneə rolunu oynayır. Server Baiduspider-dən gələn sorğunu rədd etdikdə, axtarış motoru məzmununuzu əldə edə bilmir, bu da indeksdən çıxarılmaya və ya sayt məlumatlarınızın yenilənməsinin tamamilə uğursuz olmasına səbəb olur.
Veb Tətbiq Fayervolları (WAF) kimi bir çox təhlükəsizlik aləti xüsusi trafik nümunələrini axtarır. Saytınız bir mənbədən çoxlu sayda ziyarət qəbul edərsə, fayervol avtomatik bloklamağı işə sala bilər. Axtarış motorları səhifələri yüksək tezliklə krol etdiyi üçün, WAF qanuni krouler davranışını tanımaq üçün tənzimlənmədikdə, onlar təsadüfən bu hədləri aşa bilərlər.
Bundan əlavə, serveriniz yenilənməmiş IP əsaslı bloklama sistemindən istifadə edirsə, o, Baidu-nun yeni infrastrukturunu təhdid kimi qeyd edə bilər. Bu, kroulerin CSS, JavaScript və ya hətta əsas HTML məzmunu kimi kritik fayllara girişinin rədd edildiyi və indeks həcminin əhəmiyyətli dərəcədə azalmasına səbəb olan bir vəziyyət yaradır.
Baiduspider-in bloklandığını necə yoxlamaq olar
Kök səbəbi müəyyən etmək serverinizin kommunikasiya tarixçəsinin sistemli şəkildə nəzərdən keçirilməsini tələb edir. Kroulerin sayt xətası ilə qarşılaşmaq əvəzinə divara dəydiyinə dair sübutlar axtarmalısınız.
- Veb serverinizin xəta qeydlərini (Nginx və ya Apache) Baiduspider sorğuları ilə əlaqəli HTTP 403 və ya 406 status kodları üçün yoxlayın.
- Baidu Search Resource Platform-dan istifadə edərək ‘Crawl Status’-un uğur dərəcələrində qəfil azalma göstərib-göstərmədiyini yoxlayın.
- Fayervolunuzun blok cavabı qaytarıb-qaytarmadığını görmək üçün Baiduspider user-agent-ini təqlid edərək sayt girişinizi sınaqdan keçirin.
- Bütün krouleri təsadüfən bloklamadığınızdan əmin olmaq üçün robots.txt faylınızı nəzərdən keçirin.
- WAF həssaslığının çox vaxt artdığı pik trafik saatlarında kroulerə girişin rədd edildiyi nümunələri izləyin.
İlkin giriş qeydlərinizi yoxlamaqla başlayın. Əgər xüsusilə Baiduspider user-agent sətri üçün yüksək tezlikli 403 Forbidden xətaları görsəniz, günahkarı tapmısınız. Bu xətaların təhlükəsizlik plaginlərinizdə və ya hostinq provayderinizin parametrlərində edilən hər hansı son dəyişikliklərlə üst-üstə düşüb-düşmədiyini yoxlamaq da faydalıdır.
Krouler bağlantısını bərpa etmək üçün addımlar
Fayervolun səbəb olduğunu təsdiqlədikdən sonra Baidu üçün xüsusi bir qayda yaratmalısınız. Yalnız IP ünvanları ilə bloklamaqdan çəkinin, çünki bunlar dəyişə bilər; bunun əvəzinə, sorğuların təsdiqlənmiş Baidu server diapazonlarından gəldiyinə əmin olarkən user-agent sətrini autentifikasiya etməyə diqqət yetirin.
- Fayervol provayderinizi müəyyən edin və WAF parametrləri menyusunu tapın.
- Baiduspider user-agent-i üçün istisna qaydası əlavə edin və onun standart sürət məhdudiyyətlərini keçməsinə icazə verin.
- Serverinizin icazə verilən siyahısını Baidu tərəfindən təqdim olunan rəsmi IP ünvanlarını daxil etmək üçün yeniləyin, lakin user-agent yoxlamasına üstünlük verin.
- Blok qaldırıldıqdan sonra botun səhifələrinizin ən son versiyasını aldığından əmin olmaq üçün server tərəfindəki keşinizi təmizləyin.
- Serverinizi qanuni krouler sorğuları üçün 200 OK statusu qaytaracaq şəkildə konfiqurasiya edin.
İcazə verilən siyahı qaydası yaratmaq ümumiyyətlə sadəcə fayervolu söndürməkdən daha effektivdir. WAF-a Baiduspider user-agent-inə etibarlı ziyarətçi kimi yanaşmağı tapşıraraq, kroulerə məzmununuza aydın yol təqdim edərkən saytınızın təhlükəsizliyini real təhdidlərə qarşı qoruyursunuz. Mümkünsə, bu dəyişiklikləri həmişə sınaq mühitində yoxlayın.
Alien Road bunu necə tətbiq edir
Tipik müştəri əməkdaşlığında komandamız məzmun strategiyasına keçməzdən əvvəl server tərəfindəki mühiti yoxlayır. Baiduspider-in 403 cavabı aldığı halları təcrid etmək üçün qeyd təhlili alətlərindən istifadə edirik. Bloku təsdiqlədikdən sonra, texniki düzəlişlərimizin indeks həcminin sabitləşməsinə imkan verməsini təmin edərək, Baidu-nun kroulerlərini tanıması üçün WAF-ı konfiqurasiya etmək üçün müştərinin İT şöbəsi ilə işləyirik.
Məsələn, indeks həcminin azaldığını müşahidə edən bir müştəri ilə son layihədə, CDN-lərinin həddindən artıq həssas sürət məhdudiyyəti parametri səbəbindən Baidu-nu blokladığını aşkar etdik. CDN qaydalarını Baiduspider imzasını ağ siyahıya salmaq üçün tənzimlədik, bu da indeks həcminin dəyişiklikdən sonra iki həftə ərzində bərpa olunmasına imkan verdi. Biz bu nəticələri düzəlişin qüvvədə qaldığından əmin olmaq üçün Search Resource Platform vasitəsilə izləyirik.
Biz tez-tez müştərilərin həddindən artıq aqressiv təhlükəsizlik modulları səbəbindən Baidu-nu təsadüfən blokladığını görürük. Zərərli bot ilə indeksator arasında fərq qoymaq vacibdir.
Alien Road SEO komandası
Texniki düzəlişlər işə yaramadıqda nə etməli?
Fayervol açıqdırsa və Baiduspider hələ də səhifələrinizi krol edə bilmirsə, serverinizin cavab müddətini qiymətləndirin. Yüksək gecikmə və ya tez-tez baş verən vaxt aşımı, girişə icazə verilsə belə, kroulerin sorğunu tərk etməsinə səbəb ola bilər. Sağlam krol büdcəsini qorumaq üçün serverinizin sorğuları ağlabatan vaxt çərçivəsində idarə etdiyinə əmin olun.
Bəzən problem sərt blok deyil, resurs tükənməsi problemidir. Serveriniz səhifə yaratmaq üçün çox vaxt aparırsa, krouler bağlantını kəsə bilər. Bu hallarda, verilənlər bazası sorğularını optimallaşdırmaq və ya keşləmə qatı tətbiq etmək kömək edə bilər. Daha sürətli saytı botun oxuması daha asandır, bu da indeks həcminizi sağlam saxlamağa kömək edir.
Ardıcıllıq əsasdır. Serveriniz cavab verməkdə çətinlik çəkirsə, axtarış motoru fayervol parametrlərindən asılı olmayaraq nəticədə ziyarət tezliyini azaldacaq.
Alien Road SEO komandası
Bu həftə haradan başlamalı
Son yeddi günün server qeydlərini yoxlamaqla başlayın. Əgər təkrarlanan 403 xətaları tapsanız, fayervol qaydalarınızı dərhal yeniləyin. Girişin bərpa olunduğunu təsdiqləmək üçün növbəti həftə ərzində Search Resource Platform-da krol statusunu izləyin. Yalnız əl ilə sınaqlara etibar etməyin; kroulerin saytınızı necə gördüyünü yoxlamaq üçün rəsmi platforma alətlərindən istifadə edin.