Həddindən artıq 403 xətaları səbəbindən Baidu indeksindən çıxarılma, axtarış botu URL-lərinizi əldə etməyə çalışarkən dəfələrlə qadağan edilmiş giriş cavabları ilə qarşılaşdıqda baş verir. Server firewall-ları və ya təhlükəsizlik plaginləri Baidu botunu zərərli skreyper kimi səhv tanıdıqda, onun istifadəçi agentini və ya IP ünvanlarını HTTP 403 status kodları ilə bloklayırlar. Bu davamlı imtina, axtarış sistemini istifadəçi təcrübəsi keyfiyyətini qorumaq üçün təsirə məruz qalan səhifələri verilənlər bazasından çıxarmağa məcbur edir. Məsələn, Asiya bazarlarında idxal olunan malları satan bir e-ticarət platforması, yeni yenilənmiş veb tətbiq firewall qaydasının qanuni bot davranışını təhdid kimi səhv salması səbəbindən minlərlə məhsul səhifəsinin axtarış nəticələrindən birdən-birə yoxa çıxdığını görə bilər.
Niyə 403 xətaları Baidu-da indeksdən çıxarılmanı tetikləyir?
Axtarış sistemi botları ciddi səmərəlilik qaydaları altında işləyir. Əgər bot əsas açılış səhifələrində dəfələrlə giriş imtinaları ilə qarşılaşarsa, sistem məzmunun məhdud, şəxsi və ya daimi olaraq əlçatmaz olduğunu güman edir. Müvəqqəti 5xx server xətalarından fərqli olaraq, 403 statusu bota resursu görmək üçün icazəsinin olmadığını açıq şəkildə bildirir. Zaman keçdikcə, avtomatlaşdırılmış sistem sağlam veb saytlar üçün tarama resurslarını boşaltmaq məqsədilə bu URL-ləri indeksdən çıxarılmaq üçün işarələyir.
Məzmun çatdırılma şəbəkələri və ya veb tətbiq firewall-ları arxasında məzmun yerləşdirən beynəlxalq veb saytlar üçün yanlış pozitivlər geniş yayılmışdır. Aqressiv bot trafikini dayandırmaq üçün nəzərdə tutulmuş təhlükəsizlik qaydaları tez-tez qanuni axtarış sistemi agentlərini toruna salır. Əgər təhlükəsizlik qatınız Baidu botunu bloklayırsa, indeks həcminiz günlər ərzində azalacaq və bu, Çinli axtarış istifadəçilərindən gələn üzvi trafikə birbaşa təsir edəcək. Minlərlə beynəlxalq səhifəni idarə edən tipik bir hesabda, səhv konfiqurasiya edilmiş təhlükəsizlik parametrləri trafikin azalmasını heç kim fərq etməzdən əvvəl botları həftələrlə səssizcə bloklaya bilər.
Bu hadisələr zamanı botun necə davrandığını başa düşmək, düzəlişin təcili olduğunu aydınlaşdırmağa kömək edir. Axtarış sistemi cavab etibarlılığına əsasən xüsusi bir tarama büdcəsi ayırır. 403 xətaları artdıqda, sistem kilidli qapılarda resursları israf etməmək üçün tarama tezliyini kəskin şəkildə azaldır. Bu qoruyucu mexanizm o deməkdir ki, server qaydalarınızı düzəltdikdən sonra belə, bot qəsdən yenidən indeksləmə siqnalları olmadan dərhal tam sürətlə geri qayıtmayacaq.
İdarə panelinizdə 403 tarama bloklarını necə müəyyən etmək olar
Bu problemi diaqnoz etmək üçün veb-master panelinizə birbaşa giriş tələb olunur. Standart analitikadan kənara çıxmalı və botun hostinq mühitinizlə necə qarşılıqlı əlaqədə olduğunu görmək üçün server səviyyəsində diaqnostik hesabatları yoxlamalısınız.
- Baidu Search Resource Platform-a daxil olun və Crawl Status bölməsinə keçin.
- Qadağan edilmiş giriş hadisələrini təcrid etmək üçün tarama hesabatlarınızı xüsusilə HTTP 4xx xəta kodları üçün filtrləyin.
- İstəyən istifadəçi agentini və IP ünvanını yoxlamaq üçün işarələnmiş URL-ləri server giriş jurnallarınızla çarpaz yoxlayın.
- Veb tətbiq firewall-unuzu və ya təhlükəsizlik plagin qaydalarınızı həddindən artıq aqressiv bot azaltma parametrləri üçün yoxlayın.
Bu ilkin yoxlamaları tamamladıqdan sonra, hansı xüsusi kataloq yollarının ən çox bloklanmış sorğu həcminə məruz qaldığını xəritələməlisiniz. Çox vaxt müəssisə platformaları hazırlıq fayllarını və ya xüsusi dil alt qovluqlarını daha ciddi autentifikasiya filtrləri arxasında təcrid edir, bu da təsadüfən ictimaiyyətə açıq URL-ləri eyni məhdudlaşdırıcı qaba daxil edir.
Silinmiş səhifələri bərpa etmək üçün hansı addımlar tələb olunur?
İcazə bloklarının kök səbəbini müəyyən etdikdən sonra, təsdiqlənmiş Baidu bot istifadəçi agentlərinə və IP diapazonlarına icazə vermək üçün təhlükəsizlik qaydalarınızı yeniləməlisiniz. Yalnız standart təhlükəsizlik konfiqurasiyalarına etibar etməyin, çünki onlar tez-tez beynəlxalq axtarış sistemi botlarını işarələyirlər. Firewall qaydalarınızı tənzimlədikdən sonra, botun standart HTTP 200 OK cavabı aldığından əmin olmaq üçün veb-master panelinizdəki fetch alətindən istifadə edərək əlçatanlığı yoxlayın.
Server tərəfindəki düzəlişlərdən sonra, axtarış sisteminə məzmununuzun yenidən əlçatan olduğunu bildirməlisiniz. Yenilənmiş XML sayt xəritələrinizi təqdim edin və yenidən indeksləmə dövrünü sürətləndirmək üçün yüksək prioritetli səhifələr üçün əl ilə yenidən təqdimetmə funksiyalarından istifadə edin. Bərpa sürəti tarixi domen nüfuzunuzdan və ümumi tarama büdcəsi bölgünüzdən çox asılı olduğundan, bu mərhələdə səbir lazımdır.
Bir çox texniki komanda bu bərpa pəncərəsi zamanı server jurnal fayllarını izləməyin vacibliyini nəzərdən qaçırır. Real vaxt rejimində sorğuları müşahidə edərək, botun çatışmayan skript icazələri və ya üslub cədvəli blokları kimi ikinci dərəcəli icazə maneələrini tetikləmədən aktivləri uğurla yüklədiyini yoxlaya bilərsiniz.
Giriş blokları ilə işləyərkən komandaların etdiyi ən böyük səhv, firewall söndürüldükdən sonra problemin öz-özünə həll olunacağını güman etməkdir. URL-lərinizi növbəyə fəal şəkildə yenidən daxil etməlisiniz.
Alien Road SEO komandası
Alien Road bu bərpa prosesini necə tətbiq edir
Qəfil indeks düşmələri ilə bağlı tipik bir müştəri əlaqəsində, komandamız server jurnallarının və təhlükəsizlik qatı konfiqurasiyalarının hərtərəfli texniki auditi ilə başlayır. Baidu botunun 403 cavabı ilə qarşılaşdığı hər bir halı xəritələyirik, yanlış təhlükəsizlik işarələrini həqiqi icazə xətalarından ayırırıq. Sonra, sayt təhlükəsizliyini pozmadan təsdiqlənmiş bot imzalarını ağ siyahıya salmaq üçün inkişaf komandanızla birlikdə işləyirik.
Server əlçatanlığını sabitləşdirdikdən sonra, Baidu Search Resource Platform vasitəsilə sistemli bir yenidən indeksləmə kampaniyası təşkil edirik. Botun normal indeksləmə tempinə qayıtdığını yoxlamaq üçün tarama tezliyi göstəricilərini gündəlik izləyirik. Strukturlaşdırılmış hesabatlar vasitəsilə itirilmiş açar sözlərin və ümumi üzvi görünürlüyün tədricən bərpasını izləyirik, veb mülkünüz üçün uzunmüddətli texniki dayanıqlığı təmin edirik.
Prosesimiz həmçinin qeyri-adi HTTP status kodu dalğalanmaları üçün avtomatlaşdırılmış xəbərdarlıqların qurulmasını da əhatə edir. İcazə anomaliyalarını bütün kataloq qovluqlarına yayılmadan əvvəl tutaraq, tərəfdaşlarımızı qəfil üzvi trafik şoklarından qoruyuruq və rəqabətli regional axtarış siyahılarında sabit mövqeni saxlayırıq.
Strukturlaşdırılmış texniki bərpa, güclü sayt təhlükəsizliyi ilə açıq bot yolları arasında tarazlıq tələb edir. Alien Road Asiya bazarlarına genişlənən brendlər üçün bu boşluğu aradan qaldırır.
Alien Road SEO komandası
Gələcək giriş bloklarının qarşısını almaq üçün ən yaxşı təcrübələr
Gələcək indeksdən çıxarılmanın qarşısını almaq server yeniləmələri və təhlükəsizlik qaydalarının dəyişdirilməsi ilə bağlı davamlı sayıqlıq tələb edir. Yeni bir veb tətbiq firewall-u yerləşdirdikdə və ya CDN parametrlərinizi yenilədikdə, axtarış sistemi istifadəçi agentlərinin maneəsiz girişi saxladığını yoxlayın.
- Təsdiqlənmiş axtarış sistemi istifadəçi agentlərinin sənədləşdirilmiş siyahısını saxlayın və onları firewall istisnalarınızla yoxlayın.
- HTTP xəta kodlarında qəfil artımlar üçün veb-master panelinizi həftəlik izləyin.
- Təsadüfi bot bloklamasını üzvi indeks həcminizə təsir etməzdən əvvəl tutmaq üçün müntəzəm jurnal təhlili aparın.
Bu yoxlama rutinlərini aylıq yerləşdirmə siyahınıza inteqrasiya etmək, rutin təhlükəsizlik yeniləmələrinin axtarış sistemi görünürlüyünüzü heç vaxt təsadüfən pozmamasını təmin edir. İnkişaf, təhlükəsizlik və üzvi marketinq komandaları arasında ünsiyyət gözlənilməz texniki indeksdən çıxarılma hadisələrinə qarşı əsas müdafiə olaraq qalır.
Bu həftə haradan başlamaq lazımdır
Remediya səylərinizə bu gün veb-master portalınıza daxil olaraq və dərhal xəta hesabatı yoxlaması apararaq başlayın. Vacib məzmun bölmələri ilə bağlı hər hansı təkrarlanan 403 status kodlarını müəyyən edin və giriş məhdudiyyətinin arxasındakı dəqiq katalizatoru müəyyən etmək üçün bu tapıntıları son firewall dəyişiklik jurnallarınızla müqayisə edin.
Pozucu qaydaları təcrid etdikdən sonra, təsdiqlənmiş bot IP-ləri üçün ağ siyahı protokolu hazırlayın və düzəlişi həyata keçirmək üçün infrastruktur mühəndislərinizlə əlaqələndirin. Yollar təmizləndikdən sonra, təzə tarama dövrünü təşviq etmək üçün prioritet XML sayt xəritələrinizi təqdim edin və itirilmiş axtarış izinizi geri almağa başlayın.