Server loglarındakı Googlebot tarama anomaliyaları, axtarış motoru botları veb saytınızı emal edərkən gözlənilməz status kodları, sorğu tezliyində qəfil enişlər və ya sonsuz sorğu döngələri ilə qarşılaşdıqda baş verir. Bu anomaliyaların müəyyən edilməsi, HTTP status kodlarını, sorğu dərəcələrini və kritik URL yolları üzrə cavab gecikmələrini yoxlamaq üçün xam giriş loglarının təsdiqlənmiş Googlebot IP ünvanları və user-agent-ləri ilə filtrlənməsini tələb edir.
Niyə Googlebot sorğuları üçün server loglarını izləməlisiniz?
Google Search Console tarama fəaliyyəti haqqında yüksək səviyyəli xülasə hesabatları təqdim edir, lakin bu hesabatlar məlumatları bir neçə gün ərzində toplayır və dərhal əməliyyat detallarını gizlədir. Xam veb server giriş logları Nginx, Apache və ya LiteSpeed kimi serverlər tərəfindən emal edilən hər bir sorğunun sətir-sətir qeydlərini saxlayır. Hər bir giriş dəqiq vaxt damğalarını, sorğulanan URL-ləri, müştəri IP ünvanlarını, user-agent-ləri, HTTP status kodlarını və server cavab vaxtlarını ehtiva edir.
Axtarış motorları böyük veb tətbiqləri emal etdikdə, kiçik performans enişləri və ya konfiqurasiya xətaları yeni məzmunun dərhal indekslənməsinin qarşısını ala bilər. Server loglarını birbaşa izləmək mühəndislərə və texniki marketoloqlara Googlebot-un səhifələri necə kəşf etdiyinə dair dərhal görünürlük verir. Tarama uğursuzluqlarının erkən aşkarlanması, axtarış motorlarının müvəqqəti host xətaları səbəbindən etibarlı səhifələri indeksdən çıxarmasının qarşısını alır.
Ən çox yayılmış Googlebot tarama anomaliyaları hansılardır?
Tarama anomaliyaları adətən xəta kodlarında qeyri-adi artımlar, sorğu həcmində gözlənilməz enişlər və ya əlaqəsiz URL-lərə yönəldilmiş davamlı sorğular kimi özünü göstərir. Bu nümunələri erkən aşkar etmək veb-ustalara bot resurs limitləri aşılmadan əvvəl tətbiq xətalarını düzəltməyə imkan verir.
Aşağıdakı problemlər istehsal giriş loglarında müşahidə olunan ən tez-tez rast gəlinən anomaliyaları təmsil edir:
- Yüksək paralel tarama fəaliyyəti zamanı idarə olunmayan tətbiq istisnalarının səbəb olduğu HTTP 500 Daxili Server Xətası kodlarındakı artımlar.
- Veb serverlər maksimum işçi bağlantılara çatdıqda və ya tətbiq hovuzları yenidən başladıqda HTTP 503 Xidmət Əlçatan deyil xətalarındakı dalğalanmalar.
- Ziddiyyətli kanonik qaydalar və ya dinamik URL yenidən yazma parametrləri tərəfindən yaradılan həddindən artıq HTTP 301 və ya 302 yönləndirmə döngələri.
- Təkrarlanan filtr kombinasiyaları ilə minlərlə unikal URL yaradan faset naviqasiya bot tələləri.
- Etibarlı bot IP-lərini bloklayan yanlış konfiqurasiya edilmiş veb tətbiq firewall (WAF) dərəcə limitləri nəticəsində ümumi Googlebot sorğularında qəfil enişlər.
Log fayllarında orijinal Googlebot trafikini necə yoxlamaq olar?
Avtomatlaşdırılmış skreyinq skriptləri və zərərli botlar əsas giriş nəzarətlərini keçmək üçün tez-tez Googlebot user-agent sətirini saxtalaşdırır. Sorğu edən IP ünvanını təsdiqləmədən server log girişlərini təhlil etmək tapıntılarınızı təhrif edə və faktiki axtarış botu davranışı haqqında yanlış nəticələrə gətirib çıxara bilər.
Google, tərs DNS axtarışlarından istifadə edərək rəsmi yoxlama addımlarını dərc edir. Birincisi, log sətrinizdə qeyd olunan IP ünvanında tərs DNS axtarışı aparın. Alınan host adı googlebot.com və ya google.com ilə bitməlidir. İkincisi, həmin host adının tam olaraq eyni IP ünvanına qayıtdığını yoxlamaq üçün irəli DNS axtarışı aparın. Bu yoxlama prosesindən keçə bilməyən sorğular təcrid olunmalı və qanuni axtarış trafikindən ayrı qiymətləndirilməlidir.
Tarama anomaliyalarını addım-addım necə diaqnoz edə bilərsiniz?
Mürəkkəb tarama nümunələrini diaqnoz etmək strukturlaşdırılmış log təhlili prosesini tələb edir. Xam çox giqabaytlıq log fayllarını mətn redaktorlarında açmaq əvəzinə, məlumat qrupları logları əmr satırı yardım proqramları, verilənlər bazası sorğuları və ya xüsusi log vizuallaşdırma alətləri vasitəsilə emal edirlər.
Strukturlaşdırılmış diaqnostik rutin bu əsas addımları izləyir:
- Tarixi baza göstəricilərini müəyyən etmək üçün minimum 30 günü əhatə edən xam server giriş loglarını çıxarın.
- Log girişlərini Googlebot-Desktop, Googlebot-Smartphone və Googlebot-Image daxil olmaqla təsdiqlənmiş Googlebot user-agent-ləri ilə filtrləyin.
- Gündəlik xəta dərəcələrini aşkar etmək üçün təsdiqlənmiş sorğuları HTTP cavab status kodu (200, 301, 302, 404, 500, 503) üzrə qruplaşdırın.
- Qeyri-mütənasib bot diqqəti alan sahələri müəyyən etmək üçün sorğulanan URL-ləri kataloq strukturu üzrə toplayın.
- Botları ləngidən yavaş verilənlər bazası sorğularını müəyyən etmək üçün kataloq üzrə orta və 95-ci faiz cavab vaxtlarını hesablayın.
Alien Road Googlebot anomaliyaları üçün log təhlilini necə tətbiq edir
Alien Road-da texniki komandalarımız indeksləmə boşluqları və ya dinamik marşrutlaşdırma problemləri ilə üzləşən korporativ müştərilər üçün avtomatlaşdırılmış log daxiletmə boru kəmərlərini həyata keçirir. Biz kənar CDN qatlarından və mənşəli veb serverlərdən strukturlaşdırılmış analitik anbara təhlükəsiz giriş log axınını konfiqurasiya etməklə başlayırıq. Bu quraşdırma statik media fayllarını təcrid edir, beləliklə təhlilimiz ciddi şəkildə HTML sənədlərinə, JSON son nöqtələrinə və kritik sayt resurslarına yönəlir.
Sonra, biz təsdiqlənmiş Googlebot sorğu loglarını XML sayt xəritəsi inventarları və verilənlər bazası inventar vəziyyətləri ilə çarpaz yoxlayırıq. Tipik bir müştəri əlaqəsində bu proses, minlərlə sorğunun köhnə səhnələşdirmə marşrutlarına və ya məhsul kateqoriyası səhifələrindəki sonsuz filtr parametrlərinə düşməsi kimi gizli bot tullantılarını aşkar edir. Daha sonra biz tərtibatçı komandalara israf edilmiş sorğuları aradan qaldırmaq üçün dəqiq URL qaydaları, yenilənmiş robots.txt direktivləri və optimallaşdırılmış server konfiqurasiyaları təqdim edirik.
Server loglarını təhlil etmək texniki komandalara indeksləmə problemləri axtarış performansına təsir etməzdən əvvəl Googlebot-un sayt arxitekturasını necə kəşf etdiyinə, sorğuladığına və emal etdiyinə dair dərhal görünürlük verir.
Alien Road SEO Komandası
Googlebot-a təsir edən server xətalarını və dərəcə limitlərini necə düzəldirsiniz?
5xx server xətalarının həlli backend tərtibatçıları və infrastruktur mütəxəssisləri arasında sıx koordinasiya tələb edir. Log təhlili HTTP 503 xətalarının müəyyən saatlarda artdığını göstərdikdə, tətbiq server hovuzunun limitlərini və fon iş cədvəllərini nəzərdən keçirin. Verilənlər bazası bağlantısı hovuzunun limitlərini artırmaq və ya səhifə keşləmə qatı mexanizmlərini tətbiq etmək çox vaxt tutum darboğazlarını dərhal həll edir.
Tarama anomaliyaları dərəcə limitindən qaynaqlanırsa, CDN və ya Veb Tətbiq Firewall konfiqurasiyalarınızı yoxlayın. Firewall qaydalarının rəsmi Googlebot IP diapazonlarını ağ siyahıya saldığından və ya ciddi sorğu tezliyi limitləri əvəzinə avtomatlaşdırılmış tərs DNS yoxlamasına əsaslandığından əmin olun. Bundan əlavə, pik texniki xidmət pəncərələri zamanı müvəqqəti dərəcə tənzimlənməsi tələb olunarsa, serverinizin Retry-After başlıqları ilə standart HTTP 429 status kodlarını qaytardığından əmin olun.
Bu həftə log təhlilinizə haradan başlamaq lazımdır
Veb serverinizdən və ya CDN panelinizdən son yeddi günü əhatə edən giriş log fayllarını ixrac edin. Faylı user-agent sətirində Googlebot olan sorğular üçün filtrləyin və bütün hitlər üzrə qaytarılan HTTP status kodlarını ümumiləşdirin.
Server xətası status kodları ümumi bot sorğularının bir faizini aşarsa və ya minlərlə eyni sorğu yaradan tək URL nümunələri aşkar edərsə, bu yolları dərhal mühəndislik baxışı üçün qeyd edin. Bu darboğazları düzəltmək axtarış botlarının öz tutumlarını yüksək dəyərli səhifələrə ayırmasını təmin edir.