Server Log Fayllarında Googlebot Crawl Anomaliklərinin Həll Edilməsi

Server loq faylları hostinq infrastrukturunuza edilən hər bir HTTP sorğusunu qeydə alır. İcra edilmiş JavaScript etiketlərinə əsaslanan müştəri tərəfi analitika alətlərindən fərqli olaraq, giriş loqları şəkillər, statik aktivlər və render olunmamış HTML səhifələri üçün sorğular da daxil olmaqla hər bir sorğunun xam həqiqətini göstərir.

Tarama anomaliyası Googlebot-un ziyarət nümunəsi gözlənilən sayt strukturundan kənara çıxdıqda baş verir. Ümumi nümunələrə 500 daxili server xətalarında qəfil artımlar, faketli naviqasiya URL-lərinə təkrar müraciətlər və ya aktivlərin render edilməsi zamanı kəsilmiş bağlantılar daxildir. Bu anomalilər davam etdikdə, axtarış sistemləri server qəzalarının qarşısını almaq üçün tarama tezliyini azaldır və yeni və ya yenidən işlənmiş məzmun üçün indeks yeniləmələrini ləngidir.

Status kodu uyğunsuzluqları çox vaxt miqrasiyalardan, URL yenidən strukturlaşdırılmasından və ya səhv konfiqurasiya edilmiş veb server yönləndirmə qaydalarından sonra baş verir. Ümumi problem köhnə URL-in son təyinat yerinə çatmazdandır əvvəl bir neçə hopdan keçdiyi yönləndirmə zənciridir. Hər bir hop gecikməni artırır və qurd resurslarını sərf edir.

301 yönləndirməsi trafiki bir URL-dən digərinə həmişəlik köçürən və reytinq səlahiyyətini tək bir təyinat nöqtəsində effektiv şəkildə birləşdirən server tərəfi təlimatı kimi xidmət edir.

Google Search Central

Bu server təlimatları uğursuz olduqda, axtarış sistemləri təmiz cavablar əvəzinə 404, 502 və ya 503 kodları alır. Server çatışmayan məzmunu göstərən səhifə üçün HTTP 200 OK başlıq qaytaranda loqlarda Yumşaq 404-lər də görünə bilər. Giriş qeydləri daxilində status kodlarını yoxlamaq serverinizin eyni məzmunu müxtəlif başlıqlar altında təqdim edib-etmədiyini və ya qüsurlu yönləndirmələrlə qurdları azdırdığını aşkar edir.

‘Googlebot’ oxuyan istifadəçi agenti sətri ilə avtomatlaşdırılmış skripti hər kəs konfiqurasiya bilər. Yalnız istifadəçi agenti sətrlərinə etibar etmək yanıltıcı audit nəticələri verir və orijinal qurd davranışını zərərli skreyperlərin arxasında gizlədir.

Loq girişinin orijinal Google qurduna aid olduğunu təsdiqləmək üçün tərs DNS axtarışı və ardınca irəli axtarış həyata keçirin. Bu iki mərhələli yoxlama tələb edən IP ünvanının Google-a məxsus səlahiyyətli domenə həll olunmasını təmin edir.

• Host adının googlebot.com və ya google.com ilə bitdiyini yoxlamaq üçün host əmrindən istifadə edərək qeydə alınmış IP ünvanı üzərində tərs DNS axtarışı işlədin.
• Dəqiq ilkin IP ünvanına geri xəritələndiyini yoxlamaq üçün host əmrindən istifadə edərək yaranan host adı üzərində irəli DNS axtarışı həyata keçirin.
• Googlebot və xüsusi qurdlar üçün Google-un ictimaiyyət tərəfindən dərc edilmiş JSON IP diapazonlarına qarşı IP ünvanını çarpaz istinad edin.
• Tarama tezliyini və ya tarama büdcəsi metriklərini hesablamaqdan əvvəl saxta IP ünvanlarını analitik məlumat dəstlərinizdən filtrləyin.

Axtarış sistemləri host yükü tutumuna və məzmun tələbatına əsasən hər bir vebsayta sonlu tarama sürəti ayırır. Googlebot səfərlərini vacib olmayan URL-lərə sərf etdikdə, yeni məhsullar və ya dəyərli məqalələr həftələrlə ziyarət olunmamış qalır. Giriş loqlarının təhlili bu fəaliyyətin server tutumunu harada tükətdiyini dəqiqləşdirməyə kömək edir.

Mütəmadi loq faylı auditləri zamanı bu ümumi israf nümunələrinə diqqət yetirin:

• Faketli naviqasiya dövrləri: Demək olar ki, dublikat səhifələr qaytaran milyonlarla kombinasiya yaradan filtr, çeşidləmə və axtarış parametrləri.
• URL-lərdə sessiya identifikatorları: Eyni əsas sənəd üçün unikal URL-lər yaradan daxili bağlantılara əlavə edilmiş izləmə parametrləri.
• Daxili yönləndirmə zəncirləri: Googlebot-un cari təyinat yerinə enməzdən əvvəl bir neçə 301 və ya 302 sıçrayışını işə salan köhnə URL-ləri tələb etməsi.
• Sıxılmamış və ya ağır statik aktivlər: Server cavab vaxtlarını ləngidən şişirdilmiş JSON faylları, optimallaşdırılmamış SVG-lər və ya dinamik CSS faylları üçün həddindən artıq sorğular.
• Sonlu sleş uyğunsuzluqları: Düzgün kanonikləşdirmə və ya server yönləndirmələri olmadan həm sleş, həm də sleşsiz URL yollarında dublikat məzmun təqdim edilməsi.

Tək səhifəli çərçivələr üzərində qurulmuş müasir veb tətbiqləri tez-tez resurs yükləməsinin vaxtını dəyişdirir. Tətbiq brauzerə çılpaq HTML qabığı çatdırdıqda, qurd Sənəd Obyekt Modelini qurmaq üçün JavaScript paketlərini, asinxron JSON son nöqtələrini və xarici üslub cədvəllərini tələb etməlidir.

Xam server loqlarında bu davranış tək HTML vuruşundan sonra aktiv sorğularının sürətli partlayışı kimi görünür. API serveriniz yavaş cavab verərsə və ya dərəcə məhdudlaşdırma xətaları (HTTP 429) yaradarsa, qurd loqları uğursuz aktiv gətirmələrini göstərir. Həmin uğursuzluqlar buraxılmış bağlantılara, indekslənməmiş mətnə və ya əskik strukturlaşdırılmış məlumatlara səb ola bilən natamam renderinqə gətirib çıxarır.