Googlebot skan büdcəsi təhlili axtarış sistemi skanerlərinin veb sayt domeninizdə səhifələri necə tələb etdiyini izləmək üçün server log fayllarınızın yoxlanılmasını əhatə edir. Sayt bir neçə min URL-dən çox böyüdükdə, serverə giriş nümunələrini başa düşmək təzə məzmunun tez bir zamanda kəşf olunmasını təmin etmək üçün zəruri olur. Log təhlili olmadan siz Googlebot-un gündəlik qarşılaşdığı xüsusi server sorğularını və cavab kodlarını gizlədən Search Console-dakı aqreqat nümunə hesabatlarına tamamilə güvənirsiniz. Texniki komandalar axtarış sistemi hörümçəklərinin təzə məzmun yeniləmələrini indeksləşdirməsinə mane olan gizli maneələri aşkar etmək üçün bu xam məlumatlardan istifadə edirlər.
Bu auditin həyata keçirilməsi adətən hostinq idarəetmə panelinizdə tapılan və ya CDN təminatçınız vasitəsilə əldə edilən server loglarınızla birbaşa əlaqə tələb edir. Bu logları filtrləməklə siz Googlebot-un sayt arxitekturanızı necə qavradığına dair aydın mənzərə əldə edirsiniz. Bu diaqnostik yanaşma sayt sahiblərinə təxminlərdən uzaqlaşmağa və skan səmərəliliyinə məlumat əsaslı təkmilləşdirmələr tətbiq etməyə kömək edir.
Googlebot skan büdcəsi nədir və o niyə vacibdir?
Skan büdcəsi skan tutumu limitinin və skan tələbatının birləşməsidir. Skan tutumu limiti istifadəçi təcrübəsini pisləşdirmədən Googlebot-un serverinizə neçə eyni vaxtda əlaqə yarada biləcəyini müəyyənləşdirir. Əgər mənbə serveriniz yavaş cavab verərsə, Googlebot ağır yük altında infrastrukturunuzun sıradan çıxmasının qarşısını almaq üçün sorğu sürətini avtomatik olaraq azaldır.
Skan tələbatı URL populyarlığından və səhifələrin indeksdə köhnəlmək riski olub-olmamasından asılıdır. Böyük e-ticarət platformaları və nəşriyyatlar dəyəri aşağı olan URL-lər skan limitini tükətdikdə, vacib məhsul və ya kateqoriya səhifələrini günlərlə və ya həftələrlə ziyarət olunmamış qoyduqda tez-tez problemlərlə qarşılaşırlar. Məsələn, minlərlə filtr kombinasiyası olan nəhəng kataloq skanerləri asanlıqla nazik məzmunun sonsuz dövrlərinə sala bilər.
Serverinizin cavab müddətləri ilə skan tezliyi arasındakı əlaqəyə nəzarət etmək vacibdir. Əgər serveriniz cavab vermək üçün 500 ms sərf edərsə, Googlebot serveriniz 100 ms-də cavab verdiyi halda alacağı səhifələrin yalnız bir hissəsini gətirə bilər. Verilənlər bazası sorğularınızı və keşləmə strategiyalarınızı optimallaşdırmaqla siz Googlebot-un yeni məzmununuzu daha sürətli görməsi üçün tutumu effektiv şəkildə artırırsınız.
Server loglarını təhlil üçün necə toplaya və hazırlaya bilərsiniz?
Log təhlilinə başlamaq üçün hostinq təminatçınızdan, məzmun çatdırılma şəbəkəsindən və ya yük balanslaşdırıcısından xam giriş loglarını ixrac edin. Bu loglarda mənbə serverinizə daxil olan hər bir HTTP sorğusu üçün vaxt damğalı qeydlər var. Googlebot istifadəçi agentlərini adi insan ziyarətçilərdən və digər avtomatlaşdırılmış botlardan təcrid etmək üçün bu nəhəng mətn fayllarını filtrləməlisiniz. Əmr sətri alətlərindən və ya xüsusi log təhlili proqram təminatından istifadə bu böyük mətn fayllarını səmərəli şəkildə emal etməyə kömək edir.
- Təsdiqlənmiş Googlebot istifadəçi agenti sətrlərini və uyğun IP ünvanlarını ehtiva edən log xətlərini filtrləyin.
- Xüsusi resursların render edilməsi problemləri araşdırılmırsa, şəkillər, üslub cədvəlləri və şriftlər kimi statik aktiv sorğularını silin.
- Trafik piklərini və ya skan enmələrini aşkar etmək üçün sorğuları URL, HTTP status kodu və günün vaxtı üzrə birləşdirin.
Müvafiq log girişlərini təcrid etdikdən sonra zamanla skaner davranışını vizuallaşdırmaq üçün xüsusi pivot cədvəlləri və ya idarəetmə panelləri yarada bilərsiniz. Bu göstəriciləri həftəlik izləmək server səhvləri və ya təsadüfi firewall blokları səbəb olduğu qəfil skan enmələrini tutmağa kömək edir. Sayt yeniləmələri və ya əsas xəbər hadisələri əsasında skan tezliyində dəyişikliklərin olması adťəndir.
Əgər yüksək trafikli sayt idarə edirsinizsə, loglarınızı saxlamaq və sorğulamaq üçün ELK stack və ya BigQuery kimi alətlərdən istifadə etməyi düşünün. Bu alətlər skan davranışındakı uzunmüddətli tendensiyaları müəyyən etmək üçün həyati əhəmiyyət kəsb edən tarixi müqayisələr aparmağa imkan verir. Məsələn, sayt miqrasiyasının Googlebot-un əsas inventar səhifələrinizi necə tələb etməsində daimi dəyişikliyə səbəb olub-olmadığını müəyyən edə bilərsiniz.
Hansı HTTP status kodları skan büdcəsinin israfını göstərir?
Server logları Googlebot qapını döyəndə serverinizin hansı status kodunu qaytardığını dəqiq göstərir. Çoxlu yönləndirmə dövrləri, server səhvləri və ya qırıq linklər qiymətli skan əməliyyatlarını israf edir. Məsələn, yekun 200 OK səhifəsinə çatmazdən əvvəl üç 301 yönləndirmə zənciri tək sənəd üçün bir neçə sorğu dövrünü yandırır.
- 5xx səhvləri: Skanerləri geri çəkilməyə və sorğu sürətini azaltmağa məcbur edən serverin həddən artıq yüklənməsi və ya vaxt aşımı problemləri.
- 4xx səhvləri: Xarici istinadlardan davamlı skan cəhdləri alan qırıq linklər və ya silinmiş səhifələr.
- 3xx zəncirləri: Məzmun kəşfini gecikdirən və lazımsız server resurslarını istehlak edən həddindən artıq yönləndirmə yolları.
Bu səhv cavabların düzəldilməsi Googlebot-un etdiyi hər bir sorğunun birbaşa saytınızda etibarlı indekslənə bilən məzmunun kəşf edilməsinə və ya yenilənməsinə töhfə verməsini təmin edir. Əvvəlcə 5xx səhvlərinin düzəldilməsinə üstünlük verməlisiniz, çünki bunlar Googlebot-a infrastrukturunuzun hazırda etibarsız olduğuna dair birbaşa siqnallardır.
4xx səhvləri üçün qırıq URL-lərə hansı səhifələrin keçid etdiyini tapmaq üçün loglarınızdan istifadə edin. Çox vaxt bunlar artıq məqsədə xidmət etməyən köhnəlmiş daxili linklər və ya kimsəsiz səhifələrdir. Bu linklərin silinməsi və ya düzəldilməsi skanerə məhdud büdcəsini trafik gətirən canlı, yüksək dəyərli səhifələrə yönəltməyə imkan verir.
Log fayllarınızda parametr şişməsini necə müəyyənləşdirə bilərsiniz?
URL parametr şişməsidir israf edilmiş skan tutumunun əsas səbəbkarıdır. E-ticarət saytları çeşidləmə seçimləri, valyuta seçiciləri və izləmə teqləri vasitəsilə məhsul səhifələrinin sonsuzvariasiyalarını yaradır. Log ixracatlarını nəzərdən keçirərkən, Googlebot-un gündəlik sorğularının əllisiz faizini unikalinventar əvəzinə duplikat filtr kombinasiyalarına sərf edib-etmədiyini görmək üçün URL-ləri yol strukturu üzrə qruplaşdırın.
Parametr israfının aradan qaldırılması robots.txt qadağan qaydalarını, Search Console-da parametr idarəetmə təlimatlarını və ya kanonik link tətbiqlərini birləşdirən möhkəm strategiya tələb edir. Tətbiqdən sonrakı server loglarınıza nəzarət etmək Googlebot-un diqqətini təmiz URL strukturlarına uğurla yönəldib-yönəltmədiyini təsdiqləyir.
Sorğu sətrlərini xüsusi olaraq nəzərdən keçirin. Əgər tək məhsul səhifəsi üçün minlərlə variasiya görürsünüzsə, daxili axtarış funksionallığınızın və ya filtr naviqasiyanızın skan edilə bilən URL-lərin sonsuz dövrünü yaratması ehtimalı yüksəkdir. Bunları kanonik teq vasitəsilə birləşdirmək səhifənin hansı versiyasının əsas olduğunu Google-a bildirməyin standart yoludur.
Alien Road bunu necə tətbiq edir
Alien Road-da bizim texniki SEO iş prosesimiz müştəri infrastrukturunun və log fayllarının hərtərəfli nəzərdən keçirilməsi ilə başlayır. Minlərlə SKU satan pərakəndə satış müştərisi üçün audit apararkən, biz əvvəlcə skan paylanmasını xəritələşdirmək üçün xam Apache və ya Nginx loglarını təhlil edirik. Biz faset parametrlərinin və ya çeşidləmə filtrlərinin skaner diqqətini sərf etdiyi nümunələri axtarırıq. Bu səhv idarə olunan yolları müəyyən etməklə komandamız Googlebot diqqətini yüksək konversiyalı açılış səhifələrinə yönəltmək üçün düzgün robots.txt direktivlərini və kanonik teqləri konfiqurasiya etməyə kömək edir.
Bizimlə strukturlaşdırılmış əməkdaşlıq prosesimiz davamlı log monitorinq boru kəmərlərinin qurulmasını, cavab başlıqlarının auditini və simulyasiya edilmiş yük altında server tutumu limitlərinin sınaqdan keçirilməsini əhatə edir. Bu proaktiv yanaşma böyük müəssisə domenləri üçün davamlı indeksləşdirmə sağlamlığını təmin edir. Biz saytın ən vacib bölmələri üçün təzə indeksləşdirmə tezliyini yaxşılaşdıran nəticələrə diqqət yetiririk.
Strukturlaşdırılmış məlumat veb-sayt məzmununuz və axtarış sistemləri arasında körpü rolunu oynayır.
Google Search Central
Bu həftə haradan başlamaq lazımdır
Əsas istehsal serverinizdən bir həftəlik server loglarını yükləməklə başlayın. ‘Googlebot’-dan gələn müraciətlərin sayını saymaq üçün sadə mətn redaktorundan və ya log təhlili alətindən istifadə edin. Əgər bu müraciətlərin 30%-dən çoxunun 4xx və ya 5xx status kodu qaytardığını aşkar etsəniz, dərhal təkmilləşdirmə üçün yeriniz var.
Sonra, ən çox skan klikləri alan URL-ləri cari sayt strukturunuzla çarpaz şəkildə yoxlayın. Əgər Googlebot-un axtarış nəticələri səhifələrinə və ya daxil olma ekranlarına vaxt sərf etdiyini görürsünüzsə, gələcək skanlardan bloklamaq üçün bu yolları robots.txt faylınıza əlavə edin. Bu az səy tələb edən dəyişikliklərə diqqət yetirmək skan büdcəsi səmərəliliyi üçün ən dərhal nəticələr verəcəkdir.