Resurs tutumlu Googlebot sorğularının müəyyən edilməsi və bloklanması

Resurs tutumlu Googlebot sorğularını bloklamaq, həddindən artıq server CPU və yaddaşını istehlak edən xüsusi URL-ləri və ya fayl nümunələrini müəyyən etməyi, sonra isə girişi idarə etmək üçün robots.txt direktivlərindən və ya HTTP status kodlarından istifadə etməyi əhatə edir. Bu proses, krolerin ən dəyərli məzmununuzu tapmasına imkan verərkən serverinizin sabit qalmasını təmin edir. Server loglarını və Search Console-u izləməklə, krol prosesini ləngidən və sayt sürətinizə təsir edən skriptləri və ya böyük faylları dəqiq müəyyən edə bilərsiniz.

Resurs tutumlu sorğunu nə xarakterizə edir?

Resurs tutumlu sorğu, kroler emal üçün əhəmiyyətli server səyi tələb edən bir səhifəyə daxil olduqda baş verir. Bu, tez-tez məzmunu dərhal yaradan dinamik URL-lərlə baş verir. Məsələn, e-ticarət saytındakı axtarış nəticələri səhifəsi Googlebot hər dəfə daxil olduqda mürəkkəb verilənlər bazası sorğularını işə sala bilər. Bu sorğular sadə statik HTML faylından daha çox RAM və CPU istehlak edir.

Böyük media faylları və optimallaşdırılmamış skriptlər də bu kateqoriyaya aiddir. Əgər Googlebot qısa müddət ərzində yüzlərlə yüksək keyfiyyətli şəkil və ya böyük PDF sənədlərini əldə etməyə çalışarsa, server yükü artır. Bu davranış real istifadəçilər üçün saytı ləngidə bilər. Bu nümunələri müəyyən etmək effektiv kroler idarəetməsinə doğru ilk addımdır.

Server logları krol intensivliyini necə müəyyən edə bilər?

Server logları Googlebot və veb saytınız arasındakı hər bir qarşılıqlı əlaqənin xam qeydini təmin edir. Hər bir giriş IP ünvanını, vaxt damğasını və tələb olunan xüsusi URL-i ehtiva edir. Bu logları Googlebot istifadəçi agenti üçün filtrləməklə, saytınızın hansı bölmələrinin daha tez-tez krol edildiyini görə bilərsiniz. Eyni kataloqdakı yüksək tezlikli hitlər tez-tez krol dövrəsini və ya səmərəsiz sayt strukturunu göstərir.

Veb serveriniz Googlebot-dan gələnlər də daxil olmaqla, saytınıza edilən hər bir sorğunun qeydini saxlayır.

Google Search Central

Bu sorğular üçün cavab müddətini təhlil etmək darboğazları tapmağa kömək edir. Əgər müəyyən URL-lər krolerə cavab vermək üçün ardıcıl olaraq 2 saniyədən çox vaxt aparırsa, onlar resurs tutumludur. Bu məlumatı çıxarmaq üçün Linux serverlərində awk və ya grep kimi alətlərdən istifadə edə bilərsiniz. Log formatınızda yüksək ‘time taken’ dəyərlərinə malik 200 kimi status kodlarını axtarın.

Server loglarında izləniləcək ümumi sahələr

• Müştəri IP Ünvanı: Sorğunun həqiqətən Google IP diapazonundan gəlib-gəlmədiyini yoxlayır.
• Sorğu URL-i: ?sort=price kimi sorğu parametrləri daxil olmaqla, xüsusi yolu müəyyən edir.
• HTTP Status Kodu: Sorğunun uğurlu olub-olmadığını (200) və ya xəta yaradıb-yaratmadığını (500) göstərir.
• Alınan Vaxt: Serverin sorğunu emal etməyə sərf etdiyi millisaniyələri ölçür.
• İstifadəçi Agent: Googlebot-un mobil və ya masaüstü versiyası olub-olmadığını təsdiqləyir.

Kroler girişini idarə etmək üçün robots.txt istifadəsi

robots.txt faylı axtarış motoru krolerləri ilə ünsiyyət üçün əsas alətinizdir. Googlebot-un resurs tutumlu kataloqlara daxil olmasının qarşısını almaq üçün ‘Disallow’ direktivindən istifadə edə bilərsiniz. Məsələn, daxili axtarış səhifələriniz serveri ləngidirsə, /search/ yolunu tamamilə bloklaya bilərsiniz. Bu, krolerin həmin bahalı verilənlər bazası çağırışlarını başlatmasının qarşısını alır.

Düzgün konfiqurasiya krolerin vaxtını axtarış görünürlüyünü artıran səhifələrə sərf etməsini təmin edir.

Google Search Central

Direktivlərinizlə konkret olmaq vacibdir. Vacib CSS və ya JavaScript fayllarını bloklamaq Googlebot-un səhifələrinizi düzgün göstərməsinə mane ola bilər. Bu, saytınızın axtarış nəticələrində pozulmuş kimi göründüyü indeksləmə problemlərinə səbəq ola bilər. robots.txt dəyişikliklərinizi istehsalata göndərməzdən əvvəl həmişə Google Search Console robots.txt Tester-də sınaqdan keçirin.

Niyə Googlebot bəzən serveri yükləyir?

Googlebot saytınızı serverinizin icazə verdiyi qədər sürətlə, problemlər yaratmadan krol etməyə çalışır. Lakin, server konfiqurasiyanız zəifdirsə və ya saytınızda ‘sonsuz boşluqlar’ varsa, kroler istəmədən yük artımına səbəb ola bilər. Sonsuz boşluqlar tez-tez təqvim vidjetləri və ya sonsuz sayda unikal URL yaradan mürəkkəb filtrləmə sistemləri tərəfindən yaradılır. Bu unikal URL-lərin hər biri kroler üçün yeni səhifə kimi görünür.

Bundan əlavə, yeni məzmunun qəfil artması krol fəaliyyətində sıçrayışa səbəb ola bilər. Saytı miqrasiya etsəniz və ya minlərlə yeni məhsul yükləsəniz, Googlebot bu elementləri kəşf etmək və indeksləmək üçün daha çox çalışacaq. Əgər server bu həcm üçün hazır deyilsə, həm bota, həm də müştərilərinizə sorğulara xidmət etməkdə çətinlik çəkə bilər. Search Console-da Crawl Stats hesabatını izləmək bu tendensiyaları erkən görməyə kömək edir.

Alien Road kroler idarəetməsini necə tətbiq edir

Alien Road-da biz müştərilərimizin server resurslarını qoruyarkən güclü axtarış görünürlüyünü saxlamaq üçün sistemli bir prosesi izləyirik. Biz ən çox emal vaxtı sərf edən URL-lərin ilk 5%-ni müəyyən etmək üçün server loglarının hərtərəfli auditi ilə başlayırıq. Tipik bir hesabda, biz tez-tez dinamik filtrlərin və ya sessiya ID-lərinin əsas günahkar olduğunu görürük. Sonra bu halları idarə etmək üçün xüsusi qaydalar tətbiq edirik.

Məsələn, mürəkkəb məhsul etiketləri olan bir Shopify mağazası üçün biz Googlebot-un minlərlə filtr kombinasiyasını krol etdiyini görə bilərik. Biz bu davranışı məhdudlaşdırmaq üçün URL Parametrləri alətindən və robots.txt-dən istifadə edirik. Komandamız Googlebot üçün orta cavab müddəti müəyyən bir həddi aşarsa, bizə bildiriş göndərən avtomatlaşdırılmış xəbərdarlıqlar qurur. Bu, server ləngiməsi istifadəçi təcrübəsinə təsir etməzdən əvvəl reaksiya verməyimizə imkan verir.

Addım-addım audit prosesimiz

• Log Toplanması: Uzunmüddətli krol nümunələrini görmək üçün 30 günlük xam server loglarını toplayırıq.
• Bot Doğrulaması: Trafikin qanuni Googlebot olduğunu və skreyper olmadığını təmin etmək üçün tərs DNS axtarışları aparırıq.
• Yol Müəyyənləşdirilməsi: Saytın hansı bölmələrinin ən çox resurs tutumlu olduğunu tapmaq üçün URL-ləri kataloq üzrə qruplaşdırırıq.
• Direktivin Tətbiqi: Qeyri-vacib, ağır yolları bloklamaq üçün robots.txt faylını yeniləyirik.
• Performans Monitorinqi: Yükün azaldığını təsdiqləmək üçün GSC-də ‘Crawl Stats’-ı izləyirik.

Googlebot-u ləngitmək üçün status kodlarından istifadə edə bilərsinizmi?

Əgər serveriniz dərhal gərginlik altındadırsa, Googlebot-a ləngiməyi bildirmək üçün HTTP status kodlarından istifadə edə bilərsiniz. 429 (Çox Sayda Sorğu) status kodu xüsusilə bu məqsəd üçün nəzərdə tutulmuşdur. Googlebot 429 kodu aldıqda, müəyyən müddət ərzində krol sürətini azaltmalı olduğunu başa düşür. Bu, yüksək trafik zamanı tam server qəzasının qarşısını almaq üçün müvəqqəti bir həlldir.

Digər bir seçim 503 (Xidmət Əlçatmazdır) status kodudur. Bu, krolerə serverin müvəqqəti olaraq sorğunu emal edə bilmədiyini bildirir. Bundan əlavə, krolerin nə vaxt qayıtmalı olduğunu təklif etmək üçün 503 kodu ilə ‘Retry-After’ başlığından istifadə edə bilərsiniz. Effektiv olsa da, bunlar qənaətlə istifadə edilməlidir, çünki davamlı 503 və ya 429 xətaları nəticədə səhifələrin indeksdən çıxarılmasına səbəb ola bilər.

Gələcək günlər üçün fəaliyyət planı

Google Search Console-a daxil olaraq və Parametrlər menyusu altında ‘Crawl Stats’ hesabatına keçərək başlayın. ‘Average response time’ qrafikində kəskin yüksəlişləri yoxlayın. Əgər sıçrayışlar görürsünüzsə, hostinq provayderinizdən və ya İT komandanızdan xam server qeydlərinizi tələb edin. Ağır resursları müəyyən etmək üçün həmin pik vaxtlarda sorğulanan URL-ləri axtarın.

Problemli yolları müəyyən etdikdən sonra onları bloklamaq üçün robots.txt faylınızı yeniləyin. Əgər resurslar böyük JavaScript faylları kimi səhifənin render edilməsi üçün vacibdirsə, kodu optimallaşdırmağı və ya server yükünü azaltmaq üçün Content Delivery Network (CDN) istifadə etməyi düşünün. Dəyişikliklərinizin server performansına istədiyiniz təsiri göstərdiyinə əmin olmaq üçün Crawl Stats-ı gündəlik izləməyə davam edin.