Googlebot-un daxilində: tarama, əldə etmə və emal etdiyimiz baytların sirləri

Çərşənbə axşamı, 31 mart 2026

Əgər dinləmisinizsə
Search Off the Record podkastının 105-ci epizodunu,
ürəyimizə (və serverlərimizə) yaxın olan bir mövzunu dərindən araşdırdığımızı eşidə bilərsiniz:
Googlebot-un daxili mexanizmi.

Uzun müddətdir ki, “Googlebot” adı tək,
yorulmaz bir robotun interneti sistematik şəkildə oxuduğu təəssüratını yaradır. Lakin reallıq bir qədər
daha mürəkkəbdir və qat-qat maraqlıdır. Bu gün biz bayt ölçüsü limitlərinə xüsusi diqqət yetirməklə,
tarama infrastrukturumuzun pərdəarxasına nəzər salmaq istəyirik.

Birincisi, Googlebot tək bir proqram deyil

Gəlin əvvəlcə tarixi bir yanlış anlaşılmanı aradan qaldıraq. 2000-ci illərin əvvəllərində Google-un
tək bir məhsulu var idi, ona görə də tək bir kroulerimiz var idi. “Googlebot” adı da oradan qaldı. Lakin
bu gün Googlebot mərkəzləşdirilmiş tarama platformasına bənzər bir sistemin sadəcə istifadəçisidir.

Server loqlarınızda Googlebot görəndə, siz əslində sadəcə Google
Axtarışına baxırsınız. Google Shopping, AdSense və
digər bir çox müştəri öz tarama sorğularını müxtəlif krouler adları altında bu eyni infrastruktur üzərindən yönləndirir; daha böyükləri burada sənədləşdirilib:
Google Krouler infrastrukturu səhifəsi.

2MB limiti: baytlarınızın başına nə gəlir?

Məsələnin bir qədər qarmaşıqlaşdığı yer budur. Krouler infrastrukturunun hər bir müştərisi əldəetmə əməliyyatları üçün müəyyən parametrlər təyin etməlidir.
Bu parametrlərə istifadəçi agenti sətri (user agent string), robots.txt faylında hansı istifadəçi agenti tokenlərini
axtaracaqları və tək bir URL-dən neçə bayt əldə edəcəkləri daxildir.

Googlebot hazırda istənilən fərdi URL üçün 2MB-a qədər məlumat əldə edir (PDF-lər istisna olmaqla).
Bu o deməkdir ki, o, HTTP başlığı daxil olmaqla resursun yalnız ilk 2MB hissəsini tarayır. PDF faylları üçün limit 64MB-dır.

Şəkil və video kroulerləri adətən geniş hədd dəyərlərinə malikdir
və bu, əsasən məlumatı əldə etdikləri məhsuldan asılıdır. Məsələn,
favicon-un əldə edilməsi Şəkil Axtarışından fərqli olaraq çox aşağı limitə malik ola bilər.

Hədd təyin etməyən digər istənilən krouler üçün standart dəyər məzmun növündən asılı olmayaraq 15MB-dır.

Bunun serverinizin şəbəkə üzərindən göndərdiyi baytlar üçün mənası nədir?

1. Qismən əldəetmə: Əgər HTML faylınız 2MB-dan böyükdürsə,
   Googlebot səhifəni rədd etmir. Əvəzində, əldəetməni məhz 2MB sərhəddində dayandırır.
   Nəzərə alın ki, limitə HTTP sorğu başlıqları da daxildir.
2. Sərhədin emalı: Endirilmiş bu hissə (ilk
   2MB bayt) indeksləmə sistemlərimizə və Veb Renderinq Xidmətinə (WRS)
   sanki tam faylmış kimi ötürülür.
3. Görünməyən baytlar: Həmin
   2MB həddindən sonra
   mövcud olan istənilən bayt tamamilə nəzərdən qaçırılır. Onlar əldə edilmir, render olunmur və indekslənmir. Resursların cəlb edilməsi: HTML-də istinad edilən hər bir resurs (media, şriftlər və bir neçə qeyri-adi fayl istisna olmaqla)
   ana HTML kimi Googlebot ilə WRS tərəfindən əldə ediləcək. Onların özlərinin, ayrı, URL başına düşən bayt sayğacı var və ana səhifənin ölçüsünə daxil edilmir.
4. Vebin əksər hissəsi üçün 2MB həcmindəki HTML çox böyükdür və siz
   heç vaxt bu limitlə qarşılaşmayacaqsınız. Lakin əgər səhifənizdə həddindən artıq böyük inline base64 şəkilləri, nəhəng inline CSS/JavaScript blokları varsa
   və ya meqabaytlarla menyularla başlayırsa, real mətn məhvelərinizi və ya kritik strukturlaşdırılmış məlumatlarınızı təsadüfən 2MB sərhədindən kənara itələyə bilərsiniz. Həmin vacib baytlar əldə edilməzsə, Googlebot üçün onlar sadəcə mövcud deyil. Baytların render edilməsi

Krouler baytları uğurla əldə etdikdən sonra (limit daxilində),
estafeti WRS-ə ötürür. WRS JavaScript-i emal edir və səhifənin son vizual və mətn vəziyyətini başa düşmək üçün müasir brauzerə bənzər şəkildə müştəri tərəfi kodunu icra edir. Renderinq JavaScript və CSS fayllarını cəlb edir, icra edir və səhifənin mətn məzmununu və strukturunu daha yaxşı başa düşmək üçün XHR sorğularını emal edir (şəkil və ya videoları tələb etmir). Tələb olunan hər bir resurs üçün 2MB limiti də tətbiq olunur.

Lakin unutmayın ki, WRS yalnız kroulerin faktiki olaraq əldə etdiyi kodu icra edə bilər. Bundan əlavə,
WRS mənsiz (stateless) işləyir
— o, sorğular arasındakı lokal yaddaşı və sessiya məlumatlarını təmizləyir. Bu, dinamik, JavaScript-dən asılı elementlərin sistemlərimiz tərəfindən necə şərh olunduğuna dair xüsusi təsirlərə malik ola bilər.

Baytlarınız üçün ən yaxşı təcrübələr

Googlebot-un məzmununuzu səmərəli şəkildə əldə edib başa düşməsini təmin etmək üçün
bayt səviyyəsində bu ən yaxşı təcrübələri yadda saxlayın:
HTML-inizi sadə saxlayın:
Ağır CSS və JavaScript-i xarici
fayllara köçürün. İlkin HTML sənədi 2MB ilə məhdudlaşsa da, xarici skriptlər və üslub cədvəlləri ayrı-ayrılıqda əldə edilir (özlüklərində limitlərə tabedir).

Ardıcıllıq vacibdir:

Ən kritik elementlərinizi —
məsələn, meta teqləri,

• <title> elementləri,
• <link> elementləri, kanoniklər (canonical) və vacib strukturlaşdırılmış məlumatları — HTML sənədində daha yuxarıda yerləşdirin. Bu, onların sərhəddən aşağıda qalma ehtimalını azaldır. Server loqlarınızı izləyin: Serverinizin cavab müddətlərinə
  nəzarət edin. Əgər serveriniz baytları təqdim etməkdə çətinlik çəkirsə, kroulerlərimiz infrastrukturunuzu həddindən artıq yükləməmək üçün avtomatik olaraq yavaşlayacaq ki, bu da tarama tezliyinizi azaldacaq.
  Nəzərə alın ki, bu limit dəyişməz deyil və veb inkişaf etdikcə və HTML səhifələri böyüdükcə (və ya kiçildikcə,
  ümmid edirik ki, kiçiləcək) zamanla dəyişə bilər.
• Tarama sehir deyil; o, yüksək səviyyədə təşkil olunmuş, miqyaslanan bayt mübadiləsidir. Mərkəzi əldəetmə infrastrukturumuzun həmin baytları necə əldə etdiyini və məhdudlaşdırdığını başa düşməklə, saytınızın ən vacib məzmununun həmişə seçilməsini təmin edə bilərsiniz. Uğurlu optimizasiyalar!

Pərdəarxası haqqında daha çox detal eşitmək istəyirsiniz? YouTube-da Search Off the Record podkastının 105-ci epizoduna baxın

və ya podkastları haradan dinləyirsinizsə orada tapın!

Paylaşdı:

Gary
Inside Googlebot: demystifying crawling, fetching, and the bytes we process | Alien Road
If you tuned into episode 105 of the Search Off the Record podcast, you might have heard us diving deep into a topic that is close to our hearts (and our…

New Location for the Google Crawlers’ IP Range Files
Çərşənbə axşamı, 31 mart 2026.