Googlebot

Googlebot, Google Axtarışı tərəfindən istifadə olunan iki növ
veb krolerin ümumi adıdır:

• Googlebot Smartphone:
  mobil cihazdakı istifadəçini simulyasiya edən mobil kroler.
• Googlebot Desktop:
  masaüstü kompüterdəki istifadəçini simulyasiya edən masaüstü kroler.

Googlebot-un alt növünü
HTTP user-agent sorğu başlığına
baxaraq müəyyən edə bilərsiniz. Lakin hər iki kroler növü robots.txt faylında eyni məhsul tokeninə (user agent token) tabedir, buna görə də robots.txt istifadə edərək Googlebot Smartphone və ya Googlebot Desktop-u seçici şəkildə hədəfləyə bilməzsiniz.

Əksər saytlar üçün Google Axtarışı ilk növbədə
kontentin mobil versiyasını
indeksləyir. Beləliklə, Googlebot krol sorğularının əksəriyyəti mobil kroler, az bir qismi isə masaüstü kroler vasitəsilə həyata keçiriləcək.

Googlebot saytınıza necə daxil olur

Əksər saytlar üçün Googlebot orta hesabla bir neçə saniyədə bir dəfədən çox saytınıza daxil olmamalıdır. Lakin gecikmələr səbəbindən qısa müddət ərzində bu sürət bir qədər yüksək görünə bilər. Saytınız Google-un krol sorğularına çatmaqda çətinlik çəkirsə, siz krol sürətini azalda bilərsiniz.

Google Axtarışı üçün krol edərkən, Googlebot
dəstəklənən fayl növününilk 2 MB-ını və PDF faylının ilk 64 MB-ını krol edir. Render baxımından, HTML-də istinad edilən hər bir resurs (məsələn, CSS və JavaScript) ayrıca gətirilir və hər resursun gətirilməsi digər fayllara (PDF faylları istisna olmaqla) tətbiq olunan eyni fayl ölçüsü limitinə tabedir.
Kəsmə limitinə çatdıqda, Googlebot gətirməni dayandırır və yalnız artıq yüklənmiş fayl hissəsini indeksləmə üçün göndərir. Fayl ölçüsü limiti sıxılmamış məlumatlara tətbiq olunur. Digər Google krolerləri, məsələn, Googlebot Video və Googlebot Image, fərqli limitlərə malik ola bilər.
fərqli limitlər.

ABŞ-dakı IP ünvanlarından krol edərkən, Googlebot-un saat qurşağı
Sakit Okean vaxtıdır.

Googlebot-un digər
texniki xüsusiyyətləri
Google-un krolerlərinə dair icmalda təsvir edilmişdir.

Googlebot-un saytınıza daxil olmasının bloklanması

Googlebot krol ediləcək yeni URL-ləri ilk növbədə əvvəllər krol edilmiş səhifələrdə yerləşdirilmiş linklərdən aşkar edir. Linkləri dərc etməməklə saytı gizli saxlamaq demək olar ki, mümkün deyil. Məsələn, kimsə sizin “gizli” saytınızdan başqa bir sayta keçid etdiyi anda, “gizli” saytınızın URL-i referer teqində görünə bilər və digər sayt tərəfindən referer jurnalında saxlanıla və dərc edilə bilər.

Googlebot-un saytınızdakı kontenti krol etməsinin qarşısını almaq istəyirsinizsə, bir sıra
seçimləriniz var. Unutmayın ki, krol etmə və indeksləməarasında fərq var; Googlebot-un səhifəni krol etməsini bloklamaq, səhifənin URL-inin axtarış nəticələrində görünməsinin qarşısını almır:

• Googlebot-un səhifəni krol etməsinin qarşısını almaq? robots.txt faylından istifadə edin
  Google-un səhifəni indeksləməsini istəmirsiniz?.
• İstifadə edin noindex
  Səhifənin həm krolerlər, həm də istifadəçilər üçün əlçatan olmasının qarşısını almaq?.
• İstifadə edin parol qorunması kimi başqa bir üsul
  Googlebot-u bloklamaq Google Axtarışına (Discover və bütün Google Axtarış funksiyaları daxil olmaqla), həmçinin Google Images, Google Video və Google News kimi digər məhsullara təsir edir..

Googlebot-un yoxlanılması

Googlebot-u bloklamaq qərarına gəlməzdən əvvəl, Googlebot tərəfindən istifadə olunan HTTP

user-agent sorğu başlığının tez-tez digər krolerlər tərəfindən saxtalaşdırıldığını nəzərə alın. Problemli sorğunun həqiqətən Google-dan gəldiyini yoxlamaq vacibdir. Sorğunun həqiqətən Googlebot-dan gəldiyini yoxlamağın ən yaxşı yolu tərs DNS axtarışından istifadə etməkdir
sorğunun mənbə IP-si üzərində və ya mənbə IP-sini
Googlebot IP diapazonları
ilə uyğunlaşdırmaqdır..