Google krolerləri və fetcherləri (istifadəçi agentləri) haqqında ümumi məlumat

Google öz məhsulları üçün avtomatik və ya istifadəçi sorğusu ilə işə salınan hərəkətləri yerinə yetirmək üçün krolerlərdən və fetcherlərdən istifadə edir. Kroler (bəzən “robot” və ya “spider” də adlanır) aşağıdakı məqsədlər üçün istifadə olunan istənilən proqram üçün ümumi termindir:
vebsaytları avtomatik kəşf etmək və skan etmək. Fetcherlər adətən istifadəçi adından tək bir sorğu göndərən
wget kimi proqramlar kimi fəaliyyət göstərir. Google-un müştəriləri üç kateqoriyaya bölünür:

Google-un kroler və fetcherlərinin texniki xüsusiyyətləri

Google-un krolerləri və fetcherləri, performansı artırmaq və internet böyüdükcə miqyasını genişləndirmək üçün minlərlə maşın tərəfindən eyni vaxtda işlədilmək üçün nəzərdə tutulmuşdur. Bant genişliyindən istifadəni optimallaşdırmaq üçün bu müştərilər dünyanın bir çox məlumat mərkəzlərinə paylanır ki, onlar daxil ola biləcəkləri saytlara yaxın olsunlar. Buna görə də, loqlarınız bir neçə IP ünvanından gələn ziyarətləri göstərə bilər. Google əsasən ABŞ-dakı IP ünvanlarından çıxış edir. Google saytın ABŞ-dan gələn sorğuları blokladığını aşkar edərsə, digər ölkələrdə yerləşən IP ünvanlarından krol etməyə cəhd edə bilər.

Dəstəklənən ötürmə protokolları

Google-un krolerləri və fetcherləri HTTP/1.1 və
HTTP/2protokollarını dəstəkləyir. Krolerlər ən yaxşı krol performansını təmin edən protokol versiyasından istifadə edəcək və əvvəlki krol statistikasına əsasən krol sessiyaları arasında protokolları dəyişə bilər. Google krolerləri tərəfindən istifadə olunan standart protokol versiyası HTTP/1.1-dir; HTTP/2 vasitəsilə krol etmək saytınız və Googlebot üçün hesablama resurslarına (məsələn, CPU, RAM) qənaət edə bilər, lakin bunun xaricində sayt üçün Google məhsulu ilə bağlı xüsusi bir fayda yoxdur (məsələn, Google Axtarışda reytinq artımı). HTTP/2 vasitəsilə krol etməkdən imtina etmək üçün saytınızı host edən serverə Google HTTP/2 vasitəsilə saytınıza daxil olmağa çalışdıqda 421 HTTP status kodu
ilə cavab verməsini tapşırın. Əgər bu mümkün deyilsə, siz
Crawling komandasına mesaj göndərə bilərsiniz

(lakin bu həll müvəqqətidir).
Google-un kroler infrastrukturu həmçinin FTP ( RFC959
və onun yeniləmələri ilə müəyyən edildiyi kimi) və FTPS ( RFC4217

və onun yeniləmələri ilə müəyyən edildiyi kimi) vasitəsilə krol etməyi dəstəkləyir, lakin bu protokollar vasitəsilə krol etmək nadirdir.

Dəstəklənən məzmun kodlaşdırmaları
Google-un krolerləri və fetcherləri aşağıdakı məzmun kodlaşdırmalarını (sıxılmaları) dəstəkləyir:,
gzipdeflate
, vəBrotli (br)
. Hər bir Google istifadəçi agenti tərəfindən dəstəklənən məzmun kodlaşdırmaları, onların etdiyi hər bir sorğunun Accept-Encoding
başlığında elan edilir. Məsələn,.

Accept-Encoding: gzip, deflate, br

Fayl ölçüsü limitləri
Varsayılan olaraq, Google-un krolerləri və fetcherləri yalnız faylın ilk 15 MB-ını krol edir və bu limitdən kənarda qalan hər hansı məzmun nəzərə alınmır. Bununla belə, fərdi layihələr öz krolerləri və fetcherləri üçün, həmçinin müxtəlif fayl növləri üçün fərqli limitlər təyin edə bilər. Məsələn, Googlebot kimi bir Google kroleri Googlebot

daha kiçik ölçü limitinə (məsələn, 2 MB) sahib ola bilər və ya PDF üçün HTML-dən daha böyük fayl ölçüsü limiti təyin edə bilər.

Krol dərəcəsi və host yükü
Məqsədimiz serverinizi yükləmədən hər ziyarətdə saytınızdan mümkün qədər çox səhifəni krol etməkdir. Saytınız Google-un krol sorğularına çatmaqda çətinlik çəkirsə, sizkrol dərəcəsini azalda bilərsiniz
. Qeyd edək ki, Google krolerlərinə uyğun olmayan
HTTP cavab kodu

göndərmək saytınızın Google məhsullarında necə göründüyünə təsir edə bilər.

HTTP Keşləmə
Google-un krol infrastrukturuHTTP keşləmə standartı ilə müəyyən edildiyi kimi, xüsusilə ETag cavab və If-None-Match sorğu başlığı, həmçinin Last-Modified cavab və If-Modified-Since

dəyərlərini təyin etməyi düşünün. Bu başlıqlar həmçinin CMS-lər kimi digər tətbiqlər tərəfindən də istifadə olunur. Əgər HTTP cavabında həm ETag həm də Last-Modified cavab başlığı sahələri mövcuddursa, Google krolerləri istifadə edir: dəyər kimi
HTTP standartı tərəfindən tələb olunduğu kimi. Google-un botları üçün xüsusilə, keşləmə seçimini göstərmək üçün
ETag
əvəzinə Last-Modified başlığından istifadə etməyi tövsiyə edirik, çünki
ETag tarix formatı problemlərinə malik deyil.

Digər HTTP keşləmə direktivləri dəstəklənmir.

Fərdi Google botları və yükləyiciləri, əlaqəli olduqları məhsulun ehtiyaclarından asılı olaraq keşləmədən istifadə edə və ya etməyə bilərlər. Məsələn, Googlebot Google Axtarışı üçün URL-ləri yenidən tarayarkən keşləməni dəstəkləyir və Storebot-Google yalnız müəyyən şərtlərdə keşləməni dəstəkləyir.

Saytınız üçün HTTP keşləməsini tətbiq etmək üçün hostinq və ya məzmun idarəetmə sistemi provayderinizlə əlaqə saxlayın.

ETag və If-None-Match

Google-un tarama infrastrukturu ETag və If-None-Match dəstəkləyir, necə ki
HTTP Caching standardtərəfindən müəyyən edilib.
Haqqında daha çox məlumat əldə edin
ETag
cavab başlığı və onun sorğu başlığı həmkarı,.

If-None-Match

Last-Modified və If-Modified-Since Google-un tarama infrastrukturu Last-Modified
və If-Modified-Since
dəstəkləyir, necə ki
HTTP Caching standard

• tərəfindən müəyyən edilib, aşağıdakı xəbərdarlıqlarla: Tarix Last-Modified
  başlığındaHTTP standard uyğun olaraq formatlanmalıdır. Təhlil problemlərinin qarşısını almaq üçün aşağıdakı tarix formatından istifadə etməyi tövsiyə edirik:“Həftə günü,“.
• DD Mon YYYY HH:MM:SS
  Zaman qurşağı". Məsələn, ” Fri, 4 Sep 1998 19:15:56 GMT Tələb olunmasa da, həmçinin
  max-age
  sahəsini təyin etməyi nəzərdən keçirin Cache-Control cavab başlığı.

botların xüsusi URL-i nə vaxt yenidən tarayacağını müəyyən etməsinə kömək etmək üçün. Sahənin dəyərini
max-age
məzmunun dəyişməz qalacağı gözlənilən saniyə sayına təyin edin. Məsələn, Cache-Control: max-age=94043.

Haqqında daha çox məlumat əldə edin

Last-Modified

1. cavab başlığı və onun sorğu başlığı həmkarı, If-Modified-Since Google-un botlarını və yükləyicilərini yoxlayın
2. Google-un botları özlərini üç yolla müəyyən edir:
3. HTTP

user-agent
sorğu başlığı..