Google-un ümumi krolerlərinin siyahısı

Google-un ümumi krolerləri Google-un axtarış indekslərini qurmaq, digər məhsula xas krolları yerinə yetirmək və təhlil üçün məlumat tapmaq məqsədilə istifadə olunur. Onlar avtomatik krollama zamanı həmişə
robots.txt qaydalarına
əməl edirlər. Google krolerlərinin ümumi
texniki xüsusiyyətləri
ümumi krolerlərə də şamil edilir.

Ümumi krolerlər adətən
common-crawlers.json obyektində dərc edilmiş IP diapazonlarından krollayır və host adlarının tərs DNS maskası crawl-***-***-***-***.googlebot.com və ya
geo-crawl-***-***-***-***.geo.googlebot.com.

Aşağıdakı siyahıda ümumi krolerlər, HTTP sorğularında göründüyü kimi user agent sətirləri, robots.txt-dəki User-agent: sətri üçün user agent tokenləri və kroler üçün krollama seçimlərindən təsirlənən məhsullar göstərilir. Bəzi krolerlərin birdən çox user agent tokeni var; qaydanın tətbiq olunması üçün yalnız bir kroler tokenini uyğunlaşdırmalısınız. Siyahı tam deyil, o, yalnız jurnal fayllarında görünmə ehtimalı daha yüksək olan və haqqında suallar aldığımız sorğuçuları əhatə edir.

Googlebot

User-Agent HTTP sorğularında	Googlebot Smartphone Googlebot Desktop Nadir hallarda: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt	robots.txt-də User-agent tokeni Googlebot Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Krollama seçimləri Googlebot user agenti Google Axtarışa (Discover və bütün Google Axtarış funksiyaları daxil olmaqla), həmçinin Google Şəkillər, Google Video, Google Xəbərlər və Discover kimi digər məhsullara təsir edir.

Googlebot Image

HTTP sorğularında User-Agent
robots.txt	robots.txt-də User-agent tokeni Googlebot-Image Googlebot Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Krollama seçimləri Googlebot-Image user agenti Google Şəkillər, Discover, Google Video və şəkillərin, loqoların və favikonların təqdim olunduğu bütün Google Axtarış funksiyalarına təsir edir.

Googlebot Video

HTTP sorğularında User-Agent
robots.txt	robots.txt-də User-agent tokeni Googlebot-Video Googlebot Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Krollama seçimləri Googlebot-Video user agenti video ilə bağlı Google Axtarış funksiyalarına və videolardan asılı olan digər məhsullara təsir edir.

Googlebot News

HTTP sorğularında User-Agent	Googlebot-news-un ayrıca HTTP sorğu user agent sətri yoxdur. Krollama müxtəlif Googlebot user agent sətirləri.
ilə həyata keçirilir	robots.txt robots.txt-də User-agent tokeni Googlebot-News Googlebot
Nümunə robots.txt qrupu	Təsirə məruz qalan məhsullar Krollama seçimləri Googlebot-News user agenti Google Xəbərlər məhsuluna, o cümlədən news.google.com

və Google Xəbərlər tətbiqinə təsir edir.

Google StoreBot	HTTP sorğularında User-Agent Masaüstü agenti
Mobil agent	robots.txt robots.txt-də User-agent tokeni Storebot-Google
Təsirə məruz qalan məhsullar	Ünvanlanan tarama seçimləri Storebot-Google istifadəçi agenti Google Shopping-in bütün səthlərinə (məsələn, Google Axtarışdakı Alış-veriş nişanı və Google Shopping).

Google-InspectionTool

HTTP sorğularında User-Agent	Masaüstü agenti Mobil agent
robots.txt	robots.txt-də User-agent tokeni Google-InspectionTool Googlebot Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Ünvanlanan tarama seçimləri Google-InspectionTool istifadəçi agenti Axtarış sınaq alətlərinə təsir edir, məsələn, Rich Result Test və URL yoxlanışı Search Console-da. Bunun Google Axtarışa və ya digər məhsullara heç bir təsiri yoxdur.

GoogleOther

HTTP sorğularında User-Agent
robots.txt	robots.txt-də User-agent tokeni GoogleOther Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Ünvanlanan tarama seçimləri GoogleOther istifadəçi agenti heç bir xüsusi məhsula təsir etmir. GoogleOther müxtəlif məhsul komandaları tərəfindən saytlardan ictimaiyyətə açıq məzmunu əldə etmək üçün istifadə edilə bilən ümumi krolerdir. Məsələn, daxili tədqiqat və inkişaf üçün birdəfəlik taramalar üçün istifadə edilə bilər.

GoogleOther-Image

HTTP sorğularında User-Agent
robots.txt	robots.txt-də User-agent tokeni GoogleOther-Image GoogleOther Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Ünvanlanan tarama seçimləri GoogleOther-Image istifadəçi agenti GoogleOther-ə bənzər şəkildə heç bir xüsusi məhsula təsir etmir. GoogleOther-Image, ictimaiyyətə açıq şəkil URL-lərini əldə etmək üçün optimallaşdırılmış GoogleOther versiyasıdır.

GoogleOther-Video

HTTP sorğularında User-Agent
robots.txt	robots.txt-də User-agent tokeni GoogleOther-Video GoogleOther Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Ünvanlanan tarama seçimləri GoogleOther-Video istifadəçi agenti GoogleOther-ə bənzər şəkildə heç bir xüsusi məhsula təsir etmir. GoogleOther-Video, ictimaiyyətə açıq video URL-lərini əldə etmək üçün optimallaşdırılmış GoogleOther versiyasıdır.

Google-CloudVertexBot

HTTP sorğularında User-Agent alt sətri
robots.txt	robots.txt-də User-agent tokeni Google-CloudVertexBot Googlebot Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Ünvanlanan tarama seçimləri Google-CloudVertexBot istifadəçi agenti sayt sahiblərinin Vertex AI Agentsqurmaq üçün tələb etdiyi taramalara təsir edir. Bunun Google Axtarışa və ya digər məhsullara heç bir təsiri yoxdur.

Google-Extended

HTTP sorğularında User-Agent	Google-Extended-in ayrıca HTTP sorğusu istifadəçi agenti sətri yoxdur. Tarama mövcud Google istifadəçi agenti sətrləri ilə həyata keçirilir; robots.txt istifadəçi agenti tokeni idarəetmə qabiliyyətində istifadə olunur.
robots.txt	robots.txt-də User-agent tokeni Google-Extended Nümunə robots.txt qrupu
Təsirə məruz qalan məhsullar	Google-Extended veb nəşriyyatçıların Google-un saytlarından taradığı məzmunun gələcək Gemini Apps və Vertex AI API for Gemini-ni gücləndirən Gemini modellərinin nəsillərini öyrətmək üçün istifadə edilib-edilməyəcəyini idarə etmək üçün istifadə edə biləcəyi müstəqil məhsul tokenidir. və əsaslandırma üçün (faktiki dəqiqliyi və uyğunluğu artırmaq məqsədilə sorğu zamanı Google Search indeksindən modelə məzmun təqdim etmək) Gemini Apps və Vertex AI-da Google Search ilə əsaslandırma. Google-Extended saytın Google Search-ə daxil edilməsinə təsir etmir və Google Search-də reytinq siqnalı kimi istifadə olunmur.

Chrome/ haqqında qeydW.X.Y.Z istifadəçi agentlərində

Sətir Chrome/W.X.Y.Z siyahıdakı istifadəçi agenti sətirlərindəki yer tutucudur və həmin istifadəçi agenti tərəfindən istifadə olunan Chrome brauzerinin versiyasını təmsil edir: məsələn,
41.0.2272.96. Bu versiya nömrəsi zaman keçdikcə
Googlebot tərəfindən istifadə olunan ən son Chromium buraxılış versiyasına uyğunlaşır.

Əgər jurnallarınızda axtarış aparırsınızsa və ya serverinizi bu nümunəyə malik istifadəçi agenti üçün filtrləyirsinizsə, dəqiq versiya nömrəsini göstərmək əvəzinə versiya nömrəsi üçün joker simvollardan istifadə edin.