Crawling infrastructure

Google istifadəçi tərəfindən işə salınan fetcher-lərin siyahısı

İstifadəçi tərəfindən işə salınan fetcher-lər bir Google məhsulu daxilində məlumat əldə etmə funksiyasını yerinə yetirmək üçün istifadəçilər tərəfindən başladılır. Məsələn,
Google Site Verifier
istifadəçinin sorğusu əsasında hərəkət edir və ya Google Cloud (GCP)-də yerləşdirilən saytın istifadəçilərinə xarici RSS lentini əldə etməyə imkan verən funksiyası var. Məlumat əldə etmə istifadəçi tərəfindən tələb olunduğu üçün bu fetcher-lər ümumiyyətlə robots.txt qaydalarına məhəl qoymur. Google-un krolerlərinin ümumi
texniki xüsusiyyətləri
istifadəçi tərəfindən işə salınan fetcher-lərə də şamil edilir.

İstifadəçi tərəfindən işə salınan fetcher-lərin istifadə etdiyi IP diapazonları
user-triggered-fetchers.json,
user-triggered-fetchers-google.jsonvə user-triggered-agents.json
obyektlərində dərc olunur. Fetcher-in Google-a və ya istifadəçiyə məxsus olmasından asılı olaraq, istifadəçi tərəfindən işə salınan fetcher-lərin tərs DNS maskası müvafiq olaraq ***-***-***-***.gae.googleusercontent.com və ya
google-proxy-***-***-***-***.google.com ilə uyğunlaşır.

Google istifadəçi tərəfindən işə salınan fetcher-lərin siyahısı

Aşağıdakı siyahıda istifadəçi tərəfindən işə salınan fetcher-lər, onların HTTP sorğularında görünən istifadəçi agenti sətirləri və əlaqəli olduqları məhsullar göstərilir. Siyahı tam deyil, yalnız jurnal fayllarında görünmə ehtimalı daha yüksək olan və haqqında suallar aldığımız sorğu göndərənləri əhatə edir.

Google istifadəçi tərəfindən işə salınan fetcher-lərin siyahısı — 2
HTTP sorğularında User-Agent
Əlaqəli məhsullarChrome Web Store fetcher-i tərtibatçıların Chrome genişləndirmələrinin və mövzularının metadata-sında təqdim etdikləri URL-ləri sorğulayır.
HTTP sorğularında User-Agent
Əlaqəli məhsullarFeedfetcher Google News və WebSub üçün RSS və ya Atom lentlərini krollamaq üçün istifadə olunur.
HTTP sorğularında User-Agent
Mobil agent
Masaüstü agent
Keçmiş agent (2026-cı ilin avqustuna qədər dəstəklənir)Google-NotebookLM
Əlaqəli məhsullarGemini Notebook fetcher-i
Gemini Notebook
istifadəçilərinin layihələri üçün mənbə kimi təqdim etdikləri fərdi URL-ləri sorğulayır.
HTTP sorğularında User-Agent
Mobil agent
Masaüstü agent
Əlaqəli məhsullarGoogle-Agent, vebdə naviqasiya etmək və istifadəçi sorğusu əsasında hərəkətlər yerinə yetirmək üçün Google infrastrukturunda yerləşdirilən agentlər tərəfindən istifadə olunur. O, user-triggered-agents.json.
haqqında daha çox məlumat əldə edin
Google MessagesHTTP sorğularında User-Agent
Google Messages fetcher-i çat mesajlarında göndərilən URL-lər üçün keçid önizləmələrini yaratmaq üçün istifadə olunur.
Google PinpointHTTP sorğularında User-Agent Əlaqəli məhsullar Google-Pinpoint
fetcher-i
Pinpoint
Google Read Aloud
HTTP sorğularında User-Agent
Mobil agent
Masaüstü agentKeçmiş agent (istifadəsi dayandırılıb)
google-speakrƏlaqəli məhsullar
İstifadəçinin tələbi ilə Google Read Aloud, mətndən nitqə (TTS) texnologiyasından istifadə edərək veb səhifələri əldə edir və oxuyur..
HTTP sorğularında User-Agent
Əlaqəli məhsullarGoogle Site Verifier, Search Console doğrulama tokenlərini əldə edir.
Alien Road

Bunu necə tətbiq edirik

User-triggered fetchers act on a person’s request, not on a crawl schedule. We explain this distinction to clients who see the traffic in logs and assume they are being crawled aggressively.

Əlaqəli xidmətlər

Paylaş