Crawling infrastructure

Liste des fetchers déclenchés par les utilisateurs de Google

Les fetchers déclenchés par les utilisateurs sont initiés par les utilisateurs pour effectuer une fonction de récupération au sein d’un produit Google. Par exemple,
Google Site Verifier
agit à la demande d’un utilisateur, ou un site hébergé sur Google Cloud (GCP) dispose d’une fonctionnalité permettant aux utilisateurs du site de récupérer un flux RSS externe. Étant donné que la récupération a été demandée par un utilisateur, ces fetchers ignorent généralement les règles robots.txt. Les
propriétés techniques
générales des crawlers de Google s’appliquent également aux fetchers déclenchés par les utilisateurs.

Les plages IP utilisées par les fetchers déclenchés par les utilisateurs sont publiées dans les objets
user-triggered-fetchers.json,
user-triggered-fetchers-google.jsonet user-triggered-agents.json
. Le masque DNS inverse des fetchers déclenchés par les utilisateurs, selon que le fetcher appartient à Google ou à l’utilisateur, correspond à ***-***-***-***.gae.googleusercontent.com ou
google-proxy-***-***-***-***.google.com respectivement.

Liste des fetchers déclenchés par les utilisateurs de Google

La liste suivante présente les fetchers déclenchés par les utilisateurs, leurs chaînes d’agent utilisateur telles qu’elles apparaissent dans les requêtes HTTP, et les produits auxquels ils sont associés. La liste n’est pas exhaustive ; elle ne couvre que les demandeurs les plus susceptibles d’apparaître dans les fichiers journaux et sur lesquels nous avons reçu des questions.

Liste des fetchers déclenchés par les utilisateurs de Google — 2
User-Agent dans les requêtes HTTP
Produits associésLe fetcher du Chrome Web Store demande les URL que les développeurs fournissent dans les métadonnées de leurs extensions et thèmes Chrome.
User-Agent dans les requêtes HTTP
Produits associésFeedfetcher est utilisé pour crawler les flux RSS ou Atom pour Google News et WebSub.
User-Agent dans les requêtes HTTP
Agent mobile
Agent de bureau
Ancien agent (pris en charge jusqu’en août 2026)Google-NotebookLM
Produits associésLe fetcher de Gemini Notebook demande des URL individuelles que les utilisateurs de
Gemini Notebook
ont fournies comme sources pour leurs projets.
User-Agent dans les requêtes HTTP
Agent mobile
Agent de bureau
Produits associésGoogle-Agent est utilisé par des agents hébergés sur l’infrastructure Google pour naviguer sur le Web et effectuer des actions à la demande de l’utilisateur. Il utilise des plages IP provenant de user-triggered-agents.json.
Google Messages
User-Agent dans les requêtes HTTPProduits associés
Google Pinpoint
User-Agent dans les requêtes HTTPProduits associés Le fetcher Google-Pinpoint
demande des URL individuelles que les utilisateurs de
Pinpoint
Google Publisher Center
User-Agent dans les requêtes HTTPProduits associés
Google Publisher Center récupère et traite
les flux que les éditeurs ont explicitement fournis
Google Read Aloud
User-Agent dans les requêtes HTTP
Agent mobile
Agent de bureauAncien agent (obsolète)
google-speakrProduits associés
À la demande de l’utilisateur, Google Read Aloud récupère et lit les pages Web en utilisant la synthèse vocale (TTS).
User-Agent dans les requêtes HTTP
Produits associésGoogle Site Verifier récupère les jetons de vérification de la Search Console.
Alien Road

Comment nous l'appliquons

User-triggered fetchers act on a person’s request, not on a crawl schedule. We explain this distinction to clients who see the traffic in logs and assume they are being crawled aggressively.

Services associés

Partager