Dans les coulisses de Googlebot : démystifier l'exploration, la récupération et les octets que nous traitons

Mardi 31 mars 2026

Si vous avez écouté
l’épisode 105 du podcast Search Off the Record,
vous nous avez peut-être entendus plonger au cœur d’un sujet qui nous tient particulièrement à cœur
(et à nos serveurs) : le fonctionnement interne de Googlebot.

Pendant longtemps, le nom « Googlebot » a évoqué l’image d’un robot unique et
inextinguible lisant systématiquement Internet. Mais la réalité est un peu
plus complexe — et beaucoup plus intéressante. Aujourd’hui, nous voulons soulever
le capot de notre infrastructure d’exploration, avec un accent particulier sur ce
qui nous donne du fil à retordre : les limites de taille en octets.

Premièrement, Googlebot n’est pas un programme unique

Clarifions d’abord une erreur historique. Au début des années 2000, Google
avait un seul produit, nous avions donc un seul robot d’exploration. Le nom « Googlebot » est resté. Mais
aujourd’hui, Googlebot n’est qu’un utilisateur d’une plateforme semblable à une
infrastructure d’exploration centralisée.

Lorsque vous voyez Googlebot dans les journaux de votre serveur, vous observez simplement Google
Search. Des dizaines d’autres clients — Google Shopping, AdSense et
bien d’autres — acheminent tous leurs demandes d’exploration via cette même
infrastructure sous-jacente sous différents noms de robots, dont les plus importants sont documentés sur
le site de l’infrastructure Google Crawler.

La limite de 2 Mo : que deviennent vos octets ?

C’est là que les choses se compliquent un peu. Chaque client de l’infrastructure
d’exploration doit définir certains paramètres pour ses récupérations.
Ces paramètres incluent la chaîne d’agent utilisateur, les jetons d’agent utilisateur recherchés dans
robots.txt et le nombre d’octets récupérés à partir d’une seule URL.

Googlebot récupère actuellement jusqu’à 2 Mo pour toute URL individuelle (à l’exclusion
des PDF). Cela signifie qu’il n’explore que les 2 premiers Mo d’une ressource, en incluant
l’en-tête HTTP. Pour les fichiers PDF, la limite est de 64 Mo.

Les robots d’exploration d’images et de vidéos ont généralement une large gamme de seuils,
et cela dépend largement du produit pour lequel ils récupèrent. Par
exemple, la récupération d’un favicon peut avoir une limite très faible, contrairement à la recherche d’images.

Pour tout autre robot d’exploration qui ne spécifie pas de limite, la valeur par défaut est de 15 Mo,
quel que soit le type de contenu.

Qu’est-ce que cela signifie pour les octets que votre serveur envoie sur le réseau ?

1. Récupération partielle : Si votre fichier HTML dépasse 2 Mo,
   Googlebot ne rejette pas la page. Au lieu de cela, il arrête la récupération exactement à
   la limite des 2 Mo. Notez que cette limite inclut les en-têtes de requête HTTP.
2. Traitement de la limite : Cette portion téléchargée (les premiers
   2 Mo d’octets) est transmise à nos systèmes d’indexation et au Web
   Rendering Service (WRS) comme s’il s’agissait du fichier complet.
3. Les octets invisibles : Tous les octets présents
   après
   ce
   seuil de 2 Mo sont entièrement ignorés. Ils ne sont ni récupérés, ni rendus, ni indexés. Intégration des ressources : Chaque ressource référencée dans
   le HTML (à l’exclusion des médias, des polices et de quelques fichiers exotiques) sera récupérée par
   le WRS avec Googlebot comme le HTML parent. Ils ont leur propre compteur d’octets
   indépendant par URL et ne comptent pas dans la taille de la page parente.
4. Pour la grande majorité du Web, une charge utile HTML de 2 Mo est énorme, et vous
   n’atteindrez jamais cette limite. Cependant, si votre page comprend des images en ligne base64 lourdes,
   des blocs massifs de CSS/JavaScript en ligne ou commence par
   des mégaoctets de menus, vous pourriez accidentellement pousser votre contenu textuel réel
   ou vos données structurées critiques au-delà de la barre des 2 Mo. Si ces octets cruciaux ne sont pas récupérés, pour Googlebot, ils n’existent tout simplement pas. Rendu des octets

Une fois que le robot d’exploration a récupéré avec succès les octets (jusqu’à la limite),
il passe le relais au WRS. Le WRS traite le JavaScript et exécute
le code côté client de la même manière qu’un navigateur moderne pour comprendre l’état visuel et textuel
final de la page. Le rendu récupère et exécute les fichiers JavaScript et
CSS, et traite les requêtes XHR pour mieux comprendre le contenu textuel
et la structure de la page (il ne demande pas d’images ni de vidéos). Pour chaque
ressource demandée, la limite de 2 Mo s’applique également.

Cependant, rappelez-vous que le WRS ne peut exécuter que le code que le robot d’exploration
a réellement récupéré. De plus,
le WRS fonctionne sans état (stateless)
— il efface le stockage local et les données de session entre les requêtes. Cela peut
avoir des implications particulières sur la façon dont les éléments dynamiques dépendants de JavaScript
sont interprétés par nos systèmes.

Bonnes pratiques pour vos octets

Pour garantir que Googlebot puisse récupérer et comprendre efficacement votre contenu,
gardez à l’esprit ces bonnes pratiques au niveau des octets :
Gardez votre HTML léger :
Déplacez les CSS et JavaScript lourds vers
des fichiers externes. Bien que le document HTML initial soit plafonné à 2 Mo, les scripts externes
et les feuilles de style sont récupérés séparément (soumis à leurs propres limites).

L’ordre a de l’importance :

Placez vos éléments les plus critiques —
tels que les balises meta,

• <title> les éléments,
• <link> les éléments, les balises canonical et les données structurées essentielles — plus haut dans le document HTML. Cela garantit qu’ils ne se retrouveront probablement pas sous la limite. Surveillez les journaux de votre serveur : Gardez un œil sur les temps de réponse
  de votre serveur. Si votre serveur peine à fournir des octets, nos robots d’exploration
  se mettront automatiquement en retrait pour éviter de surcharger votre infrastructure,
  ce qui réduira votre fréquence d’exploration.
  Notez que cette limite n'est pas gravée dans le marbre et peut changer
  au fil du temps à mesure que le Web évolue et que les pages HTML gagnent en taille. (Ou rétrécissent.
  Espérons qu’elles rétrécissent.)
• L’exploration n’est pas de la magie ; c’est un échange d’octets hautement orchestré et mis à l’échelle.
  En comprenant comment notre infrastructure de récupération centrale récupère et limite
  ces octets, vous pouvez vous assurer que le contenu le plus important de votre site
  passe toujours la coupe. Bonne optimisation !

Vous voulez en savoir plus sur les coulisses ? Consultez l’épisode 105 du podcast Search Off the Record sur YouTube

ou partout où vous écoutez vos podcasts !

Publié par

Gary
Inside Googlebot: demystifying crawling, fetching, and the bytes we process | Alien Road
If you tuned into episode 105 of the Search Off the Record podcast, you might have heard us diving deep into a topic that is close to our hearts (and our…

Nouvel emplacement pour les fichiers de plages d’adresses IP des robots Google
Mardi 31 mars 2026.