Mardi 31 mars 2026<\/p>\n\n\n\n
\n Si vous avez \u00e9cout\u00e9 l’\n \u00e9pisode 105 du podcast Search Off the Record<\/a>,\n vous nous avez peut-\u00eatre entendus aborder en profondeur un sujet qui nous tient \u00e0 c\u0153ur\n (et qui occupe nos serveurs) : le fonctionnement interne de Googlebot.\n<\/p>\n\n\n\n \n Pendant longtemps, le nom “Googlebot” a \u00e9voqu\u00e9 l’image d’un robot unique et infatigable lisant syst\u00e9matiquement Internet. Mais la r\u00e9alit\u00e9 est un peu plus complexe — et beaucoup plus int\u00e9ressante. Aujourd’hui, nous voulons soulever le capot de notre infrastructure de crawl, en nous concentrant sur ce qui nous donne du fil \u00e0 retordre : les limites d’octets.\n<\/p>\n\n\n\n \n Clarifions d’abord une erreur historique. Au d\u00e9but des ann\u00e9es 2000, Google n’avait qu’un seul produit, donc un seul crawler. Le nom “Googlebot” est rest\u00e9. Mais aujourd’hui, Googlebot n’est qu’un utilisateur de ce qui ressemble \u00e0 une plateforme de crawl centralis\u00e9e.\n<\/p>\n\n\n\n \n Lorsque vous voyez Googlebot dans vos logs de serveur, vous regardez simplement Google Search. Des dizaines d’autres clients — Google Shopping, AdSense, et plus encore — acheminent toutes leurs requ\u00eates de crawl via cette m\u00eame infrastructure sous-jacente avec des noms de crawlers diff\u00e9rents, les plus importants \u00e9tant document\u00e9s sur le\n site de l’infrastructure Google Crawler<\/a>.\n<\/p>\n\n\n\n \n C’est l\u00e0 que les choses deviennent confuses. Chaque client de l’infrastructure de crawl doit d\u00e9finir des param\u00e8tres pour ses r\u00e9cup\u00e9rations. Ces param\u00e8tres incluent la cha\u00eene user agent, les jetons user agent recherch\u00e9s dans le robots.txt, et le nombre d’octets r\u00e9cup\u00e9r\u00e9s pour une seule URL.\n<\/p>\n\n\n\n \n Googlebot r\u00e9cup\u00e8re actuellement jusqu’\u00e0 2 Mo pour toute URL individuelle (hors PDF). Cela signifie qu’il ne crawl que les 2 premiers Mo d’une ressource, en incluant l’en-t\u00eate HTTP. Pour les fichiers PDF, la limite est de 64 Mo.\n<\/p>\n\n\n\n \n Les crawlers d’images et de vid\u00e9os ont g\u00e9n\u00e9ralement des seuils vari\u00e9s, qui d\u00e9pendent largement du produit pour lequel ils effectuent la r\u00e9cup\u00e9ration. Par exemple, la r\u00e9cup\u00e9ration d’un favicon peut avoir une limite tr\u00e8s basse, contrairement \u00e0 la recherche d’images.\n<\/p>\n\n\n\n \n Pour tout autre crawler ne sp\u00e9cifiant pas de limite, la valeur par d\u00e9faut est de 15 Mo, quel que soit le type de contenu.\n<\/p>\n\n\n\n Qu’est-ce que cela signifie pour les octets que votre serveur envoie ?<\/p>\n\n\n\n \n Pour la grande majorit\u00e9 du web, une charge utile HTML de 2 Mo est \u00e9norme, et vous n’atteindrez jamais cette limite. Cependant, si votre page inclut des images base64 en ligne lourdes, des blocs massifs de CSS\/JavaScript en ligne, ou commence par des m\u00e9gaoctets de menus, vous pourriez accidentellement repousser votre contenu textuel r\u00e9el ou vos donn\u00e9es structur\u00e9es critiques au-del\u00e0 de la barre des 2 Mo. Si ces octets cruciaux ne sont pas r\u00e9cup\u00e9r\u00e9s, pour Googlebot, ils n’existent tout simplement pas.\n<\/p>\n\n\n\n \n Une fois que le crawler a r\u00e9cup\u00e9r\u00e9 les octets (jusqu’\u00e0 la limite), il passe le relais au WRS. Le WRS traite le JavaScript et ex\u00e9cute le code c\u00f4t\u00e9 client comme un navigateur moderne pour comprendre l’\u00e9tat visuel et textuel final de la page. Le rendu r\u00e9cup\u00e8re et ex\u00e9cute les fichiers JavaScript et CSS, et traite les requ\u00eates XHR pour mieux comprendre le contenu textuel et la structure de la page (il ne demande pas d’images ou de vid\u00e9os). Pour chaque ressource demand\u00e9e, la limite de 2 Mo s’applique \u00e9galement.\n<\/p>\n\n\n\n \n Cependant, rappelez-vous que le WRS ne peut ex\u00e9cuter que le code que le crawler a r\u00e9ellement r\u00e9cup\u00e9r\u00e9. De plus, le\n WRS fonctionne sans \u00e9tat<\/a>\n — il efface le stockage local et les donn\u00e9es de session entre les requ\u00eates. Cela peut avoir des implications particuli\u00e8res sur la fa\u00e7on dont les \u00e9l\u00e9ments dynamiques d\u00e9pendants du JavaScript sont interpr\u00e9t\u00e9s par nos syst\u00e8mes.\n<\/p>\n\n\n\n \n Pour garantir que Googlebot puisse r\u00e9cup\u00e9rer et comprendre efficacement votre contenu, gardez \u00e0 l’esprit ces bonnes pratiques au niveau des octets :\n<\/p>\n\n\n\n \n Notez que cette limite n’est pas grav\u00e9e dans le marbre<\/strong> et peut \u00e9voluer avec le temps \u00e0 mesure que le web progresse et que les pages HTML augmentent en taille. (Ou diminuent. Esp\u00e9rons qu’elles diminuent.)\n<\/p>\n\n\n\n \n Le crawl n’est pas de la magie ; c’est un \u00e9change d’octets hautement orchestr\u00e9 et mis \u00e0 l’\u00e9chelle. En comprenant comment notre infrastructure de r\u00e9cup\u00e9ration centrale r\u00e9cup\u00e8re et limite ces octets, vous pouvez vous assurer que le contenu le plus important de votre site est toujours pris en compte.\n<\/p>\n\n\n\n Bonne optimisation !<\/p>\n\n\n\n \n Vous voulez plus de d\u00e9tails sur les coulisses ? Consultez l’\n \u00e9pisode 105 du podcast Search Off the Record sur YouTube<\/a>\n ou sur votre plateforme de podcast pr\u00e9f\u00e9r\u00e9e !<\/em>\n<\/p>\n\n\n\nD’abord, Googlebot n’est pas un programme unique<\/h2>\n\n\n\n
La limite de 2 Mo : que deviennent vos octets ?<\/h2>\n\n\n\n
\n
Rendu des octets<\/h2>\n\n\n\n
Bonnes pratiques pour vos octets<\/h2>\n\n\n\n
\n
<title><\/code>, les \u00e9l\u00e9ments <link><\/code>, les canonicals et les donn\u00e9es structur\u00e9es essentielles — le plus haut possible dans le document HTML. Cela garantit qu’ils ne se retrouveront pas apr\u00e8s la coupure.\n <\/li>\n