Ce qu'il faut savoir sur l'exploration web de Google

Google explore le web ouvert
depuis plus de 30 ans maintenant, et on nous pose régulièrement des questions sur le fonctionnement de nos robots d’exploration web. Pour en répondre à certaines, voici quelques faits concernant les robots de Google et la manière dont ils nous aident à organiser l’information mondiale, en connectant les utilisateurs à des contenus provenant de tout le web.

Qu’est-ce que l’exploration ? En bref, l’exploration est la façon dont Google “voit” le web

L’exploration est le processus qui consiste à utiliser un logiciel automatisé pour découvrir de nouvelles pages web et les comprendre. De cette façon, lorsque vous venez sur Google pour trouver une page web, nous savons qu’elle existe et nous pouvons l’inclure dans vos résultats de recherche. Tous les moteurs de recherche comptent sur l’exploration pour savoir quelles pages et informations peuvent exister. Vous pouvez regarder notre vidéo sur la façon dont la recherche Google explore les pages
pour en savoir plus.

Nous avons de nombreux robots d’exploration ; ils ont chacun des rôles importants

Googlebot est notre robot d’exploration le plus connu et il est utilisé pour maintenir les résultats de la recherche Google frais et à jour. Nous avons également des robots spécifiques à nos autres surfaces, tels que Google Images et Google Shopping. Nous fournissons une documentation complète
sur nos robots d’exploration les plus couramment utilisés et leurs fonctions. Nos robots utilisent des noms d’agents utilisateurs facilement identifiables et des adresses Internet connues. De cette façon, les propriétaires de sites peuvent être certains que les robots Google qu’ils voient sont légitimes.

Nous effectuons des explorations répétées pour trouver les dernières mises à jour et fournir les résultats de recherche les plus récents

Pour repérer les articles d’actualité de dernière minute, nous pouvons réexplorer les pages d’accueil des actualités toutes les quelques minutes. Dans d’autres cas, nous pouvons constater que rien n’a changé depuis des années, nous pouvons donc attendre un mois avant de réexplorer. Les propriétaires de sites peuvent influencer la fréquence des réexplorations en utilisant sitemap
des fichiers qui nous informent sur les pages nouvelles et mises à jour.

Une exploration fréquente est un bon signe !

Si nous explorons beaucoup votre site, c’est l’indication que vos pages contiennent du contenu frais ou hautement pertinent que les gens veulent trouver, et que nos systèmes reconnaissent cette demande. Le shopping en ligne en est un excellent exemple : nous explorons souvent les sites e-commerce afin que nos résultats affichent les prix, promotions et états des stocks les plus récents des détaillants.

L’exploration de Google a évolué au fil du temps à mesure que les pages sont devenues plus complexes

Une autre raison pour laquelle nous réexplorons fréquemment est de bien comprendre la richesse d’une page web et ce qu’elle offre. Nos robots utilisent une technique appelée le rendu, qui charge un site en entier pour “voir” une page exactement comme le ferait une vraie personne. Au fil des ans, les pages web sont devenues plus sophistiquées ;
la page mobile médiane
est passée en taille de 816 kilo-octets à 2.3 mégaoctets,
et compte désormais plus de 60 fichiers différents
à charger, des images aux composants interactifs. Ainsi, pour obtenir un instantané représentatif d’une page web dans toute sa splendeur, nous pouvons avoir besoin d’explorer la même page plusieurs fois — voire plus, à mesure que de nouveaux éléments sont constamment ajoutés.

Nous optimisons l’exploration automatiquement

Nos robots sont conçus pour être efficaces et s’ajustent d’eux-mêmes pour minimiser l’impact sur les propriétaires de sites. Par exemple, lorsqu’un site ralentit ou renvoie des erreurs,
le taux d’exploration change automatiquement
pour éviter de surcharger les serveurs du site. Nous essayons de limiter le gaspillage d’exploration en mettant en cache le contenu exploré. Et à mesure que nos robots découvrent une plus grande partie d’un site web, ils sont également capables de reconnaître les sections qui peuvent être couvertes avec moins d’exploration ; par exemple, les calendriers qui vont jusqu’à l’an 9999 n’ont probablement pas besoin d’être explorés dans leur intégralité. Les propriétaires de sites peuvent aider en identifiant
quel contenu n’a pas besoin d’être exploré, ce qui permet aux sites web d’économiser de l’argent en réduisant leurs coûts d’infrastructure et rend Internet plus efficace dans son ensemble.

Les robots de Google n’entrent jamais dans les contenus payants ou sur abonnement sans autorisation

Par défaut, si une page n’est pas accessible sur le web ouvert — par exemple, si le contenu se trouve derrière une page de connexion — nos robots ne peuvent pas y accéder non plus. Nous avons
des conseils spécifiques pour les propriétaires de sites s’ils souhaitent
donner à Google l’autorisation explicite d’accéder aux pages d’abonnement (par exemple, afin que Google puisse orienter les utilisateurs vers ce contenu). Si vous choisissez de fournir un accès par abonnement à nos robots, vous pouvez
utiliser des données structurées
pour continuer à afficher aux visiteurs humains un écran de connexion sans déclencher nos
règles concernant le spam,. Et vous pouvez empêcher le contenu d’abonnement d’apparaître dans les aperçus de pages en profitant des
commandes d’aperçu.

Les propriétaires de sites ont le contrôle sur ce qui est exploré et comment

Nous respectons les standards du web ouvert tels que robots.txt,
un fichier texte simple qui permet aux propriétaires de sites de déclarer comment les robots comme le nôtre doivent interagir avec leurs pages. Le fichier Robots.txt, ainsi que les balises meta robots, permet aux sites web de communiquer facilement à Google et aux autres services la manière d’accéder à leur contenu. Ils peuvent empêcher des pages d’apparaître dans les résultats de recherche. Ils peuvent nous informer sur le nouveau contenu qu’ils souhaitent voir exploré en utilisant sitemaps. Et
ils peuvent gérer la fréquence à laquelle nous explorons leurs sites via leur
budget d’exploration.

Nos robots d’exploration standard
respectent toujours les choix des sites web concernant la manière dont leur contenu est consulté et utilisé.

Après une exploration, nous pouvons utiliser les données explorées plusieurs fois pour réduire le besoin de demandes répétées et inutiles sur les sites. Même lorsque nous réutilisons ces données, nous continuons à respecter les choix effectués par les sites via robots.txt et les contrôles que nous offrons via ce protocole web ouvert. Par exemple, les sites peuvent utiliser Google-Extended
dans robots.txt pour contrôler, entre autres, si leur contenu aide à entraîner les futures versions des modèles Gemini. L’utilisation de Google-Extended n’affecte pas l’inclusion d’un site dans la recherche, et nous n’utilisons pas non plus Google-Extended comme signal de classement dans la recherche.

Nous fournissons de nombreux outils permettant aux propriétaires de sites de gérer leur expérience d’exploration Google, notamment
Google Search Console,
qui est disponible gratuitement pour les propriétaires de sites. Il fournit des informations sur
la quantité de notre exploration et pourquoi.
Il aide également les sites à diagnostiquer des problèmes tels que les pannes de serveur ou les problèmes de vitesse. De plus, Search Console fournit des informations complètes sur la visibilité des pages d’un site dans la recherche et sur la façon dont les utilisateurs interagissent avec elles.

Nos robots aident à connecter les utilisateurs au meilleur du web, et nous cherchons toujours des moyens de les rendre plus performants et efficaces.