Notre nouvel index de recherche : Caffeine

Mercredi 9 juin 2010

(Publié simultanément sur le
Blog officiel de Google)

Aujourd’hui, nous annonçons l’achèvement d’un nouveau système d’indexation Web appelé Caffeine. Caffeine fournit des résultats 50 % plus frais pour les recherches Web que notre dernier index, et c’est la plus grande collection de contenu Web que nous ayons jamais proposée. Qu’il s’agisse d’un article d’actualité, d’un blog ou d’un message sur un forum, vous pouvez désormais trouver des liens vers du contenu pertinent beaucoup plus tôt après sa publication que jamais auparavant.

Un peu de contexte pour ceux d’entre vous qui ne créent pas de moteurs de recherche pour gagner leur vie comme nous : lorsque vous effectuez une recherche sur Google, vous ne recherchez pas le Web en direct. Au lieu de cela, vous recherchez dans l’index du Web de Google qui, comme la liste à la fin d’un livre, vous aide à identifier exactement les informations dont vous avez besoin. (Voici un
bonne explication
de la façon dont tout cela fonctionne.)

Alors pourquoi avons-nous créé un nouveau système d’indexation de recherche ? Le contenu sur le Web est en plein essor. Il ne cesse de croître en taille et en nombre, mais avec l’avènement de la vidéo, des images, des actualités et des mises à jour en temps réel, la page Web moyenne est plus riche et plus complexe. De plus, les attentes des internautes en matière de recherche sont plus élevées qu’auparavant. Les internautes veulent trouver le contenu pertinent le plus récent et les éditeurs s’attendent à être trouvés dès leur publication.

Pour suivre l’évolution du Web et répondre aux attentes croissantes des utilisateurs, nous avons créé Caffeine. L’image ci-dessous illustre le fonctionnement de notre ancien système d’indexation par rapport à Caffeine :

Notre ancien index comportait plusieurs couches, dont certaines étaient actualisées plus rapidement que d’autres ; la couche principale était mise à jour toutes les quelques semaines. Pour actualiser une couche de l’ancien index, nous devions analyser l’ensemble du Web, ce qui signifiait qu’il y avait un délai important entre le moment où nous trouvions une page et celui où nous la rendions disponible pour vous.

Avec Caffeine, nous analysons le Web par petites portions et mettons à jour notre index de recherche en continu, à l’échelle mondiale. Au fur et à mesure que nous trouvons de nouvelles pages, ou de nouvelles informations sur des pages existantes, nous pouvons les ajouter directement à l’index. Cela signifie que vous pouvez trouver des informations plus fraîches que jamais, peu importe quand ou où elles ont été publiées.

Caffeine nous permet d’indexer des pages Web à une échelle énorme. En effet, chaque seconde, Caffeine traite des centaines de milliers de pages en parallèle. S’il s’agissait d’une pile de papier, elle grandirait de trois miles de plus chaque seconde. Caffeine occupe près de 100 millions de gigaoctets de stockage dans une base de données et ajoute de nouvelles informations au rythme de centaines de milliers de gigaoctets par jour. Il vous faudrait 625 000 des plus grands iPods pour stocker autant d’informations ; s’ils étaient empilés bout à bout, ils s’étendraient sur plus de 40 miles.

Nous avons conçu Caffeine en pensant à l’avenir. Non seulement il est plus frais, mais c’est une base solide qui nous permet de créer un moteur de recherche encore plus rapide et complet qui évolue avec la croissance des informations en ligne et vous offre des résultats de recherche encore plus pertinents. Restez donc à l’écoute et attendez-vous à d’autres améliorations dans les mois à venir.

Publié par Carrie Grimes, ingénieure logicielle