Unser neuer Suchindex: Caffeine

Mittwoch, 9. Juni 2010

(Auch veröffentlicht im
Offiziellen Google Blog)

Heute kündigen wir die Fertigstellung eines neuen Web-Indexierungssystems namens Caffeine an. Caffeine liefert 50 Prozent frischere Ergebnisse für Websuchen als unser letzter Index und ist die größte Sammlung von Web-Inhalten, die wir je angeboten haben. Ob Nachrichtenartikel, Blog oder Forumspist – Sie finden jetzt viel schneller nach der Veröffentlichung Links zu relevanten Inhalten als jemals zuvor.

Ein wenig Hintergrundwissen für diejenigen unter Ihnen, die nicht wie wir beruflich Suchmaschinen entwickeln: Wenn Sie bei Google suchen, durchsuchen Sie nicht das Live-Web. Stattdessen durchsuchen Sie den Webindex von Google, der Ihnen wie das Verzeichnis am Ende eines Buches hilft, genau die Informationen zu finden, die Sie benötigen. (Hier ist eine
gute Erklärung
wie das Ganze funktioniert.)

Warum haben wir also ein neues Suchindexierungssystem entwickelt? Die Inhalte im Web blühen auf. Sie wachsen nicht nur in Größe und Anzahl, sondern mit dem Aufkommen von Video, Bildern, Nachrichten und Echtzeit-Updates ist die durchschnittliche Webseite reichhaltiger und komplexer geworden. Darüber hinaus sind die Erwartungen der Menschen an die Suche höher als früher. Suchende wollen die neuesten relevanten Inhalte finden und Publisher erwarten, dass sie sofort bei der Veröffentlichung gefunden werden.

Um mit der Entwicklung des Web Schritt zu halten und die steigenden Nutzererwartungen zu erfüllen, haben wir Caffeine entwickelt. Das Bild unten veranschaulicht, wie unser altes Indexierungssystem im Vergleich zu Caffeine funktionierte:

Unser alter Index hatte mehrere Ebenen, von denen einige schneller aktualisiert wurden als andere; die Hauptebene wurde alle paar Wochen aktualisiert. Um eine Ebene des alten Index zu aktualisieren, mussten wir das gesamte Web analysieren, was bedeutete, dass es eine erhebliche Verzögerung zwischen dem Zeitpunkt, zu dem wir eine Seite fanden, und dem Zeitpunkt gab, zu dem sie für Sie verfügbar gemacht wurde.

Mit Caffeine analysieren wir das Web in kleinen Teilen und aktualisieren unseren Suchindex kontinuierlich und global. Wenn wir neue Seiten oder neue Informationen auf bestehenden Seiten finden, können wir diese direkt zum Index hinzufügen. Das bedeutet, dass Sie frischere Informationen als je zuvor finden können – unabhängig davon, wann oder wo sie veröffentlicht wurden.

Mit Caffeine können wir Webseiten in riesigem Maße indexieren. Tatsächlich verarbeitet Caffeine jede Sekunde Hunderttausende von Seiten parallel. Wenn dies ein Stapel Papier wäre, würde er jede Sekunde um drei Meilen höher werden. Caffeine beansprucht fast 100 Millionen Gigabyte Speicherplatz in einer Datenbank und fügt neue Informationen mit einer Rate von Hunderttausenden von Gigabyte pro Tag hinzu. Sie bräuchten 625.000 der größten iPods, um so viele Informationen zu speichern; wenn diese Ende an Ende gestapelt wären, würden sie über 40 Meilen weit reichen.

Wir haben Caffeine mit Blick auf die Zukunft entwickelt. Es ist nicht nur frischer, sondern auch ein robustes Fundament, das es uns ermöglicht, eine noch schnellere und umfassendere Suchmaschine zu entwickeln, die mit dem Wachstum der Online-Informationen skaliert und Ihnen noch relevantere Suchergebnisse liefert. Bleiben Sie also gespannt und freuen Sie sich auf weitere Verbesserungen in den kommenden Monaten.

Veröffentlicht von Carrie Grimes, Software Engineer