Yeni arama dizinimiz: Caffeine

09 Haziran 2010, Çarşamba

(
Resmi Google Blogu‘nda eş zamanlı yayınlanmıştır)

Bugün, Caffeine adını verdiğimiz yeni bir web indeksleme sisteminin tamamlandığını duyuruyoruz. Caffeine, web aramalarında bir önceki indeksimize göre yüzde 50 daha güncel sonuçlar sunuyor ve şimdiye kadar sunduğumuz en geniş web içeriği koleksiyonunu oluşturuyor. İster bir haber, ister bir blog veya forum gönderisi olsun, artık ilgili içeriğe ait bağlantıları yayınlandıktan çok daha kısa bir süre sonra bulabilirsiniz.

Bizim gibi profesyonel olarak arama motoru geliştirmeyenler için kısa bir arka plan bilgisi: Google’da arama yaptığınızda, canlı web’i değil, Google’ın web indeksini ararsınız. Bir kitabın sonundaki dizin gibi, bu indeks de tam olarak ihtiyacınız olan bilgiyi bulmanıza yardımcı olur. (Sistemin nasıl çalıştığına dair
iyi bir açıklama burada.)

Peki neden yeni bir arama indeksleme sistemi kurduk? Web üzerindeki içerik hızla gelişiyor. Sadece boyut ve sayı olarak değil; video, görsel, haber ve gerçek zamanlı güncellemelerin ortaya çıkmasıyla birlikte ortalama bir web sayfası daha zengin ve karmaşık hale geldi. Ayrıca, insanların arama beklentileri eskiye göre daha yüksek. Arama yapanlar en güncel ve ilgili içeriği bulmak istiyor, yayıncılar ise içeriklerini yayınladıkları anda bulunmayı bekliyor.

Web’in evrimine ayak uydurmak ve artan kullanıcı beklentilerini karşılamak için Caffeine’i geliştirdik. Aşağıdaki görsel, eski indeksleme sistemimizin Caffeine ile karşılaştırıldığında nasıl çalıştığını göstermektedir:

Eski indeksimizin, bazıları diğerlerinden daha hızlı yenilenen birkaç katmanı vardı; ana katman birkaç haftada bir güncelleniyordu. Eski indeksin bir katmanını yenilemek için tüm web’i analiz etmemiz gerekiyordu, bu da bir sayfayı bulmamız ile onu size sunmamız arasında önemli bir gecikme olduğu anlamına geliyordu.

Caffeine ile web’i küçük bölümler halinde analiz ediyor ve arama indeksimizi küresel ölçekte sürekli olarak güncelliyoruz. Yeni sayfalar veya mevcut sayfalarda yeni bilgiler buldukça, bunları doğrudan indekse ekleyebiliyoruz. Bu da, ne zaman veya nerede yayınlanırsa yayınlansın, her zamankinden daha güncel bilgilere ulaşabileceğiniz anlamına geliyor.

Caffeine, web sayfalarını devasa bir ölçekte indekslememize olanak tanıyor. Aslında Caffeine, her saniye yüz binlerce sayfayı paralel olarak işliyor. Bu bir kağıt yığını olsaydı, her saniye üç mil daha uzardı. Caffeine, tek bir veritabanında yaklaşık 100 milyon gigabaytlık depolama alanı kaplıyor ve her gün yüz binlerce gigabaytlık yeni bilgi ekliyor. Bu kadar bilgiyi depolamak için en büyük iPod’lardan 625.000 tanesine ihtiyacınız olurdu; bunlar uç uca dizilseydi 40 milden fazla bir uzunluğa ulaşırdı.

Caffeine’i geleceği düşünerek tasarladık. Sadece daha güncel olmakla kalmıyor, aynı zamanda çevrimiçi bilginin büyümesiyle ölçeklenen ve size daha da alakalı arama sonuçları sunan, daha hızlı ve kapsamlı bir arama motoru oluşturmamızı mümkün kılan sağlam bir temel oluşturuyor. Bizi takip etmeye devam edin; önümüzdeki aylarda daha fazla iyileştirme göreceksiniz.

Yazan: Carrie Grimes, Yazılım Mühendisi