Наш новый поисковый индекс: Caffeine

Среда, 9 июня 2010 г.

(Переопубликовано на
Официальный блог Google)

Сегодня мы объявляем о завершении создания новой системы индексации веб-сайтов под названием Caffeine. Caffeine обеспечивает на 50 процентов более свежие результаты поиска в Интернете, чем наш последний индекс, и это самая большая коллекция веб-контента, которую мы когда-либо предлагали. Будь то новостная статья, блог или публикация на форуме, теперь вы можете находить ссылки на релевантный контент гораздо быстрее после его публикации, чем когда-либо прежде.

Небольшая справочная информация для тех из вас, кто не занимается созданием поисковых систем профессионально, как мы: когда вы ищете в Google, вы не ищете в реальном Интернете. Вместо этого вы ищете в веб-индексе Google, который, подобно списку в конце книги, помогает вам точно определить нужную вам информацию. (Вот
хорошее объяснение
того, как все это работает.)

Так почему же мы создали новую систему индексации поиска? Контент в сети процветает. Он растет не только по размеру и количеству, но с появлением видео, изображений, новостей и обновлений в реальном времени средняя веб-страница становится более богатой и сложной. Кроме того, ожидания людей от поиска стали выше, чем раньше. Пользователи поиска хотят находить самый свежий актуальный контент, а издатели рассчитывают на то, что их найдут сразу после публикации.

Чтобы идти в ногу с эволюцией Интернета и удовлетворять растущие ожидания пользователей, мы создали Caffeine. Изображение ниже иллюстрирует, как работала наша старая система индексации по сравнению с Caffeine:

Наш старый индекс имел несколько уровней, некоторые из которых обновлялись быстрее других; основной уровень обновлялся каждые пару недель. Чтобы обновить уровень старого индекса, мы анализировали всю сеть, а это означало, что существовала значительная задержка между тем моментом, когда мы находили страницу, и тем моментом, когда она становилась доступной для вас.

С помощью Caffeine мы анализируем Интернет небольшими порциями и постоянно обновляем наш поисковый индекс в глобальном масштабе. По мере того, как мы находим новые страницы или новую информацию на существующих страницах, мы можем добавлять их прямо в индекс. Это означает, что вы можете находить более свежие данные, чем когда-либо прежде, независимо от того, когда и где они были опубликованы.

Caffeine позволяет нам индексировать веб-страницы в огромных масштабах. Фактически, каждую секунду Caffeine обрабатывает сотни тысяч страниц параллельно. Если бы это была стопка бумаги, она бы росла на три мили выше каждую секунду. Caffeine занимает почти 100 миллионов гигабайт памяти в одной базе данных и добавляет новую информацию со скоростью сотен тысяч гигабайт в день. Вам понадобится 625 000 самых больших iPod, чтобы хранить такое количество информации; если сложить их встык, они протянутся более чем на 40 миль.

Мы создали Caffeine с расчетом на будущее. Он не только свежее, это прочная основа, которая позволяет нам создать еще более быстрый и всеобъемлющий поисковый индекс, который масштабируется по мере роста информации в сети и выдает еще более релевантные результаты поиска. Так что следите за новостями и ждите новых улучшений в ближайшие месяцы.

Опубликовано Кэрри Граймс, инженер-программист