Nuestro nuevo índice de búsqueda: Caffeine

Miércoles, 9 de junio de 2010

(Publicado conjuntamente en el
Blog oficial de Google)

Hoy anunciamos la finalización de un nuevo sistema de indexación web llamado Caffeine. Caffeine ofrece resultados un 50 por ciento más frescos para las búsquedas web que nuestro índice anterior, y es la colección más grande de contenido web que hemos ofrecido. Ya sea una noticia, un blog o una publicación de foro, ahora puede encontrar enlaces a contenido relevante mucho antes después de su publicación de lo que era posible antes.

Un poco de contexto para aquellos de ustedes que no construyen motores de búsqueda para ganarse la vida como nosotros: cuando buscan en Google, no están buscando en la web en vivo. En su lugar, está buscando en el índice de la web de Google que, al igual que la lista en la parte posterior de un libro, lo ayuda a identificar exactamente la información que necesita. (Aquí hay un
buena explicación
de cómo funciona todo esto.)

Entonces, ¿por qué construimos un nuevo sistema de indexación de búsqueda? El contenido en la web está floreciendo. Está creciendo no solo en tamaño y número, sino que con el advenimiento de videos, imágenes, noticias y actualizaciones en tiempo real, la página web promedio es más rica y compleja. Además, las expectativas de las personas para la búsqueda son más altas de lo que solían ser. Los buscadores quieren encontrar el contenido relevante más reciente y los editores esperan ser encontrados en el momento en que se publican.

Para mantenernos al día con la evolución de la web y satisfacer las crecientes expectativas de los usuarios, hemos creado Caffeine. La imagen a continuación ilustra cómo funcionaba nuestro antiguo sistema de indexación en comparación con Caffeine:

Nuestro antiguo índice tenía varias capas, algunas de las cuales se actualizaban a un ritmo más rápido que otras; la capa principal se actualizaba cada par de semanas. Para actualizar una capa del índice antiguo, analizábamos toda la web, lo que significaba que había un retraso significativo entre el momento en que encontrábamos una página y la poníamos a su disposición.

Con Caffeine, analizamos la web en pequeñas porciones y actualizamos nuestro índice de búsqueda de forma continua, a nivel mundial. A medida que encontramos nuevas páginas, o nueva información en las páginas existentes, podemos agregarlas directamente al índice. Eso significa que puede encontrar información más actualizada que nunca, sin importar cuándo o dónde se publicó.

Caffeine nos permite indexar páginas web a una escala enorme. De hecho, cada segundo Caffeine procesa cientos de miles de páginas en paralelo. Si esto fuera una pila de papel, crecería tres millas más alto cada segundo. Caffeine ocupa casi 100 millones de gigabytes de almacenamiento en una base de datos y agrega nueva información a un ritmo de cientos de miles de gigabytes por day. Necesitaría 625,000 de los iPods más grandes para almacenar tanta información; si estos se apilaran de extremo a extremo, recorrerían más de 40 millas.

Hemos construido Caffeine con el futuro en mente. No solo es más fresco, es una base sólida que nos permite construir un motor de búsqueda aún más rápido y completo que escala con el crecimiento de la información en línea y le ofrece resultados de búsqueda aún más relevantes. Así que estad atentos y busquen más mejoras en los próximos meses.

Publicado por Carrie Grimes, Ingeniera de Software