Los embeddings convierten textos, imágenes o productos en listas de números que capturan el significado, y las bases de datos vectoriales los almacenan para que un sistema pueda encontrar elementos similares en significado en lugar de en palabras exactas. Vale la pena adoptarlos para la búsqueda semántica, recomendaciones y asistentes de IA que responden a partir de su contenido. Para filtrado exacto, informes y transacciones, las bases de datos tradicionales siguen siendo la herramienta adecuada.
Muchos equipos oyen hablar de las bases de datos vectoriales a través de chatbots de IA y asumen que son obligatorias. A menudo, un motor de búsqueda o una base de datos existente ya ofrece funciones vectoriales y no se necesita un nuevo sistema.
¿Cómo funcionan los embeddings?
Un modelo de embedding, como los de OpenAI, Google, Cohere o modelos abiertos como los de Hugging Face, lee un fragmento de contenido y genera un vector de cientos o miles de números. Los textos con significado similar terminan cerca unos de otros en ese espacio. Una consulta se incrusta de la misma manera y el sistema encuentra los vectores almacenados más cercanos.
Es por eso que una búsqueda de “chaqueta impermeable para senderismo” puede encontrar un producto descrito como “capa de lluvia para senderos de montaña” aunque las palabras difieran. La búsqueda por palabras clave lo pasaría por alto a menos que los sinónimos se configuraran a mano.
¿Cuáles son las principales opciones de bases de datos vectoriales?
- Bases de datos vectoriales dedicadas: Pinecone, Weaviate, Qdrant, Milvus y Chroma.
- Extensiones para bases de datos existentes: pgvector para PostgreSQL, soporte vectorial en MongoDB Atlas y Redis.
- Motores de búsqueda con funciones vectoriales: Elasticsearch, OpenSearch y la búsqueda con IA de Algolia.
- Servicios en la nube: búsqueda vectorial en Google Vertex AI, Azure AI Search y Amazon OpenSearch Service.
Para muchas empresas, añadir pgvector a una base de datos PostgreSQL existente o habilitar la búsqueda vectorial en un servicio de búsqueda que ya utilizan es la ruta más sencilla.
¿Cómo se compara esto con las herramientas tradicionales?
Búsqueda por palabras clave
La búsqueda por palabras clave, como la clásica Elasticsearch o la búsqueda integrada de un sitio, coincide con las palabras. Es rápida, predecible y buena para términos exactos como códigos de producto, nombres de marca y números de modelo. Tiene dificultades con sinónimos, preguntas en lenguaje natural y errores ortográficos más allá de la coincidencia difusa simple.
Bases de datos relacionales y SQL
Las bases de datos SQL manejan consultas exactas: todos los pedidos por encima de un valor, todos los clientes en una ciudad, ventas por mes. La búsqueda vectorial no puede hacer esto de manera confiable; encuentra elementos similares, no coincidencias exactas.
Búsqueda híbrida
La mayoría de los sistemas de producción sólidos combinan ambos. La búsqueda híbrida ejecuta la búsqueda por palabras clave y vectorial juntas y fusiona los resultados, a menudo con un modelo de reordenamiento encima. Eso mantiene las coincidencias exactas para códigos y nombres mientras añade la coincidencia basada en el significado para consultas naturales.
¿Cuándo debería cambiar un equipo de marketing o contenido?
- La búsqueda del sitio devuelve resultados pobres para consultas en lenguaje natural, y la analítica muestra muchas búsquedas sin clics.
- Un chatbot o asistente debe responder a partir de un gran conjunto de artículos de ayuda, datos de productos o documentos (RAG).
- Las recomendaciones de productos deben reflejar la similitud en el significado, no solo las etiquetas de categoría.
- Los equipos de contenido necesitan encontrar artículos relacionados o duplicados en miles de páginas.
- Los comentarios de los clientes deben agruparse por tema en muchos idiomas.
¿Cuándo no debería cambiar?
- El catálogo o la biblioteca de contenido es pequeña, y una buena búsqueda por palabras clave con sinónimos funciona.
- Las consultas son mayormente exactas: SKU, números de pieza, ID de pedido.
- El equipo no puede mantener una tubería de embedding que se actualice cuando cambia el contenido.
- El problema real es un contenido pobre o datos de producto faltantes, que ningún método de búsqueda soluciona.
El último punto merece peso. Si las descripciones de los productos son escasas, la búsqueda semántica coincidirá con las descripciones escasas de manera más inteligente, y los resultados seguirán decepcionando.
¿Qué se necesita para ejecutarlo en la práctica?
Un sistema funcional necesita una tubería: dividir el contenido en fragmentos sensatos, incrustar cada fragmento, almacenarlo con metadatos como idioma, categoría y fecha de actualización, y volver a incrustar cuando el contenido cambie. Las consultas necesitan filtros, por ejemplo, para devolver solo productos en stock o artículos en el idioma del usuario. La evaluación necesita un conjunto de prueba de consultas reales con buenas respuestas conocidas, comprobadas cada vez que cambia el modelo o la fragmentación.
Los costos incluyen llamadas de embedding, almacenamiento y volumen de consultas. Suelen ser modestos para sitios de contenido, pero crecen con catálogos grandes y actualizaciones frecuentes.
Cómo Alien Road aplica los embeddings para los clientes
En un compromiso típico, el descubrimiento comienza con los registros de búsqueda del sitio y las preguntas de soporte para ver dónde falla la coincidencia de palabras clave. Si los fallos son principalmente sinónimos y frases naturales, los embeddings son un candidato fuerte; si provienen de contenido faltante, primero se corrige el contenido.
La configuración generalmente añade búsqueda vectorial a una pila existente, como pgvector o el servicio de búsqueda del cliente, con clasificación híbrida para que los términos exactos sigan funcionando. Para proyectos de contenido, los embeddings también se utilizan internamente para encontrar artículos casi duplicados y planificar enlaces internos. La medición compara la tasa de éxito de búsqueda, la tasa de cero resultados y las conversiones de búsqueda antes y después, utilizando un conjunto fijo de consultas de prueba. Los informes enumeran las consultas que mejoraron y las que aún fallan.
Embeddings para operaciones de contenido
Más allá de la búsqueda y los chatbots, los embeddings ayudan con el trabajo de contenido diario. Un equipo de contenido que gestiona miles de artículos puede incrustar cada página y encontrar grupos de casi duplicados, que a menudo compiten entre sí en la búsqueda. Los mismos vectores pueden sugerir enlaces internos entre artículos relacionados y revelar temas sin cobertura.
Este tipo de uso interno es de menor riesgo que la búsqueda orientada al cliente, porque los errores son revisados por editores antes de que cambie algo. A menudo es el mejor primer proyecto para un equipo que quiere aprender cómo se comportan los embeddings en su propio contenido antes de construir algo que los visitantes usarán.
Elección de un modelo de embedding
Pruebe dos o tres modelos de embedding en sus propias consultas antes de comprometerse. El contenido multilingüe necesita un modelo entrenado en esos idiomas; algunos modelos manejan el turco o el árabe mucho mejor que otros. Cambiar de modelo más tarde significa volver a incrustar todo, por lo que una comparación corta al principio ahorra trabajo.
Registre el nombre y la versión del modelo con cada vector almacenado, para que los embeddings mixtos nunca terminen en el mismo índice.
Por dónde empezar esta semana
Exporte las consultas de búsqueda de su sitio de los últimos tres meses y ordénelas por búsquedas sin clic. Lea las 50 principales.
Marque cada una como un problema de sinónimos, un problema de contenido faltante o un problema de código o nombre. Si los problemas de sinónimos dominan, pruebe la búsqueda semántica en una pequeña muestra antes de comprar nada; su proveedor de búsqueda existente puede que ya la admita.
Siga leyendo: Optimización con IA · Optimización con IA