Les embeddings transforment les textes, images ou produits en listes de nombres qui capturent le sens, et les bases de données vectorielles les stockent afin qu’un système puisse trouver des éléments similaires en termes de sens plutôt que par mots exacts. Ils valent la peine d’être adoptés pour la recherche sémantique, les recommandations et les assistants IA qui répondent à partir de votre contenu. Pour le filtrage exact, les rapports et les transactions, les bases de données traditionnelles restent l’outil approprié.
De nombreuses équipes entendent parler des bases de données vectorielles via des chatbots IA et supposent qu’elles sont obligatoires. Souvent, un moteur de recherche ou une base de données existante offre déjà des fonctionnalités vectorielles, et aucun nouveau système n’est nécessaire.
Comment fonctionnent les embeddings ?
Un modèle d’embedding, comme ceux d’OpenAI, Google, Cohere ou des modèles ouverts comme ceux sur Hugging Face, lit un contenu et génère un vecteur de centaines ou de milliers de nombres. Les textes ayant un sens similaire finissent proches les uns des autres dans cet espace. Une requête est intégrée de la même manière, et le système trouve les vecteurs stockés les plus proches.
C’est pourquoi une recherche pour “veste imperméable pour la randonnée” peut trouver un produit décrit comme “coupe-vent pour sentiers de montagne” même si les mots diffèrent. La recherche par mots-clés passerait à côté à moins que des synonymes ne soient configurés manuellement.
Quelles sont les principales options de bases de données vectorielles ?
- Bases de données vectorielles dédiées : Pinecone, Weaviate, Qdrant, Milvus et Chroma.
- Extensions pour les bases de données existantes : pgvector pour PostgreSQL, support vectoriel dans MongoDB Atlas et Redis.
- Moteurs de recherche avec fonctionnalités vectorielles : Elasticsearch, OpenSearch et la recherche IA d’Algolia.
- Services cloud : recherche vectorielle dans Google Vertex AI, Azure AI Search et Amazon OpenSearch Service.
Pour de nombreuses entreprises, ajouter pgvector à une base de données PostgreSQL existante ou activer la recherche vectorielle dans un service de recherche déjà utilisé est la solution la plus simple.
Comment cela se compare-t-il aux outils traditionnels ?
Recherche par mots-clés
La recherche par mots-clés, comme Elasticsearch classique ou la recherche intégrée d’un site, fait correspondre les mots. Elle est rapide, prévisible et efficace pour les termes exacts comme les codes produits, les noms de marque et les numéros de modèle. Elle peine avec les synonymes, les questions en langage naturel et les fautes d’orthographe au-delà de la correspondance floue simple.
Bases de données relationnelles et SQL
Les bases de données SQL gèrent les requêtes exactes : toutes les commandes au-dessus d’une valeur, tous les clients dans une ville, les ventes par mois. La recherche vectorielle ne peut pas faire cela de manière fiable ; elle trouve des éléments similaires, pas des correspondances exactes.
Recherche hybride
La plupart des systèmes de production solides combinent les deux. La recherche hybride exécute la recherche par mots-clés et vectorielle ensemble et fusionne les résultats, souvent avec un modèle de reranking par-dessus. Cela conserve les correspondances exactes pour les codes et les noms tout en ajoutant une correspondance basée sur le sens pour les requêtes naturelles.
Quand une équipe marketing ou contenu devrait-elle changer ?
- La recherche sur le site renvoie de mauvais résultats pour les requêtes en langage naturel, et l’analyse montre de nombreuses recherches sans clic.
- Un chatbot ou un assistant doit répondre à partir d’un large ensemble d’articles d’aide, de données produits ou de documents (RAG).
- Les recommandations de produits doivent refléter la similitude de sens, pas seulement les balises de catégorie.
- Les équipes de contenu doivent trouver des articles liés ou en double parmi des milliers de pages.
- Les retours clients doivent être regroupés par thème dans de nombreuses langues.
Quand ne devriez-vous pas changer ?
- Le catalogue ou la bibliothèque de contenu est petit, et une bonne recherche par mots-clés avec synonymes fonctionne.
- Les requêtes sont principalement exactes : SKU, numéros de pièce, ID de commande.
- L’équipe ne peut pas maintenir un pipeline d’embedding qui se met à jour lorsque le contenu change.
- Le vrai problème est un contenu pauvre ou des données produits manquantes, qu’aucune méthode de recherche ne corrige.
Le dernier point mérite d’être souligné. Si les descriptions de produits sont minces, la recherche sémantique fera correspondre les descriptions minces de manière plus intelligente, et les résultats resteront décevants.
Que faut-il pour fonctionner en pratique ?
Un système fonctionnel nécessite un pipeline : diviser le contenu en morceaux sensés, intégrer chaque morceau, le stocker avec des métadonnées telles que la langue, la catégorie et la date de mise à jour, et ré-intégrer lorsque le contenu change. Les requêtes ont besoin de filtres, par exemple pour ne renvoyer que les produits en stock ou les articles dans la langue de l’utilisateur. L’évaluation nécessite un ensemble de test de requêtes réelles avec des réponses connues, vérifiées à chaque changement de modèle ou de découpage.
Les coûts incluent les appels d’embedding, le stockage et le volume de requêtes. Ils sont généralement modestes pour les sites de contenu mais augmentent avec les grands catalogues et les mises à jour fréquentes.
Comment Alien Road applique les embeddings pour ses clients
Dans une mission typique, la découverte commence par les journaux de recherche du site et les questions de support pour voir où la correspondance par mots-clés échoue. Si les échecs sont principalement dus aux synonymes et aux formulations naturelles, les embeddings sont un candidat solide ; s’ils proviennent de contenu manquant, le contenu est corrigé en premier.
La configuration ajoute généralement la recherche vectorielle à une pile existante, comme pgvector ou le service de recherche du client, avec un classement hybride pour que les termes exacts continuent de fonctionner. Pour les projets de contenu, les embeddings sont également utilisés en interne pour trouver des articles quasi-doublons et planifier des liens internes. La mesure compare le taux de succès de la recherche, le taux de zéro résultat et les conversions issues de la recherche avant et après, en utilisant un ensemble fixe de requêtes de test. Les rapports listent les requêtes qui se sont améliorées et celles qui échouent toujours.
Embeddings pour les opérations de contenu
Au-delà de la recherche et des chatbots, les embeddings aident au travail quotidien sur le contenu. Une équipe de contenu gérant des milliers d’articles peut intégrer chaque page et trouver des clusters de quasi-doublons, qui rivalisent souvent entre eux dans la recherche. Les mêmes vecteurs peuvent suggérer des liens internes entre des articles liés et révéler des sujets sans couverture.
Ce type d’utilisation interne est moins risqué que la recherche orientée client, car les erreurs sont examinées par des éditeurs avant que quoi que ce soit ne change. C’est souvent le meilleur premier projet pour une équipe qui veut apprendre comment les embeddings se comportent sur son propre contenu avant de construire quelque chose que les visiteurs utiliseront.
Choisir un modèle d’embedding
Testez deux ou trois modèles d’embedding sur vos propres requêtes avant de vous engager. Le contenu multilingue nécessite un modèle formé sur ces langues ; certains modèles gèrent le turc ou l’arabe bien mieux que d’autres. Changer de modèle plus tard signifie tout ré-intégrer, donc une courte comparaison au début économise du travail.
Enregistrez le nom et la version du modèle avec chaque vecteur stocké, afin que des embeddings mixtes ne finissent jamais dans le même index.
Par où commencer cette semaine
Exportez les requêtes de recherche de votre site des trois derniers mois et triez par recherches sans clic. Lisez les 50 premières.
Marquez chacune comme un problème de synonyme, un problème de contenu manquant ou un problème de code ou de nom. Si les problèmes de synonymes dominent, testez la recherche sémantique sur un petit échantillon avant d’acheter quoi que ce soit ; votre fournisseur de recherche actuel peut déjà la prendre en charge.
Continuer la lecture : Optimisation par IA · Optimisation par IA