Les bases de données vectorielles et les embeddings permettent aux équipes marketing de rechercher et de regrouper du contenu par signification plutôt que par mots exacts. Un modèle d’embedding transforme le texte en une liste de nombres qui place des idées similaires à proximité les unes des autres, et une base de données vectorielle stocke ces nombres et trouve rapidement les correspondances les plus proches. Les flux de travail basés sur ces outils permettent de gagner du temps sur les audits de contenu, les liens internes, la recherche sur le site et les réponses de support, à condition que le contenu soit découpé de manière sensée et que les résultats soient vérifiés.
Que sont les embeddings et les bases de données vectorielles ?
Un embedding est une représentation numérique de texte, d’images ou d’autres données produite par un modèle. Les textes sur des sujets similaires obtiennent des vecteurs similaires, de sorte que “vols pas chers pour Rome” et “billets d’avion économiques Italie” finissent par être proches, même sans aucun mot en commun. Les modèles d’embedding sont proposés par OpenAI, Google, Cohere, Voyage AI et sous forme de modèles ouverts, tels que ceux répertoriés sur le classement MTEB de Hugging Face.
Une base de données vectorielle stocke ces vecteurs avec leur texte source et leurs métadonnées et répond à la question “qu’est-ce qui est le plus proche de ceci ?” en quelques millisecondes. Les options incluent des services gérés tels que Pinecone, Weaviate Cloud et Qdrant Cloud, des extensions comme pgvector pour PostgreSQL, et des fonctionnalités de recherche vectorielle dans des outils que les équipes utilisent peut-être déjà, comme Elasticsearch, OpenSearch, MongoDB Atlas et BigQuery.
Quelles tâches marketing en bénéficient ?
Les embeddings aident là où la signification compte plus que les mots-clés :
- Trouver des articles de blog quasi identiques qui sont en concurrence pour la même intention de recherche.
- Suggérer des liens internes entre des articles connexes.
- Alimenter une recherche sur le site qui comprend les synonymes et les questions.
- Ancrer un chatbot de support ou de vente dans les documents de l’entreprise, ce qu’on appelle la génération augmentée par récupération.
- Regrouper des listes de mots-clés ou des commentaires de clients par thèmes.
- Faire correspondre des produits à des requêtes dans des catalogues avec des noms incohérents.
Comment construire un flux de travail d’embeddings étape par étape ?
Le processus de base est le même pour la plupart des tâches :
- Collectez le contenu : exportez les articles, les pages, les produits ou les tickets avec des ID, des URL et des métadonnées telles que la langue et la catégorie.
- Nettoyez-le : supprimez la navigation, les pieds de page, les scripts et le texte répétitif qui rendrait tout similaire.
- Découpez-le : divisez les longs documents en passages de quelques centaines de mots, idéalement au niveau des titres.
- Intégrez-le : envoyez chaque morceau à un modèle d’embedding et stockez le vecteur avec son ID et ses métadonnées.
- Indexez-le : chargez les vecteurs dans la base de données vectorielle avec des filtres de métadonnées tels que la langue ou le type de contenu.
- Interrogez-le : intégrez la question ou le texte source avec le même modèle et récupérez les morceaux les plus proches.
- Révisez-le : vérifiez manuellement un échantillon de résultats et ajustez le découpage ou les filtres.
Il est essentiel d’utiliser le même modèle pour les documents et les requêtes. Les vecteurs provenant de modèles différents vivent dans des espaces différents et ne peuvent pas être comparés.
Le découpage détermine la qualité
Les morceaux trop longs mélangent plusieurs sujets en un seul vecteur ; les morceaux trop courts perdent le contexte. Le découpage au niveau des titres H2 ou H3 fonctionne généralement bien pour les articles, avec le titre de la page ajouté à chaque morceau afin que le passage conserve son sujet. Testez deux ou trois tailles sur des requêtes réelles avant de vous engager. Le chevauchement d’une ou deux phrases entre les morceaux voisins aide également lorsque les réponses se situent à une limite.
Comment trouver du contenu en double avec des embeddings ?
Pour un audit de contenu, intégrez un vecteur par article, construit à partir du titre, de l’introduction et des titres plutôt que du corps complet, ce qui dilue le signal. Pour chaque article, récupérez ses voisins les plus proches et signalez les paires au-dessus d’un seuil de similarité. Le seuil correct dépend du modèle et du contenu, alors définissez-le en examinant les paires à plusieurs niveaux.
Les paires signalées sont ensuite transmises à un éditeur, qui décide de fusionner, rediriger, différencier ou conserver les deux. Les pages fusionnées doivent être redirigées avec une 301 vers la version conservée. L’étape d’embedding trouve des candidats en quelques minutes parmi des milliers d’articles ; la décision éditoriale nécessite toujours une personne qui connaît l’intention de recherche derrière chaque page.
Comment les embeddings aident-ils pour les liens internes ?
Intégrez chaque article et, pour chaque article, récupérez les cinq à dix plus proches avec la même langue et un statut publié. Présentez-les à l’éditeur sous forme de suggestions avec le passage qui correspondait, afin que le texte d’ancrage puisse être choisi naturellement. Excluez les pages marquées noindex et les pages très courtes, qui constituent de mauvaises cibles de liens.
Exécutez-le à nouveau chaque fois qu’un lot de nouveau contenu est mis en ligne. Les nouveaux articles obtiennent des liens à partir d’anciens articles connexes, ce qui les aide à être découverts et explorés.
À quoi devez-vous faire attention ?
Quelques problèmes surviennent à plusieurs reprises. Le texte répétitif qui a échappé au nettoyage rend les pages non liées similaires. Les langues mélangées dans un index produisent des correspondances étranges à moins d’être filtrées par langue. Les coûts augmentent avec la ré-intégration, alors stockez les vecteurs et ne ré-intégrez que le contenu modifié. Et la similarité n’est pas la vérité : un chatbot basé sur des morceaux récupérés peut toujours mal les lire, donc les réponses ont besoin de liens sources et d’une révision.
La confidentialité s’applique également. Les tickets clients et les notes CRM envoyés à une API d’embedding hébergée quittent vos systèmes. Utilisez des fournisseurs dont les conditions de données conviennent, ou des modèles ouverts hébergés dans votre propre environnement, pour les documents sensibles.
Comment Alien Road applique les bases de données vectorielles et les embeddings
Dans une mission typique, nous commençons par une exportation de contenu depuis le CMS du client et une passe de nettoyage qui supprime les modèles et la navigation. Nous choisissons un modèle d’embedding basé sur les langues et les conditions de données, découpons le contenu au niveau des titres et le chargeons dans un magasin vectoriel qui correspond à la pile du client, souvent pgvector ou BigQuery lorsque ceux-ci existent déjà.
Le premier livrable est généralement un rapport sur les doublons et la cannibalisation, examiné avec les éditeurs du client, suivi de suggestions de liens internes pour chaque article. Lorsque les clients ont besoin d’une recherche sur le site ou d’un assistant de support, le même index est réutilisé avec la récupération et les liens sources. Les rapports suivent les pages fusionnées ou redirigées, les liens ajoutés, les performances organiques des pages affectées et, pour les assistants, la précision des réponses sur un ensemble de test.
Par où commencer cette semaine
Exportez les titres et les introductions de vos cinquante articles de blog les plus récents dans une feuille de calcul. Intégrez-les avec n’importe quelle API d’embedding ou un modèle ouvert gratuit dans un court notebook et listez les trois voisins les plus proches de chaque article. Si plusieurs paires traitent clairement du même sujet, vous avez trouvé vos premiers problèmes de cannibalisation et une raison solide de construire le flux de travail complet. Commencez par là.
Continuez à lire : Optimisation par IA · Optimisation par IA