Les bases de données vectorielles et les embeddings comportent quatre risques principaux pour une équipe marketing : des données privées qui deviennent interrogeables par les mauvaises personnes, une récupération qui renvoie des passages plausibles mais faux, des embeddings qui deviennent obsolètes lorsque le contenu change, et des coûts qui augmentent silencieusement à mesure que l’index grandit. La gouvernance signifie décider ce qui peut être intégré, qui peut l’interroger, à quelle fréquence il est actualisé et comment les réponses sont vérifiées.
Un embedding est une liste de nombres qui représente le sens d’un morceau de texte, d’une image ou d’une fiche produit. Une base de données vectorielle telle que Pinecone, Weaviate, Qdrant, Milvus ou l’extension pgvector pour PostgreSQL stocke ces listes et trouve les plus proches d’une requête. Cette recherche des plus proches voisins est ce qui se cache derrière la plupart des chatbots de génération augmentée par récupération (RAG), la recherche sémantique sur site et les widgets de “produits similaires”.
La technologie est utile et assez mature. Le problème est qu’elle ressemble à une zone de recherche, donc les équipes la traitent comme telle. Elle se comporte différemment, et les règles doivent refléter cela.
Qu’est-ce qui différencie la recherche vectorielle de la recherche par mots-clés ?
La recherche par mots-clés échoue bruyamment. Si le mot n’est pas dans le document, rien ne revient, et quelqu’un le remarque. La recherche vectorielle ne renvoie presque jamais rien. Elle trouve toujours la correspondance la plus proche, même lorsque la correspondance la plus proche est faible, et elle classe cette correspondance faible avec la même confiance qu’une forte.
Pour un chatbot construit sur le RAG, c’est la racine de la plupart des mauvaises réponses. Le modèle de langage reçoit trois passages qui sont “les plus proches” de la question et écrit une réponse fluide à partir d’eux. Si aucun des passages ne répond réellement à la question, le modèle a toujours tendance à produire quelque chose qui semble correct.
Une deuxième différence : le sens est flou. Un modèle d’embedding peut placer “annuler mon abonnement” près de “suspendre mon abonnement”, ce qui est bien pour la découverte mais faux pour une réponse de politique. Les termes exacts tels que les codes produits, les prix et les clauses juridiques sont là où la recherche vectorielle pure est la plus faible.
Quels risques devez-vous prévoir avant le lancement ?
Exposition des données par la récupération
Le risque le plus grave est l’accès. Lorsqu’une équipe intègre un lecteur partagé, l’index vectoriel n’hérite généralement d’aucune des autorisations de dossier d’origine. La question d’un stagiaire à l’assistant interne peut récupérer un passage d’une feuille de salaire ou d’un document de tarification non publié, car l’index sait seulement que le passage est sémantiquement proche.
Les embeddings eux-mêmes ne sont pas non plus une forme sûre d’anonymisation. La recherche sur l’inversion des embeddings a montré qu’une bonne partie du texte original peut être reconstruite à partir de vecteurs dans certains contextes. Traitez les vecteurs stockés avec autant de sensibilité que le texte source.
Contenu obsolète et dupliqué
Une page sur la politique d’expédition de l’année dernière reste dans l’index jusqu’à ce que quelqu’un supprime ses vecteurs. Si la nouvelle page de politique est également intégrée, les deux sont récupérées, et le modèle peut les mélanger. Les sites marketing changent souvent, avec des pages de campagne, des offres saisonnières et des services retirés, donc l’obsolescence est l’état par défaut à moins qu’un travail d’actualisation n’existe.
Dérive silencieuse de la qualité
Changer le modèle d’embedding, la taille du fragment ou la métrique de similarité change les passages qui reviennent. Mélanger des vecteurs provenant de deux modèles d’embedding différents dans un seul index produit des classements absurdes, car les deux modèles ne partagent pas un espace de coordonnées. Rien de tout cela ne génère d’erreur.
Croissance des coûts
Les services vectoriels gérés facturent généralement par vecteurs stockés, dimensions, unités de lecture et d’écriture, ou un mélange des deux. Ré-intégrer un site entier après un changement de modèle a son propre coût API. Un petit pilote est bon marché ; un index de chaque PDF que l’entreprise a jamais produit ne l’est pas.
Quelles sont les limites techniques qu’il vaut la peine de connaître ?
La plupart des bases de données vectorielles utilisent des index de voisins les plus proches approximatifs (ANN) tels que HNSW ou IVF. “Approximatif” est littéral : pour la vitesse, l’index peut manquer la vraie correspondance la plus proche. Les paramètres de réglage comme ef_search dans HNSW échangent le rappel contre la latence.
- Le découpage (chunking) décide de la qualité plus que la marque de la base de données. Une page de 2 000 mots intégrée comme un vecteur perd des détails ; divisée en morceaux de 300 mots avec un petit chevauchement, elle est généralement mieux récupérée.
- Le filtrage des métadonnées (par langue, date, gamme de produits, niveau d’accès) est pris en charge par la plupart des moteurs, mais la recherche filtrée peut être plus lente ou moins précise sur certains types d’index.
- Le contenu multilingue nécessite un modèle d’embedding multilingue, sinon une question en turc peut ne pas trouver la page en anglais qui y répond.
- La recherche hybride, combinant le score par mots-clés BM25 avec des vecteurs, est la solution habituelle pour les codes, les noms et les phrases exactes. Weaviate, Qdrant, Elasticsearch et OpenSearch offrent tous une forme de celle-ci.
Règles de gouvernance à établir en premier
Notez-les avant que le premier document ne soit intégré. Elles sont courtes et empêchent la plupart des incidents ci-dessus.
- Liste des sources : nommez les dossiers, les types de publication CMS ou les bases de données qui peuvent être intégrés. Tout le reste est exclu par défaut.
- Miroir d’accès : stockez une étiquette d’accès avec chaque fragment et filtrez dessus au moment de la requête, afin qu’un utilisateur ne récupère que ce qu’il pouvait déjà ouvrir.
- Règles d’exclusion : pas de données personnelles, de contrats, de paie ou d’identifiants dans l’index. Scannez les adresses e-mail et les numéros d’identification avant l’intégration.
- Un modèle par index : enregistrez le nom et la version du modèle d’embedding dans les métadonnées de l’index. Un changement de modèle signifie un nouvel index, pas une mise à jour partielle.
- Calendrier d’actualisation : ré-intégrez le contenu modifié lors de la publication, et exécutez un travail hebdomadaire qui supprime les vecteurs pour les pages non publiées ou supprimées.
- Exigence de citation : chaque réponse du chatbot montre les passages sources qu’il a utilisés, afin que les utilisateurs et les réviseurs puissent les vérifier.
- Propriétaire : une personne nommée approuve les nouvelles sources et examine les résultats de l’évaluation chaque mois.
Comment testez-vous la qualité de la récupération ?
Construisez un petit ensemble d’évaluation avant le lancement. Trente à cinquante questions réelles, chacune associée à la page qui devrait y répondre, suffisent pour un site marketing. Exécutez-les après chaque changement dans les paramètres de découpage, de modèle ou d’index et enregistrez la fréquence à laquelle la bonne page apparaît dans les trois premiers résultats.
Ajoutez un seuil de similarité. Si la meilleure correspondance obtient un score inférieur à un seuil que vous avez défini à partir de l’ensemble d’évaluation, l’assistant devrait dire qu’il ne sait pas et proposer un moyen de contact, plutôt que d’improviser. Cette règle unique élimine une grande partie des mauvaises réponses données avec confiance.
Enfin, lisez les journaux. Chaque semaine, échantillonnez vingt requêtes réelles et leurs fragments récupérés. Des modèles apparaissent rapidement : une page qui continue de faire surface pour des questions non liées, ou un sujet sans bonne source, ce qui est une lacune de contenu plutôt qu’un problème de base de données.
Comment Alien Road applique les bases de données vectorielles et les embeddings
Dans un engagement typique, le travail commence par un inventaire de contenu plutôt que par un choix de base de données. Nous listons ce que le client publie, dans quelles langues, et quelles pages sont autorisées à répondre aux questions des clients. Les pages de tarification, juridiques et de campagne reçoivent une étiquette séparée, car elles changent le plus et comportent le plus de risques.
La configuration signifie généralement pgvector au sein d’une instance PostgreSQL existante pour les petits sites, ou un service géré lorsque l’index est grand ou multi-locataire. Les fragments portent des métadonnées pour la langue, le type de publication, la date de publication et le niveau d’accès, et un hook de publication ré-intègre une page chaque fois qu’elle change. La recherche hybride est activée dès le premier jour pour les noms de produits et les codes de service.
La mesure utilise l’ensemble d’évaluation décrit ci-dessus plus deux signaux en direct : la part des sessions de chatbot qui se terminent par une réponse “je ne sais pas” et la part qui clique sur une source citée. Les rapports mensuels montrent les deux, listent les questions sans bonne source et recommandent le contenu à écrire ensuite. Cette dernière liste est souvent le résultat le plus utile pour l’équipe marketing.
Par où commencer cette semaine
Choisissez un cas d’utilisation étroit, comme répondre aux questions d’expédition et de retour, et n’intégrez que les pages qui le couvrent. Écrivez les sept règles de gouvernance ci-dessus dans un document d’une page et assignez un propriétaire. Ensuite, collectez trente questions réelles de clients à partir de tickets de support ou de journaux de chat et utilisez-les comme votre premier ensemble de test.
Une fois que ce petit index répond de manière fiable, avec des sources affichées et un chemin clair “je ne sais pas”, développez une source à la fois. Grandir lentement est ce qui maintient une base de données vectorielle comme un service d’assistance plutôt que comme une responsabilité.
Continuez à lire : Optimisation par IA · Optimisation par IA