Les erreurs les plus courantes de retrieval-augmented generation (RAG) consistent à alimenter le système avec du contenu source désordonné, à mal diviser les documents, à faire confiance à la récupération sans la tester et à lancer sans moyen de mesurer la qualité des réponses. La plupart des échecs de RAG ressemblent à des problèmes de modèle, mais commencent dans les couches de données et de récupération. Les agences qui créent des assistants RAG fiables consacrent plus de temps à la préparation et à l’évaluation du contenu qu’au choix du modèle de langage.
Qu’est-ce que la retrieval-augmented generation ?
Le RAG est un moyen de faire en sorte qu’un modèle de langage réponde à partir de vos propres informations. Lorsqu’un utilisateur pose une question, le système recherche dans une base de connaissances, généralement avec des embeddings stockés dans une base de données vectorielle, récupère les passages les plus pertinents et les donne au modèle avec des instructions pour répondre à partir de ceux-ci. Le modèle écrit la réponse ; l’étape de récupération décide de ce qu’il sait.
Les outils courants incluent des frameworks tels que LangChain et LlamaIndex, des bases de données vectorielles telles que Pinecone, Weaviate, Qdrant ou pgvector, et des options gérées telles que la recherche de fichiers d’OpenAI, Google Vertex AI Search et Amazon Bedrock Knowledge Bases. Les erreurs ci-dessous s’appliquent quel que soit le stack que vous choisissez.
Erreur 1 : Indexer du contenu que personne n’a nettoyé
Les équipes pointent souvent un système RAG vers un lecteur partagé entier ou un site Web et attendent de bonnes réponses. Le résultat est une base de connaissances pleine de vieilles listes de prix, de brouillons de documents, de pages en double et de contradictions. Le modèle récupère ce qui correspond le mieux, même si c’est obsolète.
- Choisissez les sources délibérément et listez-les, avec un propriétaire pour chacune.
- Supprimez les brouillons, les versions obsolètes et les doublons avant l’indexation.
- Résolvez les contradictions, telles que deux politiques de retour différentes, à la source.
- Ajoutez des métadonnées telles que la date, le produit et la région afin que la récupération puisse filtrer.
Erreur 2 : Mal découper les documents
Les documents sont divisés en morceaux (chunks) avant d’être intégrés. Les morceaux trop petits perdent le contexte ; une phrase sur “les frais” ne signifie rien sans le paragraphe qui nomme le service. Les morceaux trop grands mélangent plusieurs sujets et diluent la récupération.
Ce qui fonctionne mieux
Divisez selon la structure même du document : titres, sections et éléments de liste. Gardez un titre avec son contenu. Ajoutez un peu de chevauchement entre les morceaux et stockez le titre du document et le chemin de la section avec chaque morceau. Testez plusieurs tailles de morceaux sur des questions réelles plutôt que de choisir un nombre dans un tutoriel.
Erreur 3 : Se fier uniquement à la recherche vectorielle
La recherche sémantique trouve le sens, mais peut manquer des termes exacts tels que les codes produits, les noms et les numéros d’erreur. Un utilisateur posant une question sur le modèle “X200-B” peut obtenir des passages sur un produit similaire.
La recherche hybride combine la recherche par mots-clés, telle que BM25, avec la recherche vectorielle, et est désormais prise en charge par la plupart des bases de données vectorielles et plateformes de recherche. L’ajout d’une étape de reranking, où un modèle distinct réordonne les meilleurs résultats par pertinence, améliore souvent encore les réponses. Les deux sont des changements nécessitant peu d’efforts avec des avantages clairs dans de nombreux projets.
Erreur 4 : Instructions faibles pour le modèle
Si le prompt ne dit pas au modèle de répondre uniquement à partir du contenu récupéré, il comblera les lacunes avec des connaissances générales, ce qui peut être incorrect pour votre entreprise. S’il ne dit pas quoi faire lorsque la réponse est manquante, il devinera.
Demandez au modèle de citer les passages qu’il a utilisés, de dire clairement quand l’information n’est pas disponible et de suggérer de contacter une personne dans ces cas-là. Gardez les règles de ton et de format dans le même prompt système pour que chaque réponse semble cohérente.
Erreur 5 : Pas d’ensemble d’évaluation
De nombreuses équipes testent un assistant RAG en lui posant quelques questions auxquelles elles ont pensé ce jour-là. Cela manque les cas difficiles. Sans un ensemble de test fixe, personne ne peut dire si un changement a aidé ou nui.
- Collectez cinquante à deux cents questions réelles à partir de tickets de support, d’e-mails de vente ou de journaux de recherche.
- Écrivez la réponse correcte et le document source pour chacune.
- Notez la récupération séparément : le bon passage est-il apparu dans les meilleurs résultats ?
- Notez les réponses sur la correction, l’exhaustivité et si elles sont restées dans les sources.
- Relancez l’ensemble complet après chaque changement de contenu, de découpage, de prompts ou de modèles.
Des frameworks comme Ragas et des outils au sein de LangSmith, Langfuse ou des plateformes de fournisseurs peuvent automatiser certaines parties de cela, y compris la notation basée sur le modèle. Gardez une revue humaine d’un échantillon, car les juges automatisés font aussi des erreurs.
Erreur 6 : Ignorer les permissions et la confidentialité
Un assistant interne qui récupère à partir de chaque document peut révéler des salaires, des contrats ou des données clients à quiconque demande. La récupération doit respecter les mêmes droits d’accès que les fichiers originaux. Les assistants orientés client ne doivent jamais indexer de données personnelles ou de notes internes.
Vérifiez les conditions de traitement des données pour chaque service dans le pipeline et suivez les réglementations telles que le RGPD ou la KVKK lorsque des données personnelles sont impliquées.
Erreur 7 : Lancer et oublier
Le contenu change. Les prix sont mis à jour, les produits sont lancés, les politiques sont réécrites. Si l’index n’est pas rafraîchi, l’assistant devient obsolète tout en ayant l’air confiant. Planifiez la réindexation, suivez les documents qui ont changé et examinez un échantillon de conversations en direct chaque semaine, en particulier celles où les utilisateurs ont demandé une personne ou ont mal noté la réponse.
Comment Alien Road applique la retrieval-augmented generation
Dans un engagement typique, Alien Road commence par un audit des sources : quels documents et pages l’assistant doit connaître, qui les possède et où ils entrent en conflit. Nous nettoyons et restructurons d’abord le contenu prioritaire, en réécrivant souvent les longues pages en sections sur un seul sujet que les humains et la récupération gèrent mieux.
La configuration suit les pratiques ci-dessus : découpage basé sur la structure, recherche hybride avec reranking là où la plateforme le permet, instructions système claires et récupération consciente des permissions. Avant le lancement, nous construisons un ensemble d’évaluation à partir des questions réelles du client et convenons d’un seuil de qualité.
Après le lancement, nous rapportons chaque mois la précision de la récupération, les scores de qualité des réponses, les taux de transfert et les principales questions sans réponse. Les questions sans réponse deviennent des tâches de contenu pour l’équipe du client, ce qui est souvent là d’où viennent les plus grands gains.
Par où commencer cette semaine
Si vous utilisez déjà un assistant RAG, collectez cinquante questions réelles qu’il a reçues et vérifiez, pour chacune, si le bon document a été récupéré. Si c’était moins que la majorité, corrigez le contenu et le découpage avant de toucher au modèle. Si vous en planifiez un, listez d’abord vos sources et vos propriétaires ; cette liste déterminera la qualité du projet plus que tout choix d’outil.
Continuer la lecture : Optimisation par IA · Optimisation par IA