Vous mesurez la génération augmentée par récupération à deux niveaux. La qualité technique couvre si le système récupère les bons documents et si les réponses leur restent fidèles. La valeur commerciale couvre si les utilisateurs obtiennent des réponses correctes plus rapidement, si les tickets de support diminuent et ce que coûte chaque réponse. Un tableau de bord doit montrer les deux, car une réponse fluide provenant du mauvais document reste une mauvaise réponse.
RAG est un modèle pour construire des assistants IA qui répondent à partir de votre propre contenu. Lorsqu’un utilisateur pose une question, le système recherche dans une base de connaissances, généralement avec des embeddings vectoriels et souvent aussi avec une recherche par mots-clés, récupère les passages les plus pertinents et les donne à un modèle de langage pour rédiger une réponse, idéalement avec des citations. C’est courant dans les bots de support, les assistants de connaissances internes et la recherche de produits. Des frameworks comme LangChain et LlamaIndex, ainsi que les services gérés d’OpenAI, Google, AWS et autres, facilitent la construction.
Pourquoi les projets RAG ont-ils besoin d’une mesure dédiée ?
Un système RAG peut échouer à plusieurs endroits : les documents peuvent être manquants ou obsolètes, la recherche peut récupérer les mauvais passages, ou le modèle peut ignorer les passages et improviser. De l’extérieur, toutes ces erreurs se ressemblent : une réponse confiante qui est fausse.
Sans mesure à chaque étape, les équipes essaient de réparer la mauvaise partie. Elles passent à un modèle plus grand alors que le vrai problème était un article d’aide obsolète, ou réécrivent les prompts lorsque la recherche renvoie des morceaux non pertinents.
Quels KPI de récupération importent ?
Construisez un ensemble de test de 50 à 200 questions réelles, chacune avec le document ou le passage qui contient la réponse correcte. Utilisez-le pour mesurer la récupération régulièrement.
- Recall at k : part des questions où le passage correct apparaît dans les k premiers résultats, par exemple les 5 premiers.
- Precision at k : part des k premiers résultats qui sont réellement pertinents.
- Mean reciprocal rank : à quelle hauteur le premier résultat pertinent apparaît en moyenne.
- Couverture : part des questions réelles des utilisateurs pour lesquelles un document pertinent existe du tout.
La couverture est la métrique commerciale cachée dans les techniques. Si de nombreuses questions n’ont pas de document correspondant, la solution est d’écrire du contenu, pas d’ajuster la recherche.
Comment mesurez-vous la qualité des réponses ?
Fidélité et exactitude
La fidélité demande si chaque affirmation dans la réponse est étayée par les passages récupérés. L’exactitude demande si la réponse correspond à la réponse correcte connue. Les deux peuvent être notées par des évaluateurs humains sur un échantillon, et par une configuration LLM-as-a-judge où un second modèle note les réponses par rapport aux sources, ce que des outils open-source comme Ragas supportent. Vérifiez les notes automatisées par rapport aux notes humaines avant de leur faire confiance.
Citations et refus
Suivez la part des réponses avec au moins une citation, et la part où le système dit correctement qu’il ne sait pas. Un système qui ne refuse jamais invente probablement des réponses pour des questions en dehors de ses connaissances.
Quels KPI commerciaux prouvent la valeur ?
- Taux de résolution ou de déflexion : part des conversations résolues sans agent humain, confirmé par les commentaires des utilisateurs ou l’absence de ticket de suivi.
- Qualité de l’escalade : lorsque le bot transfère, l’agent reçoit-il un résumé utile ?
- Commentaires des utilisateurs : pouce levé ou baissé par réponse, avec commentaires optionnels.
- Temps de réponse pour les utilisateurs internes, comparé à la recherche manuelle de documents.
- Coût par question répondue : jetons de modèle, coûts d’embedding et de base de données vectorielle divisés par les réponses.
- Latence : médiane et 95e percentile du temps de réponse.
À quoi devrait ressembler le tableau de bord ?
Utilisez trois sections. La supérieure montre les résultats commerciaux pour les managers : questions répondues, taux de déflexion, satisfaction et coût par réponse, avec des tendances. Le milieu montre la qualité : scores de fidélité et d’exactitude de la dernière évaluation, taux de refus et taux de citation. Le bas montre les opérations : latence, taux d’erreur et les questions sans réponse les plus fréquentes.
La liste des questions sans réponse est souvent la partie la plus utile. Elle dit à l’équipe de contenu exactement quels articles écrire ensuite.
À quelle fréquence devez-vous évaluer ?
Exécutez l’ensemble de test de récupération et de réponse après chaque changement significatif : nouveaux documents, nouveau modèle d’embedding, taille de chunk différente, nouveau modèle de langage ou prompt. Exécutez-le également selon un calendrier fixe, mensuellement par exemple, car le contenu change avec le temps.
Échantillonnez les conversations en direct chaque semaine pour une révision humaine. Les ensembles de test s’éloignent de ce que les utilisateurs demandent réellement ; les échantillons en direct vous gardent honnête et donnent de nouvelles questions à ajouter à l’ensemble.
Quels changements améliorent généralement le plus les chiffres ?
Les corrections de contenu battent souvent les mises à niveau de modèles. Supprimer les documents en double et obsolètes, diviser les longues pages en sections ciblées et ajouter les réponses manquantes tendent à augmenter à la fois le rappel de récupération et l’exactitude des réponses.
Côté technique, la recherche hybride qui combine correspondance par mots-clés et vectorielle aide avec les noms de produits, codes et phrases exactes, que les embeddings seuls peuvent manquer. Une étape de reranking qui réordonne les meilleurs résultats avant qu’ils n’atteignent le modèle est une autre amélioration courante. Mesurez chaque changement sur l’ensemble de test avant de le conserver.
Gardez un journal des changements à côté du tableau de bord, afin que chaque saut ou baisse d’un score puisse être tracé à un changement spécifique.
Comment Alien Road applique la mesure RAG
Dans un engagement typique d’optimisation IA, nous commençons par auditer la base de connaissances que le système RAG utilisera : doublons, pages obsolètes, sujets manquants. Nous construisons ensuite l’ensemble de test de questions avec l’équipe de support ou de vente du client à partir de tickets réels et de journaux de chat.
Pendant la configuration, nous mesurons la qualité de récupération et de réponse à chaque changement, et après le lancement, nous effectuons des évaluations mensuelles et des échantillons en direct hebdomadaires. Le client reçoit un tableau de bord avec des vues commerciales, de qualité et opérationnelles, et une liste mensuelle des lacunes de contenu tirées des questions sans réponse.
Par où commencer cette semaine
Exportez les 200 dernières questions que les clients ont posées à votre équipe de support ou chatbot. Groupez-les par sujet et, pour chacune des 30 plus courantes, trouvez l’article d’aide qui y répond, ou notez qu’aucun n’existe.
Ce tableur est le début de votre ensemble de test et de votre métrique de couverture à la fois. Même avant qu’un système RAG ne soit construit, il montre combien de votre contenu est prêt à être utilisé par un.
Partagez la liste avec les personnes qui possèdent le contenu d’aide. Les lacunes trouvées de cette manière sont concrètes et faciles à traiter, ce qui justifie le travail de mesure avant même qu’un tableau de bord n’existe.
Continuer la lecture : Optimisation par IA · Optimisation par IA