Les indicateurs de performance du RAG fournissent un moyen standardisé d’évaluer l’efficacité des systèmes de génération augmentée par récupération (RAG) en mesurant à la fois la précision des données récupérées et la qualité de la réponse générée. Ces mesures aident les équipes marketing et les développeurs à identifier où un système d’AI peut échouer, qu’il s’agisse d’extraire les mauvaises informations ou d’interpréter incorrectement les bonnes données. En utilisant des cadres d’évaluation spécifiques, les organisations peuvent s’assurer que leurs outils d’AI restent fiables et utiles pour les utilisateurs finaux tout en maintenant un niveau élevé d’intégrité des données sur tous les points de contact numériques.
L’évaluation d’un système RAG nécessite une approche double car le système se compose de deux parties distinctes : le récupérateur et le générateur. Le récupérateur est responsable de trouver des documents pertinents dans une grande base de données, tandis que le générateur utilise ces documents pour rédiger une réponse humaine. Si le récupérateur échoue, le générateur n’a aucune base factuelle sur laquelle travailler. Si le générateur échoue, même les meilleures données aboutiront à une réponse confuse ou incorrecte. C’est pourquoi le suivi d’indicateurs distincts pour chaque étape est une pratique standard pour toute entreprise cherchant à maintenir des sorties d’AI de haute qualité.
Quels sont les composants principaux du cadre RAGAS ?
Les cadres d’évaluation comme RAGAS se concentrent sur des indicateurs tels que la fidélité, la pertinence de la réponse et la précision du contexte pour fournir une image claire de la santé du système. La fidélité mesure à quel point la réponse générée reste fidèle au contexte récupéré. Un score de fidélité élevé suggère que l’AI n’invente rien et n’ajoute pas d’informations externes qui n’étaient pas présentes dans les documents sources. Il s’agit d’une défense primaire contre les hallucinations, qui peuvent nuire à la confiance envers la marque si une AI fournit de fausses informations à un client ou à un membre de l’équipe.
La pertinence de la réponse se concentre sur la mesure dans laquelle la réponse finale répond à la question réelle posée par l’utilisateur. Une AI pourrait fournir une réponse factuellement correcte basée sur le contexte, mais si elle ne résout pas directement le problème de l’utilisateur, le score de pertinence sera faible. Par exemple, si un utilisateur pose des questions sur les délais d’expédition et que l’AI fournit un historique détaillé du département logistique de l’entreprise, la réponse est pertinente pour le sujet mais pas pour la requête spécifique. La précision du contexte, quant à elle, évalue la qualité du processus de récupération en vérifiant si les informations les plus utiles sont classées en haut des résultats de recherche.
Comment mesurer le succès de la récupération dans les systèmes RAG ?
Le succès de la récupération est souvent mesuré en observant combien de documents pertinents ont été trouvés et où ils sont apparus dans la liste des résultats. Les indicateurs courants utilisés ici incluent Precision@K et Recall@K. Precision@K examine les ‘K’ meilleurs résultats et détermine quel pourcentage d’entre eux est réellement utile pour la requête. Si vous définissez K sur 5 et qu’un seul résultat est utile, votre précision est de 20 %. Cet indicateur est utile pour les systèmes où vous souhaitez fournir un ensemble concis de sources au générateur sans le submerger de bruit.
Recall@K est différent car il mesure combien des documents pertinents totaux disponibles ont été capturés avec succès dans les meilleurs résultats. S’il y a cinq documents dans votre base de données qui pourraient répondre à une question, et que votre récupérateur n’en trouve que deux, votre rappel est plus faible. Un rappel élevé est important lorsqu’une question nécessite une réponse complète qui synthétise des informations provenant de plusieurs sources différentes. Dans un compte typique, équilibrer ces deux indicateurs est nécessaire pour garantir que l’AI dispose de suffisamment d’informations pour être approfondie, mais pas au point d’être confuse par des points de données non pertinents.
- Mean Reciprocal Rank (MRR) : Cela mesure à quelle profondeur dans la liste le premier document pertinent apparaît. Un score de 1.0 signifie que le meilleur document était le premier résultat.
- Hit Rate : Un indicateur simple qui suit si la réponse correcte a été trouvée quelque part dans les meilleurs résultats.
- Normalized Discounted Cumulative Gain (NDCG) : Cela évalue la qualité du classement, en accordant plus de poids aux documents hautement pertinents qui apparaissent plus tôt dans la liste.
- Context Recall : Un indicateur RAGAS spécifique qui vérifie si le contexte récupéré contient toutes les parties nécessaires pour répondre à la vérité terrain.
Pourquoi la qualité de la génération est-elle différente de la qualité de la récupération ?
La qualité de la génération se concentre sur le résultat final que l’utilisateur voit, ce qui est distinct du processus de recherche. Même si le récupérateur trouve le document parfait, le modèle de langage pourrait avoir du mal à le résumer ou pourrait ignorer des instructions spécifiques. C’est pourquoi nous examinons des indicateurs comme la similarité de réponse et la correction de réponse. La similarité de réponse compare la réponse de l’AI à une réponse correcte connue (vérité terrain) en utilisant l’analyse sémantique. Elle vérifie si le sens est le même, même si les mots utilisés sont différents. C’est plus efficace qu’une simple correspondance de mots-clés.
La correction de réponse va plus loin en comparant les faits dans la réponse générée avec les faits dans la vérité terrain. Il s’agit d’une mesure plus objective que la similarité car elle se concentre sur la précision des données plutôt que sur le style d’écriture. Pour les entreprises dans des secteurs réglementés, comme la finance ou la santé, la correction de réponse est l’indicateur le plus important à suivre. Une petite erreur dans un chiffre ou une date peut avoir des conséquences importantes, c’est pourquoi ces systèmes nécessitent souvent des seuils stricts de correction avant d’être autorisés à interagir directement avec les clients.
| Catégorie d’indicateur | Indicateur clé | Ce qu’il mesure |
|---|---|---|
| Récupération | Précision du contexte | À quel point les meilleurs résultats de recherche sont pertinents pour la requête. |
| Récupération | Context Recall | Si toutes les informations nécessaires ont été trouvées dans la base de données. |
| Génération | Fidélité | Si la réponse est dérivée strictement des données récupérées. |
| Génération | Pertinence de la réponse | À quel point la réponse répond à l’intention de l’utilisateur. |
| Opérations | Latence | Le temps qu’il faut au système pour fournir une réponse complète. |
Comment Alien Road applique les indicateurs de performance du RAG
Alien Road applique les indicateurs de performance du RAG en intégrant des pipelines d’évaluation automatisés dans chaque projet d’AI que nous gérons. Lorsque nous créons un assistant de connaissances personnalisé pour un client, nous commençons par créer un ensemble de requêtes de référence qui représentent les interactions utilisateur les plus courantes. Nous les utilisons pour exécuter des tests automatisés qui mesurent quotidiennement la fidélité et la précision du contexte. Si nous constatons une baisse de ces scores, notre équipe peut rapidement enquêter pour savoir si le problème réside dans les paramètres de la base de données vectorielle ou dans l’ingénierie de prompt du modèle de langage.
Dans une mission typique, nous surveillons également des indicateurs opérationnels comme le coût par requête et la latence. Par exemple, un client utilisant un système RAG pour le support client en temps réel pourrait avoir besoin de réponses en moins de deux secondes. Nous suivons la latence de l’étape de récupération et de l’étape de génération pour identifier les goulots d’étranglement. En optimisant le processus de récupération, nous pouvons souvent réduire le nombre de jetons envoyés au modèle, ce qui réduit les coûts tout en améliorant la vitesse de la réponse. Cette surveillance approfondie garantit que l’AI reste un atout fiable pour l’entreprise à long terme.
Peut-on automatiser l’évaluation des systèmes RAG ?
L’automatisation est un moyen courant de gérer le volume élevé de requêtes qu’un système RAG moderne traite. ‘LLM-as-a-judge’ est une technique populaire où un modèle plus puissant, comme GPT-4, est utilisé pour noter les réponses d’un modèle plus petit ou plus rapide. Le modèle juge examine le contexte récupéré et la réponse générée, puis attribue un score basé sur le cadre RAGAS. Cela permet une surveillance continue sans avoir besoin d’un humain pour vérifier manuellement chaque interaction, ce qui serait impossible à grande échelle.
Cependant, l’automatisation ne devrait pas remplacer complètement la surveillance humaine. Il est de bonne pratique de faire examiner un petit pourcentage des requêtes notées par un expert humain pour s’assurer que le juge automatisé est juste et précis. Cette approche hybride permet une mise à l’échelle rapide tout en maintenant une boucle de rétroaction fiable. Vous pouvez utiliser ces données pour affiner vos modèles ou ajuster votre logique de récupération au fil du temps. La mise en place d’un tableau de bord automatisé qui visualise ces indicateurs aide les parties prenantes à comprendre les performances actuelles et le ROI de leurs investissements en AI.
Gestion de la latence et des coûts opérationnels
Au-delà de la précision, le succès d’un système RAG dépend de son efficacité opérationnelle. La latence est le temps qu’il faut à un utilisateur pour recevoir une réponse. Si le processus de récupération implique de rechercher parmi des millions de documents ou si le générateur utilise un modèle très lent, l’expérience utilisateur en pâtira. Pour améliorer cela, vous pouvez examiner l’indicateur de temps jusqu’au premier jeton, qui mesure la rapidité avec laquelle l’AI commence à écrire la réponse. La réduction de la latence implique souvent l’optimisation de la recherche vectorielle ou l’utilisation d’un modèle plus petit pour des requêtes plus simples.
Le coût est un autre facteur majeur dans la stratégie d’AI à long terme. Chaque fois que le système récupère des données et génère une réponse, il utilise des ressources informatiques et des jetons. En mesurant le coût moyen par requête, les équipes peuvent prendre des décisions éclairées sur les modèles à utiliser. Par exemple, si un type spécifique de requête obtient toujours un score de fidélité élevé avec un modèle moins cher, vous pouvez acheminer ces requêtes vers ce modèle pour économiser de l’argent. Le suivi de ces indicateurs opérationnels parallèlement aux indicateurs de précision fournit une vue complète de la valeur du système pour l’entreprise.
Par où commencer avec l’évaluation RAG cette semaine
Pour commencer à améliorer votre système, vous devez d’abord identifier les questions les plus courantes que vos utilisateurs posent. Créez un petit ensemble de test de 20 à 50 requêtes et leurs réponses idéales. Exécutez-les via votre pipeline RAG actuel et notez-les manuellement pour la fidélité et la pertinence. Cette étape manuelle vous donnera une compréhension de base de la situation de votre système avant de passer à des outils automatisés plus complexes. Une fois que vous avez une ligne de base, vous pouvez commencer à tester différentes méthodes de récupération pour voir lesquelles améliorent vos scores de précision du contexte.
- Identifiez 50 questions principales des utilisateurs pour servir de jeu de données de vérité terrain.
- Exécutez un test initial pour calculer vos scores actuels de fidélité et de pertinence de réponse.
- Vérifiez votre latence de récupération pour voir si elle répond à vos exigences en matière d’expérience utilisateur.
- Configurez un tableau de bord de surveillance de base pour suivre ces chiffres au cours du mois prochain.
Questions fréquemment posées
Qu’est-ce que le cadre RAGAS ?
RAGAS est un cadre d’évaluation conçu spécifiquement pour les systèmes de génération augmentée par récupération. Il fournit un ensemble d’indicateurs qui mesurent la qualité de la récupération et de la génération sans avoir besoin d’un grand jeu de données annoté par l’homme. Il se concentre sur la fidélité, la pertinence de la réponse et la précision du contexte pour aider les développeurs à trouver et à corriger les erreurs dans leurs pipelines d’AI.
Comment mesure-t-on l’hallucination dans le RAG ?
Les hallucinations sont mesurées principalement à l’aide de l’indicateur de fidélité. Cela vérifie si chaque affirmation faite dans la réponse de l’AI peut être retracée jusqu’aux documents sources récupérés. Si l’AI inclut des informations qui ne sont pas dans le contexte, le score de fidélité chute, indiquant un risque élevé d’hallucination ou d’interférence de connaissances externes.
Quelle est la différence entre précision et rappel dans la récupération ?
La précision mesure le pourcentage de documents récupérés qui sont réellement pertinents pour la requête. Le rappel mesure quel pourcentage de tous les documents pertinents dans la base de données ont été trouvés avec succès. Une précision élevée signifie moins de bruit pour le modèle, tandis qu’un rappel élevé signifie que le modèle dispose de tous les faits dont il a besoin pour une réponse complète.
Pourquoi la précision du contexte est-elle importante ?
La précision du contexte est importante car elle évalue si les informations les plus pertinentes sont classées haut dans les résultats de recherche. La plupart des modèles de langage ont une fenêtre de contexte limitée et peuvent être confus si les faits les plus importants sont enterrés profondément dans une liste de documents non pertinents. Une précision élevée garantit que les meilleures données sont traitées en premier.
Peut-on automatiser l’évaluation RAG pour de grands jeux de données ?
Oui, l’automatisation est possible grâce à l’utilisation de techniques LLM-as-a-judge. En utilisant un modèle hautement capable pour évaluer les sorties de votre système RAG, vous pouvez noter des milliers de requêtes rapidement. Cela permet une intégration et un déploiement continus des améliorations de l’AI tout en maintenant un standard cohérent de qualité et de précision.
Continuer la lecture : Optimisation de l’AI · Optimisation de l’AI