Mesurer les agents d’AI signifie suivre si chaque tâche a été terminée correctement, à quelle fréquence une personne a dû intervenir, ce que chaque tâche a coûté et quel résultat commercial elle a fait progresser. Un tableau de bord utile montre ces quatre couches côte à côte : taux de réussite des tâches, taux d’escalade, coût par tâche terminée et une métrique de résultat telle que les prospects qualifiés, les tickets résolus ou les heures économisées, comparés au même travail effectué sans l’agent.
Un agent d’AI est un logiciel qui utilise un modèle de langage pour planifier des étapes et appeler des outils, tels qu’un CRM, une fonction de recherche ou un système de messagerie, pour atteindre un objectif. Les équipes les construisent avec des plateformes comme Salesforce Agentforce, Microsoft Copilot Studio, les agents Breeze de HubSpot, le SDK d’agents d’OpenAI, LangGraph ou le nœud d’agent d’AI de n8n. Parce que l’agent décide de ses propres étapes, il est plus difficile à mesurer qu’une automatisation fixe.
De nombreux projets pilotes sont jugés sur les impressions d’une démo. Cela survit rarement à un examen budgétaire. La structure ci-dessous fournit aux finances et au marketing les mêmes chiffres sur lesquels débattre.
Pourquoi les métriques d’automatisation standard ne suffisent-elles pas ?
Un flux de travail fixe s’exécute ou échoue. Un agent peut s’exécuter, suivre un chemin qui semble raisonnable et produire quand même le mauvais résultat : réserver une réunion avec le mauvais contact, résumer incorrectement un appel ou répondre à un client avec une politique obsolète. Les “exécutions terminées” comptent cela comme des succès.
Les agents varient également leurs efforts. Une tâche peut nécessiter deux appels d’outils et une autre vingt, donc le coût par tâche peut varier considérablement. Un tableau de bord qui ne montre que les dépenses totales cache quelles tâches sont coûteuses.
Quels KPI doivent figurer sur le tableau de bord ?
Regroupez les métriques en quatre couches. Chacune répond à une question différente.
Couche 1 : Qualité des tâches
- Taux de réussite des tâches : part des tâches terminées correctement, jugées par rapport à une norme définie.
- Précision sur un ensemble de test : un ensemble fixe de tâches exemples réexécutées après chaque changement de prompt ou de modèle.
- Types d’erreurs : données erronées, action erronée, tâche incomplète, violation de politique.
Le succès des tâches nécessite un juge. Pour un agent de support, cela pourrait être “le client n’a pas rouvert le ticket dans les sept jours”. Pour un agent de recherche de prospects, cela pourrait être un échantillon hebdomadaire noté par un représentant commercial.
Couche 2 : Implication humaine
- Taux d’escalade : part des tâches transmises à une personne.
- Taux de remplacement : part des actions de l’agent qu’un réviseur a modifiées ou annulées.
- Temps de révision par tâche : minutes qu’une personne a passées à vérifier.
Un taux d’escalade en baisse n’est bon que si le succès des tâches reste stable. Si les deux baissent, l’agent devine plus et demande moins.
Couche 3 : Efficacité et coût
- Coût par tâche terminée : jetons de modèle plus frais d’outils et de plateforme, divisés par les tâches réussies.
- Temps de réalisation : du déclencheur au résultat final.
- Étapes par tâche : appels d’outils ou tours de modèle, pour repérer les tâches où l’agent tourne en boucle.
Couche 4 : Résultat commercial
- La métrique que l’agent a été construit pour faire progresser, comme les prospects qualifiés par semaine, le temps de première réponse, les tickets résolus ou les pages publiées.
- Un groupe de comparaison : le même travail effectué sans l’agent, pendant la même période si possible.
Comment établir une base de référence équitable ?
Mesurez le processus actuel pendant deux à quatre semaines avant le lancement. Enregistrez le volume, le temps par tâche, le taux d’erreur et le coût. Sans cela, chaque chiffre ultérieur manque de contexte.
Pendant le pilote, divisez le travail si vous le pouvez. Acheminez la moitié des conversations de chat entrantes vers l’agent et la moitié vers le flux existant, ou laissez l’agent gérer une région ou une gamme de produits. Une comparaison divisée est beaucoup plus convaincante que les chiffres avant-après, qui sont mélangés à la saisonnalité et aux campagnes.
À quoi devrait ressembler le tableau de bord ?
Gardez-le sur un seul écran. Une mise en page qui fonctionne pour la plupart des équipes comporte quatre lignes correspondant aux couches ci-dessus, chacune avec la semaine actuelle, la semaine précédente et la base de référence. Looker Studio, Power BI ou une simple feuille de calcul fonctionnent tous ; les données proviennent généralement des journaux de la plateforme de l’agent ainsi que du CRM ou du help desk.
- Ligne supérieure : résultat commercial par rapport à la base de référence.
- Deuxième ligne : succès des tâches et types d’erreurs.
- Troisième ligne : escalade, remplacement et temps de révision.
- Ligne inférieure : coût par tâche terminée et étapes par tâche.
Ajoutez un échantillon hebdomadaire de cinq transcriptions réelles, liées depuis le tableau de bord. Les chiffres expliquent les tendances ; les transcriptions expliquent les causes.
Comment Alien Road applique la mesure des agents d’AI
Dans un engagement typique, la mesure est conçue avant que l’agent ne soit construit. La découverte définit la tâche en une phrase, la norme de succès et la métrique commerciale qu’elle doit faire progresser. Nous convenons également avec le client de qui note les échantillons, car la notation est l’étape la plus souvent sautée.
La configuration connecte les journaux de l’agent à la pile de rapports. Pour les agents construits dans n8n ou avec le SDK d’agents d’OpenAI, chaque exécution écrit une ligne avec l’ID de tâche, les étapes, les jetons, le résultat et le drapeau d’escalade. Pour les agents au sein des plateformes CRM, nous exportons les propres données d’activité de la plateforme. Cette ligne est jointe aux résultats du CRM ou du help desk dans Looker Studio.
Les rapports mensuels comparent l’agent au groupe de référence, montrent la tendance du coût par tâche terminée et incluent des transcriptions des bonnes et des mauvaises exécutions. Lorsqu’un agent manque sa cible pendant deux mois, le rapport recommande de réduire son champ d’application ou de le retirer plutôt que d’ajouter plus de prompts.
Quelles erreurs rendent les métriques des agents trompeuses ?
La plus courante est de ne noter que les exécutions qui se sont terminées. Les tâches que l’agent a abandonnées ou qui ont expiré doivent compter comme des échecs, sinon le taux de réussite semble meilleur à chaque fois que l’agent abandonne plus souvent.
Une deuxième erreur consiste à modifier le prompt, le modèle et le champ d’application de la tâche la même semaine. Lorsque les chiffres bougent, personne ne peut dire pourquoi. Changez une chose à la fois et réexécutez l’ensemble de test fixe après chaque changement.
Une troisième est de rapporter des jetons au lieu de l’argent. Les nombres de jetons signifient peu pour une équipe financière ; convertissez-les en coût par tâche terminée en utilisant le prix actuel du fournisseur et notez la date de ce prix dans le rapport.
Par où commencer cette semaine
Écrivez la définition de la tâche en une phrase et la norme de succès pour votre agent, même s’il est déjà en cours d’exécution. Ensuite, extrayez les journaux du mois dernier et calculez seulement deux chiffres : le succès des tâches sur un échantillon de vingt exécutions et le coût par tâche terminée.
Ces deux chiffres changent généralement la conversation. Si le succès est élevé et le coût faible, construisez le tableau de bord complet. Sinon, vous savez ce qu’il faut corriger avant de mesurer autre chose.
Continuer la lecture : Agence de Marketing AI · Marketing AI