Microsoft Copilot Studio prouve sa valeur lorsque vous mesurez la résolution, le détournement, la satisfaction et le coût par conversation par rapport au processus que l’agent a remplacé. L’onglet Analytique intégré vous donne les résultats des sessions, les performances des sujets et les scores de satisfaction, mais ces chiffres ne signifient quelque chose qu’une fois qu’ils sont liés à une référence de votre service d’assistance, CRM ou pipeline de ventes avant la mise en ligne de l’agent.
Copilot Studio est la plateforme low-code de Microsoft pour créer des agents conversationnels. Les équipes l’utilisent pour créer des agents qui répondent aux questions de SharePoint ou de sites web publics, appellent des flux Power Automate, transfèrent au personnel humain dans Dynamics 365 ou d’autres systèmes, et publient sur Teams, des sites web ou Microsoft 365 Copilot. Comme il se trouve au sein de la Power Platform, les données de mesure sont réparties à plusieurs endroits, et c’est là que la plupart des rapports échouent.
Pourquoi les projets Copilot Studio ont-ils du mal à montrer un retour sur investissement ?
Le problème habituel n’est pas un manque de données. C’est que l’équipe a commencé sans décider à quoi ressemblait le succès. Un agent est mis en ligne sur l’intranet, les gens commencent à l’utiliser, et trois mois plus tard, quelqu’un demande s’il a permis d’économiser de l’argent. Personne n’a enregistré combien de tickets le service informatique traitait par semaine avant le lancement, donc la réponse devient une supposition.
Un deuxième problème concerne les mesures de vanité. Le nombre total de sessions augmente rapidement après le lancement parce que les gens sont curieux. Ce chiffre ne dit rien sur le fait que les questions ont été répondues. Un nombre de sessions croissant associé à un taux de résolution en baisse est un signal d’avertissement, pas une victoire.
Le troisième est l’attribution. Si un client discute avec l’agent, obtient une réponse partielle, puis envoie un e-mail au support, l’agent a-t-il aidé ou ajouté une étape ? Sans lier les ID de conversation aux tickets en aval, vous ne pouvez pas le dire.
Les KPI qui comptent vraiment
Copilot Studio regroupe les sessions par résultat : résolu, escaladé, abandonné et non engagé. Ces quatre résultats sont l’épine dorsale de tout tableau de bord. Autour d’eux, ajoutez les mesures commerciales que les résultats sont censés faire bouger.
- Taux de résolution : sessions résolues divisées par sessions engagées. C’est le KPI opérationnel principal.
- Taux d’escalade : part des sessions transférées à un humain. Une certaine escalade est saine ; un saut soudain signifie généralement un sujet cassé ou une source de connaissances manquante.
- Taux d’abandon : utilisateurs qui partent au milieu de la conversation. Un abandon élevé sur un sujet spécifique indique des questions confuses ou des flux lents.
- CSAT : le score de l’enquête à la fin de la conversation. Traitez les faibles nombres de réponses avec prudence.
- Détournement : tickets, appels ou e-mails qui n’ont pas eu lieu parce que l’agent les a traités. Cela nécessite une référence avant le lancement.
- Coût par conversation résolue : consommation de messages ou de capacité divisée par les sessions résolues, comparé au coût d’un ticket traité par un humain.
- Temps de résolution : pour les agents internes, combien plus rapidement un employé obtient une réponse qu’en déposant un ticket.
Pour les agents de marketing et de vente, remplacez le détournement par des mesures de pipeline : prospects qualifiés capturés, réunions réservées et conversion du chat à la soumission de formulaire.
Mesures au niveau du sujet
Les chiffres globaux cachent des problèmes. La vue analytique des sujets montre quels sujets se déclenchent le plus souvent et lesquels se terminent par une escalade ou un abandon. Un seul sujet avec un taux d’abandon de 40 pour cent peut tirer vers le bas un agent par ailleurs sain. Examinez les cinq pires sujets chaque semaine et corrigez-les avant d’en ajouter de nouveaux.
Où vivent les données ?
La page Analytique dans Copilot Studio couvre l’essentiel pour chaque agent : graphiques récapitulatifs, résultats, utilisation des sujets, satisfaction et consommation de facturation. C’est bien pour le constructeur mais gênant pour les dirigeants, car c’est par agent et a un découpage personnalisé limité.
Pour des rapports plus approfondis, les transcriptions de conversation sont stockées dans Dataverse dans la table ConversationTranscript. Vous pouvez connecter Power BI à Dataverse et modéliser les transcriptions vous-même. Microsoft a également publié un modèle Power BI pour l’analytique de Copilot Studio, qui est un point de départ raisonnable au moment de la rédaction.
Application Insights est la troisième source. Lorsque vous connectez un agent à une ressource Azure Application Insights, vous obtenez des événements de télémétrie avec des horodatages, ce qui aide à l’analyse de la latence et aux événements personnalisés que vous émettez à partir des sujets. Si vos flux appellent des API externes, c’est ici que vous verrez des réponses lentes.
Enfin, les systèmes commerciaux : ServiceNow, Dynamics 365 Customer Service, Zendesk, HubSpot ou Salesforce. Ceux-ci détiennent la référence et le résultat en aval. Un tableau de bord utile réunit au moins deux de ces sources.
Comment créer un tableau de bord auquel la direction fera confiance
Commencez par trois couches plutôt qu’une page encombrée. Chaque couche répond à un public différent.
- Vue exécutive : conversations résolues mensuelles, tickets détournés, heures estimées économisées et coût par résolution par rapport à la référence humaine. Quatre tuiles et une ligne de tendance.
- Vue des opérations : répartition des résultats, raisons de l’escalade, tendance CSAT et les sujets les moins performants. C’est pour le propriétaire de l’agent et le responsable du support.
- Vue du constructeur : déclencheurs de sujets, phrases non reconnues, échecs de flux et latence d’Application Insights. C’est de là que viennent les correctifs.
Gardez les définitions écrites sur le tableau de bord lui-même. Si “résolu” signifie que l’utilisateur a confirmé que la réponse a aidé, dites-le. Si une session non engagée est exclue du dénominateur, indiquez-le. La plupart des arguments sur les chiffres des chatbots proviennent de personnes différentes utilisant des définitions différentes.
La cadence de rafraîchissement compte aussi. Le rafraîchissement quotidien suffit pour la plupart des équipes. Les vues en temps réel semblent impressionnantes mais invitent à une réaction excessive face à de petits échantillons.
Établir une référence avant le lancement
Prenez quatre à huit semaines de données de tickets avant la mise en ligne. Catégorisez les tickets dans les mêmes compartiments que ceux que vos sujets d’agent couvriront, comme les réinitialisations de mot de passe, le statut des commandes ou les questions de prix. Après le lancement, comparez les volumes de catégories. Si les tickets de réinitialisation de mot de passe diminuent alors que le sujet de mot de passe de l’agent affiche un taux de résolution élevé, vous avez une histoire de détournement crédible.
Comment Alien Road applique Microsoft Copilot Studio
Dans un engagement typique, le travail commence par la découverte plutôt que par la construction. Nous listons les questions que les clients ou le personnel posent le plus souvent, généralement en exportant quelques mois de tickets, de journaux de chat ou de demandes de vente et en les regroupant. Cette liste devient la carte des sujets et, en même temps, la référence de mesure.
Pendant la configuration, nous connectons les sources de connaissances, construisons les sujets qui ont besoin de réponses structurées et connectons l’escalade à l’outil de support ou CRM existant du client. Chaque sujet obtient une définition de succès claire avant le lancement. Nous connectons également Application Insights et convenons des événements personnalisés à enregistrer, par exemple lorsqu’un formulaire de prospect est rempli dans le chat.
La mesure s’exécute sur un rapport Power BI qui joint les transcriptions de Copilot Studio avec les données de tickets ou de prospects du client. Par exemple, un client B2B pourrait voir les prospects hebdomadaires provenant du chat à côté des prospects provenant des formulaires web, avec le coût par prospect pour les deux. Les rapports sont mensuels, avec une courte liste de sujets à corriger et de sujets à ajouter, de sorte que l’agent s’améliore sur la base de preuves plutôt que d’opinions.
Erreurs de mesure courantes à éviter
- Compter toutes les sessions au lieu des sessions engagées dans le taux de résolution.
- Lire le CSAT à partir d’une poignée de réponses comme s’il était représentatif.
- Ignorer les phrases utilisateur non reconnues, qui sont souvent le chemin le plus rapide vers une meilleure couverture.
- Rapporter les heures économisées sans indiquer l’hypothèse derrière le chiffre des minutes par ticket.
- Comparer le mois un, où les utilisateurs étaient curieux, avec le mois quatre, où l’utilisation s’est stabilisée.
Par où commencer cette semaine
Ouvrez l’onglet Analytique de votre agent le plus occupé et notez les taux de résolution, d’escalade et d’abandon des 30 derniers jours. Ensuite, extrayez la même période de volumes de tickets de votre outil de support pour les catégories que l’agent couvre. Mettez les deux sur une page, même une feuille de calcul, et écrivez la définition de chaque nombre. Cette seule page est la première version d’un tableau de bord, et elle vous dira quel sujet corriger ensuite.
Continuer la lecture : Agence de marketing AI · Marketing AI