Microsoft Copilot Studio dimostra il suo valore quando misuri risoluzione, deflessione, soddisfazione e costo per conversazione rispetto al processo che l’agente ha sostituito. La scheda Analytics integrata fornisce risultati delle sessioni, prestazioni degli argomenti e punteggi di soddisfazione, ma questi numeri hanno senso solo se collegati a una baseline del tuo help desk, CRM o pipeline di vendita precedente alla messa online dell’agente.
Copilot Studio è la piattaforma low-code di Microsoft per creare agenti conversazionali. I team la utilizzano per creare agenti che rispondono a domande da SharePoint o siti web pubblici, richiamano flussi di Power Automate, trasferiscono le richieste al personale umano in Dynamics 365 o altri sistemi e pubblicano su Teams, siti web o Microsoft 365 Copilot. Poiché risiede all’interno della Power Platform, i dati di misurazione sono distribuiti in più punti, ed è qui che la maggior parte della reportistica fallisce.
Perché i progetti Copilot Studio faticano a mostrare un ROI?
Il problema abituale non è la mancanza di dati. È che il team ha lanciato il progetto senza definire cosa significasse avere successo. Un agente va online sull’intranet, le persone iniziano a usarlo e tre mesi dopo qualcuno chiede se ha fatto risparmiare denaro. Nessuno ha registrato quanti ticket gestisse l’IT desk a settimana prima del lancio, quindi la risposta diventa una stima.
Un secondo problema sono le vanity metrics. Le sessioni totali aumentano rapidamente dopo il lancio perché le persone sono curiose. Quel numero non dice nulla sul fatto che le domande abbiano ricevuto risposta. Un conteggio delle sessioni in crescita abbinato a un tasso di risoluzione in calo è un segnale di allarme, non una vittoria.
Il terzo è l’attribuzione. Se un cliente chatta con l’agente, ottiene una risposta parziale e poi invia un’email all’assistenza, l’agente ha aiutato o ha aggiunto un passaggio? Senza collegare gli ID delle conversazioni ai ticket successivi, non è possibile saperlo.
I KPI che contano davvero
Copilot Studio raggruppa le sessioni per risultato: risolte, inoltrate, abbandonate e non coinvolte. Questi quattro risultati sono la spina dorsale di qualsiasi dashboard. Attorno a essi, aggiungi le misure di business che i risultati dovrebbero influenzare.
- Tasso di risoluzione: sessioni risolte divise per sessioni coinvolte. Questo è il KPI operativo principale.
- Tasso di inoltro: quota di sessioni trasferite a un operatore umano. Un po’ di inoltro è salutare; un salto improvviso di solito significa un argomento non funzionante o una fonte di conoscenza mancante.
- Tasso di abbandono: utenti che escono a metà conversazione. Un alto abbandono su un argomento specifico indica domande confuse o flussi lenti.
- CSAT: il punteggio del sondaggio di fine conversazione. Tratta con cautela i conteggi di risposta bassi.
- Deflessione: ticket, chiamate o email che non si sono verificati perché l’agente li ha gestiti. Questo richiede una baseline pre-lancio.
- Costo per conversazione risolta: consumo di messaggi o capacità diviso per le sessioni risolte, confrontato con il costo di un ticket gestito da un umano.
- Tempo di risoluzione: per gli agenti interni, quanto più velocemente un dipendente ottiene una risposta rispetto all’apertura di un ticket.
Per gli agenti di marketing e vendita, sostituisci la deflessione con le misure di pipeline: lead qualificati acquisiti, riunioni prenotate e conversione dalla chat all’invio di moduli.
Metriche a livello di argomento
I numeri complessivi nascondono i problemi. La vista dell’analisi degli argomenti mostra quali argomenti si attivano più spesso e quali terminano con un inoltro o un abbandono. Un singolo argomento con un tasso di abbandono del 40 percento può trascinare verso il basso un agente altrimenti sano. Rivedi i cinque argomenti peggiori ogni settimana e correggili prima di aggiungerne di nuovi.
Dove risiedono i dati?
La pagina Analytics all’interno di Copilot Studio copre l’essenziale per ogni agente: grafici di riepilogo, risultati, utilizzo degli argomenti, soddisfazione e consumo di fatturazione. Va bene per chi crea l’agente, ma è scomoda per i dirigenti, perché è per singolo agente e ha una segmentazione personalizzata limitata.
Per una reportistica più approfondita, le trascrizioni delle conversazioni sono archiviate in Dataverse nella tabella ConversationTranscript. Puoi collegare Power BI a Dataverse e modellare le trascrizioni autonomamente. Microsoft ha anche pubblicato un modello Power BI per l’analisi di Copilot Studio, che è un punto di partenza ragionevole al momento della stesura.
Application Insights è la terza fonte. Quando colleghi un agente a una risorsa Azure Application Insights, ottieni eventi di telemetria con timestamp, utili per l’analisi della latenza e per gli eventi personalizzati emessi dagli argomenti. Se i tuoi flussi richiamano API esterne, è qui che vedrai le risposte lente.
Infine, i sistemi aziendali: ServiceNow, Dynamics 365 Customer Service, Zendesk, HubSpot o Salesforce. Questi contengono la baseline e il risultato a valle. Una dashboard utile unisce almeno due di queste fonti.
Come costruire una dashboard di cui la leadership si fiderà
Inizia con tre livelli invece di una pagina affollata. Ogni livello risponde a un pubblico diverso.
- Vista executive: conversazioni risolte mensili, ticket deflessi, ore stimate risparmiate e costo per risoluzione rispetto alla baseline umana. Quattro riquadri e una linea di tendenza.
- Vista operativa: ripartizione dei risultati, motivi di inoltro, tendenza CSAT e argomenti con le prestazioni peggiori. È per il proprietario dell’agente e il responsabile dell’assistenza.
- Vista builder: trigger degli argomenti, frasi non riconosciute, errori di flusso e latenza da Application Insights. È qui che si trovano le correzioni.
Tieni le definizioni scritte sulla dashboard stessa. Se “risolto” significa che l’utente ha confermato che la risposta è stata utile, specificalo. Se una sessione non coinvolta è esclusa dal denominatore, dichiaralo. La maggior parte delle discussioni sui numeri dei chatbot nasce da persone diverse che usano definizioni diverse.
Anche la frequenza di aggiornamento è importante. L’aggiornamento giornaliero è sufficiente per la maggior parte dei team. Le viste in tempo reale sembrano impressionanti ma invitano a reazioni eccessive su piccoli campioni.
Impostare una baseline prima del lancio
Prendi da quattro a otto settimane di dati sui ticket prima del go-live. Categorizza i ticket negli stessi contenitori che copriranno gli argomenti del tuo agente, come reimpostazione password, stato dell’ordine o domande sui prezzi. Dopo il lancio, confronta i volumi delle categorie. Se i ticket per la reimpostazione della password diminuiscono mentre l’argomento password dell’agente mostra un alto tasso di risoluzione, hai una storia di deflessione credibile.
Come Alien Road applica Microsoft Copilot Studio
In un tipico incarico, il lavoro inizia con la scoperta piuttosto che con la costruzione. Elenchiamo le domande che i clienti o il personale pongono più spesso, solitamente esportando alcuni mesi di ticket, log di chat o richieste di vendita e raggruppandoli. Quell’elenco diventa la mappa degli argomenti e, allo stesso tempo, la baseline di misurazione.
Durante la configurazione, colleghiamo le fonti di conoscenza, costruiamo gli argomenti che necessitano di risposte strutturate e colleghiamo l’inoltro allo strumento di supporto o CRM esistente del cliente. Ogni argomento ottiene una chiara definizione di successo prima del lancio. Colleghiamo anche Application Insights e concordiamo quali eventi personalizzati registrare, ad esempio quando un modulo lead viene completato all’interno della chat.
La misurazione avviene su un report Power BI che unisce le trascrizioni di Copilot Studio con i dati dei ticket o dei lead del cliente. Ad esempio, un cliente B2B potrebbe vedere i lead settimanali provenienti dalla chat accanto ai lead dai moduli web, con il costo per lead per entrambi. La reportistica è mensile, con un breve elenco di argomenti da correggere e argomenti da aggiungere, in modo che l’agente migliori basandosi su prove piuttosto che su opinioni.
Errori di misurazione comuni da evitare
- Contare tutte le sessioni invece delle sessioni coinvolte nel tasso di risoluzione.
- Leggere il CSAT da una manciata di risposte come se fosse rappresentativo.
- Ignorare le frasi utente non riconosciute, che sono spesso il percorso più rapido verso una migliore copertura.
- Riportare le ore risparmiate senza dichiarare l’ipotesi dietro la cifra dei minuti per ticket.
- Confrontare il primo mese, quando gli utenti erano curiosi, con il quarto mese, quando l’utilizzo si è stabilizzato.
Da dove iniziare questa settimana
Apri la scheda Analytics del tuo agente più attivo e annota i tassi di risoluzione, inoltro e abbandono degli ultimi 30 giorni. Quindi estrai lo stesso periodo di volumi di ticket dal tuo strumento di supporto per le categorie coperte dall’agente. Metti entrambi su una pagina, anche un foglio di calcolo, e scrivi la definizione di ogni numero. Quella singola pagina è la prima versione di una dashboard e ti dirà quale argomento correggere per primo.
Continua a leggere: AI Marketing Agency · AI Marketing