Microsoft Copilot Studio beweist seinen Wert, wenn Sie Auflösung, Deflection, Zufriedenheit und Kosten pro Konversation im Vergleich zu dem Prozess messen, den der Agent ersetzt hat. Der integrierte Analyse-Tab liefert Ihnen Sitzungsergebnisse, Themenleistung und Zufriedenheitswerte, aber diese Zahlen sind nur dann aussagekräftig, wenn sie mit einer Baseline aus Ihrem Helpdesk, CRM oder Ihrer Vertriebspipeline verknüpft sind, bevor der Agent live ging.
Copilot Studio ist die Low-Code-Plattform von Microsoft zum Erstellen von Konversations-Agenten. Teams nutzen sie, um Agenten zu erstellen, die Fragen aus SharePoint oder öffentlichen Websites beantworten, Power Automate-Flows aufrufen, an menschliche Mitarbeiter in Dynamics 365 oder andere Systeme übergeben und auf Teams, Websites oder Microsoft 365 Copilot veröffentlichen. Da es innerhalb der Power Platform angesiedelt ist, sind die Messdaten über mehrere Orte verteilt, und genau hier geht das meiste Reporting schief.
Warum haben Copilot Studio-Projekte Schwierigkeiten, den ROI zu zeigen?
Das übliche Problem ist nicht ein Mangel an Daten. Es ist, dass das Team gestartet ist, ohne zu definieren, wie Erfolg aussieht. Ein Agent geht im Intranet live, die Leute fangen an, ihn zu nutzen, und drei Monate später fragt jemand, ob er Geld gespart hat. Niemand hat erfasst, wie viele Tickets der IT-Helpdesk pro Woche vor dem Start bearbeitet hat, also wird die Antwort zu einer Schätzung.
Ein zweites Problem sind Vanity-Metriken. Die Gesamtzahl der Sitzungen steigt nach dem Start schnell an, weil die Leute neugierig sind. Diese Zahl sagt nichts darüber aus, ob Fragen beantwortet wurden. Eine steigende Sitzungszahl gepaart mit einer sinkenden Lösungsrate ist ein Warnsignal, kein Gewinn.
Das dritte ist die Attribution. Wenn ein Kunde mit dem Agenten chattet, eine Teilantwort erhält und dann den Support per E-Mail kontaktiert, hat der Agent geholfen oder einen Schritt hinzugefügt? Ohne die Verknüpfung von Konversations-IDs mit nachgelagerten Tickets können Sie das nicht sagen.
Die KPIs, die wirklich zählen
Copilot Studio gruppiert Sitzungen nach Ergebnis: gelöst, eskaliert, abgebrochen und nicht engagiert. Diese vier Ergebnisse sind das Rückgrat jedes Dashboards. Fügen Sie um sie herum die Geschäftskennzahlen hinzu, die die Ergebnisse beeinflussen sollen.
- Lösungsrate: gelöste Sitzungen geteilt durch engagierte Sitzungen. Dies ist der wichtigste operative KPI.
- Eskalationsrate: Anteil der an einen Menschen übertragenen Sitzungen. Manche Eskalation ist gesund; ein plötzlicher Sprung bedeutet normalerweise ein defektes Thema oder eine fehlende Wissensquelle.
- Abbruchrate: Benutzer, die mitten im Gespräch abbrechen. Eine hohe Abbruchrate bei einem bestimmten Thema deutet auf verwirrende Fragen oder langsame Flows hin.
- CSAT: der Umfragewert am Ende des Gesprächs. Behandeln Sie niedrige Antwortzahlen mit Vorsicht.
- Deflection: Tickets, Anrufe oder E-Mails, die nicht stattgefunden haben, weil der Agent sie bearbeitet hat. Dies erfordert eine Baseline vor dem Start.
- Kosten pro gelöster Konversation: Nachrichten- oder Kapazitätsverbrauch geteilt durch gelöste Sitzungen, verglichen mit den Kosten eines von einem Menschen bearbeiteten Tickets.
- Zeit bis zur Lösung: für interne Agenten, wie viel schneller ein Mitarbeiter eine Antwort erhält, als wenn er ein Ticket einreicht.
Für Marketing- und Vertriebsagenten tauschen Sie Deflection gegen Pipeline-Kennzahlen: qualifizierte Leads erfasst, Meetings gebucht und Konvertierung von Chat zu Formularübermittlung.
Metriken auf Themenebene
Gesamtzahlen verbergen Probleme. Die Themenanalyseansicht zeigt, welche Themen am häufigsten ausgelöst werden und welche in Eskalation oder Abbruch enden. Ein einziges Thema mit einer Abbruchrate von 40 Prozent kann einen ansonsten gesunden Agenten nach unten ziehen. Überprüfen Sie jede Woche die fünf schlechtesten Themen und beheben Sie diese, bevor Sie neue hinzufügen.
Wo liegen die Daten?
Die Analyseseite innerhalb von Copilot Studio deckt die Grundlagen für jeden Agenten ab: Zusammenfassungsdiagramme, Ergebnisse, Themennutzung, Zufriedenheit und Abrechnungsverbrauch. Es ist gut für den Ersteller, aber umständlich für Führungskräfte, da es pro Agent ist und nur begrenzte benutzerdefinierte Slicing-Optionen bietet.
Für tiefergehende Berichte werden Konversationsprotokolle in Dataverse in der Tabelle ConversationTranscript gespeichert. Sie können Power BI mit Dataverse verbinden und die Transkripte selbst modellieren. Microsoft hat auch eine Power BI-Vorlage für Copilot Studio-Analysen veröffentlicht, die zum Zeitpunkt des Schreibens ein vernünftiger Ausgangspunkt ist.
Application Insights ist die dritte Quelle. Wenn Sie einen Agenten mit einer Azure Application Insights-Ressource verbinden, erhalten Sie Telemetrieereignisse mit Zeitstempeln, was bei der Latenzanalyse und benutzerdefinierten Ereignissen hilft, die Sie von Themen aus senden. Wenn Ihre Flows externe APIs aufrufen, werden Sie hier langsame Antworten sehen.
Schließlich die Geschäftssysteme: ServiceNow, Dynamics 365 Customer Service, Zendesk, HubSpot oder Salesforce. Diese halten die Baseline und das nachgelagerte Ergebnis. Ein nützliches Dashboard verbindet mindestens zwei dieser Quellen.
Wie man ein Dashboard erstellt, dem die Führungsebene vertraut
Beginnen Sie mit drei Ebenen anstatt einer überfüllten Seite. Jede Ebene beantwortet eine andere Zielgruppe.
- Führungskräfteansicht: monatliche gelöste Konversationen, abgewehrte Tickets, geschätzte eingesparte Stunden und Kosten pro Lösung im Vergleich zur menschlichen Baseline. Vier Kacheln und eine Trendlinie.
- Betriebsansicht: Ergebnisaufschlüsselung, Eskalationsgründe, CSAT-Trend und die leistungsschwächsten Themen. Dies ist für den Agentenbesitzer und Support-Leiter.
- Erstelleransicht: Themen-Trigger, nicht erkannte Phrasen, Flow-Fehler und Latenz von Application Insights. Hier kommen die Korrekturen her.
Halten Sie Definitionen direkt auf dem Dashboard fest. Wenn “gelöst” bedeutet, dass der Benutzer bestätigt hat, dass die Antwort geholfen hat, sagen Sie das. Wenn eine nicht engagierte Sitzung vom Nenner ausgeschlossen ist, geben Sie dies an. Die meisten Argumente über Chatbot-Zahlen entstehen, weil verschiedene Leute unterschiedliche Definitionen verwenden.
Die Aktualisierungsfrequenz ist ebenfalls wichtig. Eine tägliche Aktualisierung reicht für die meisten Teams aus. Echtzeitansichten sehen beeindruckend aus, laden aber zu Überreaktionen auf kleine Stichproben ein.
Festlegen einer Baseline vor dem Start
Nehmen Sie vier bis acht Wochen Ticketdaten vor dem Go-Live. Kategorisieren Sie Tickets in dieselben Buckets, die Ihre Agententhemen abdecken werden, wie z. B. Passwort-Resets, Bestellstatus oder Preisfragen. Vergleichen Sie nach dem Start die Kategorienvolumina. Wenn Passwort-Reset-Tickets fallen, während das Passwort-Thema des Agenten eine hohe Lösungsrate aufweist, haben Sie eine glaubwürdige Deflection-Geschichte.
Wie Alien Road Microsoft Copilot Studio anwendet
Bei einem typischen Engagement beginnt die Arbeit mit der Entdeckung statt mit dem Bauen. Wir listen die Fragen auf, die Kunden oder Mitarbeiter am häufigsten stellen, normalerweise durch Exportieren einiger Monate an Tickets, Chat-Protokollen oder Verkaufsanfragen und deren Gruppierung. Diese Liste wird zur Themenkarte und gleichzeitig zur Mess-Baseline.
Während der Einrichtung verbinden wir Wissensquellen, erstellen die Themen, die strukturierte Antworten benötigen, und verdrahten die Eskalation mit dem bestehenden Support- oder CRM-Tool des Kunden. Jedes Thema erhält vor dem Start eine klare Erfolgsdefinition. Wir verbinden auch Application Insights und vereinbaren, welche benutzerdefinierten Ereignisse protokolliert werden sollen, zum Beispiel wenn ein Lead-Formular im Chat ausgefüllt wird.
Die Messung erfolgt über einen Power BI-Bericht, der Copilot Studio-Transkripte mit den Ticket- oder Lead-Daten des Kunden verbindet. Ein B2B-Kunde könnte beispielsweise wöchentliche Chat-basierte Leads neben Leads aus Webformularen sehen, mit Kosten pro Lead für beide. Das Reporting ist monatlich, mit einer kurzen Liste von Themen, die behoben werden müssen, und Themen, die hinzugefügt werden sollen, sodass sich der Agent auf Basis von Beweisen statt Meinungen verbessert.
Häufige Messfehler, die vermieden werden sollten
- Zählen aller Sitzungen anstelle von engagierten Sitzungen in der Lösungsrate.
- Lesen von CSAT aus einer Handvoll Antworten, als ob es repräsentativ wäre.
- Ignorieren nicht erkannter Benutzerphrasen, die oft der schnellste Weg zu einer besseren Abdeckung sind.
- Berichten von eingesparten Stunden, ohne die Annahme hinter der Zahl der Minuten pro Ticket anzugeben.
- Vergleich von Monat eins, als die Benutzer neugierig waren, mit Monat vier, als sich die Nutzung eingependelt hatte.
Wo man diese Woche anfangen sollte
Öffnen Sie den Analyse-Tab Ihres geschäftigsten Agenten und notieren Sie die Lösungs-, Eskalations- und Abbruchraten für die letzten 30 Tage. Ziehen Sie dann den gleichen Zeitraum an Ticketvolumina aus Ihrem Support-Tool für die Kategorien, die der Agent abdeckt. Legen Sie beides auf eine Seite, sogar eine Tabelle, und schreiben Sie die Definition jeder Zahl auf. Diese einzelne Seite ist die erste Version eines Dashboards, und sie wird Ihnen sagen, welches Thema Sie als nächstes beheben müssen.
Weiterlesen: AI Marketing Agentur · AI Marketing