Conversational AI für den Kundenservice wird daran gemessen, wie viele Konversationen sie korrekt löst, wie sich Kunden danach fühlen, wie sauber sie an Menschen übergibt und was jeder gelöste Kontakt kostet. Ein nützliches Dashboard fasst diese zusammen, denn ein Bot, der zwar viele Chats “enthält”, aber Kunden verärgert oder sie über einen anderen Kanal zurückschickt, spart kein Geld.
Was ist Conversational AI im Kundenservice heute?
Sie umfasst Chatbots und Sprachassistenten, die freien Text oder Sprache verstehen und in natürlicher Sprache antworten. Moderne Systeme kombinieren ein großes Sprachmodell mit einer Wissensdatenbank und oft Aktionen wie dem Überprüfen einer Bestellung oder dem Buchen eines Termins.
Zu den gängigen Plattformen gehören Zendesk AI-Agenten, Intercom Fin, Salesforce Agentforce, Microsoft Copilot Studio, Google Customer Engagement Suite, der Kundenagent von HubSpot und viele kleinere Tools für WhatsApp und Website-Chats. Die meisten enthalten ihre eigenen Analysen, aber diese Berichte neigen dazu, die vom Anbieter bevorzugten Zahlen zu zeigen.
Welche KPIs sind wirklich wichtig?
Wählen Sie eine kleine Auswahl, die Effektivität, Qualität, Erfahrung und Kosten abdeckt. Mehr Metriken verwässern die Aufmerksamkeit.
Effektivität
- Containment-Rate: Anteil der Konversationen, die ohne menschliche Übergabe enden
- Lösungsrate: Anteil, bei dem das Problem des Kunden tatsächlich gelöst wurde, bestätigt durch Umfrage oder keinen erneuten Kontakt
- Wiederholungskontaktrate: Kunden, die innerhalb eines festgelegten Zeitfensters, z. B. 72 Stunden, mit demselben Problem zurückkommen
Qualität
- Antwortgenauigkeit bei einer überprüften Stichprobe, bewertet durch eine Person
- Anzahl der Halluzinationen oder Richtlinienverstöße: Antworten, die Fakten erfunden oder Regeln gebrochen haben
- Übergabequalität: Hat der menschliche Agent den Kontext erhalten oder musste der Kunde alles wiederholen?
Erfahrung
- CSAT nach Bot-Konversationen im Vergleich zu CSAT nach menschlichen Konversationen
- Abbruchrate: Kunden, die mitten im Gespräch gehen
- Zeit bis zur Lösung
Kosten
- Kosten pro gelöster Konversation, einschließlich Plattformgebühren und Personalzeit für die Wartung
- Freigewordene Stunden menschlicher Agenten und wofür diese Stunden verwendet wurden
Warum ist Containment allein irreführend?
Containment zählt jede Konversation, die keinen Menschen erreicht hat. Ein Kunde, der aufgibt und das Fenster schließt, zählt als enthalten. Ebenso einer, der stattdessen die Telefonleitung anruft.
Koppeln Sie Containment mit Wiederholungskontakten und CSAT. Wenn das Containment steigt, während auch Wiederholungskontakte und Anrufe steigen, verlagert der Bot die Arbeit nur, anstatt sie zu eliminieren.
Wie baut man eine faire Basislinie auf?
Messen Sie das alte Setup mindestens einen Monat vor dem Start: Volumen nach Thema, Bearbeitungszeit, CSAT und Kosten pro Kontakt. Ohne Basislinie ist jede Behauptung einer Verbesserung nur eine Vermutung.
- Exportieren Sie Ticket- und Chat-Daten mit Themen-Tags
- Berechnen Sie die durchschnittliche Bearbeitungszeit pro Thema
- Erfassen Sie CSAT nach Kanal
- Notieren Sie saisonale Spitzen, die Vergleiche verzerren könnten
Vergleichen Sie nach dem Start dieselben Themen über einen ähnlichen Zeitraum. Wenn Sie können, lassen Sie den Bot zuerst auf einem Teil des Verkehrs laufen und behalten Sie den Rest im alten Fluss; das ergibt einen saubereren Vergleich.
Wie sieht ein funktionierendes Dashboard aus?
Eine Seite, vier Blöcke, wöchentlich aktualisiert. Führungskräfte sollten es in zwei Minuten lesen können.
- Oberer Block: Konversationen, Lösungsrate, CSAT, Kosten pro gelöstem Kontakt, jeweils mit einem Trendverlauf
- Thementabelle: Volumen, Lösung und CSAT pro Thema, sortiert nach Volumen
- Qualitätsblock: Genauigkeitswert aus der wöchentlichen Stichprobe, Richtlinienverstöße, Übergabebeschwerden
- Lückenliste: Top-unbeantwortete Fragen und Themen mit sinkender Lösungsrate
Daten stammen normalerweise von der Bot-Plattform, dem Helpdesk und dem Umfragetool. Tools wie Looker Studio, Power BI oder die eigenen Berichte des Helpdesks können sie kombinieren. Halten Sie Definitionen direkt auf dem Dashboard fest, damit “gelöst” jeden Monat dasselbe bedeutet.
Wie oft sollten Konversationen von Menschen überprüft werden?
Automatisierte Metriken übersehen Tonfall und subtile Fehler. Eine wöchentliche Stichprobenprüfung fängt sie ein.
- Stichprobe von 30 bis 100 Konversationen pro Woche, verteilt auf Themen
- Bewerten Sie jede auf Genauigkeit, Tonfall und korrekte Übergabe
- Protokollieren Sie jede falsche Antwort und korrigieren Sie die Wissensquelle dahinter
- Teilen Sie zwei gute und zwei schlechte Beispiele mit dem Support-Team
Wie sieht ein Arbeitsbeispiel aus?
Nehmen wir einen hypothetischen Online-Elektronikshop, der etwa 6.000 Chats pro Monat abwickelt. Vor dem Start zeigt seine Basislinie, dass Fragen zum Bestellstatus einen großen Teil des Volumens ausmachen, mit einer durchschnittlichen Bearbeitungszeit von vier Minuten und einem CSAT auf dem üblichen Niveau des Teams.
Nachdem der AI-Agent für den Bestellstatus live geht, zeigt das Dashboard ein hohes Containment bei diesem Thema. Wiederholungskontakte zum Bestellstatus bleiben flach und der CSAT bleibt stabil, also sieht das Containment echt aus. Bei Rücksendungen ist das Containment jedoch hoch, während sich die Wiederholungskontakte verdoppeln. Die Überprüfung von Stichproben zeigt, dass der Agent ein altes Rückgabefenster von einer veralteten Hilfeseite zitiert.
Die Lösung liegt nicht in den AI-Einstellungen. Die Hilfeseite wird aktualisiert, die Antworten des Agenten ändern sich am selben Tag und die Wiederholungskontakte fallen in der nächsten Woche wieder ab. Das ist das Muster, das gute Messung erzeugt: Eine spezifische Zahl weist auf eine spezifische Seite hin, und die Korrektur ist billig.
Wie berichten Sie Ergebnisse an die Führungsebene?
Führungskräfte wollen drei Dinge wissen: Funktioniert es, ist es sicher und was kostet es? Beantworten Sie diese in den ersten Zeilen jedes Berichts, dann zeigen Sie Details darunter.
- Ein Satz zum Trend von Lösung und CSAT
- Ein Satz zu Qualitätsvorfällen und Korrekturen
- Ein Satz zu Kosten pro gelöstem Kontakt im Vergleich zur menschlichen Basislinie
Vermeiden Sie es, Containment allein als Erfolg zu melden. Es lädt später zur falschen Frage ein, wenn Beschwerden in einem anderen Kanal steigen.
Wie Alien Road die Messung von Conversational AI anwendet
Bei einem typischen CRM-Engagement beginnen wir mit der Discovery: Exportieren eines Monats an Tickets und Chats, Tagging nach Thema und Aufbau der Basislinie. Wir vereinbaren Definitionen mit dem Support-Leiter des Kunden vor jedem Start.
Das Setup umfasst die Verbindung von Bot-Plattform, Helpdesk und Umfragedaten in einem Dashboard sowie ein Stichprobenblatt für wöchentliche Überprüfungen. Wir starten normalerweise zuerst mit zwei oder drei Themen mit hohem Volumen.
Die Berichterstattung erfolgt anfangs wöchentlich und nach der Stabilisierung monatlich. Jeder Bericht zeigt die vier Dashboard-Blöcke, die Ergebnisse der Stichprobenprüfung und eine kurze Liste von Wissenskorrekturen, sodass Verbesserungen auf spezifische Änderungen zurückführbar sind.
Wo man diese Woche anfangen sollte
Ziehen Sie die Support-Daten des letzten Monats und berechnen Sie drei Zahlen pro Thema: Volumen, durchschnittliche Bearbeitungszeit und CSAT. Das ist Ihre Basislinie. Öffnen Sie dann die Analysen Ihrer Bot-Plattform und prüfen Sie, wie sie Containment und Lösung definiert. Schreiben Sie beide Definitionen auf. Diese zwei Schritte machen jeden zukünftigen Bericht ehrlich.
Weiterlesen: CRM-System · AI-Marketing