Die Messung von AI-Agenten bedeutet zu verfolgen, ob jede Aufgabe korrekt abgeschlossen wurde, wie oft ein Mensch eingreifen musste, was jede Aufgabe gekostet hat und welches Geschäftsergebnis sie beeinflusst hat. Ein nützliches Dashboard zeigt diese vier Ebenen nebeneinander: Erfolgsquote der Aufgaben, Eskalationsrate, Kosten pro abgeschlossener Aufgabe und eine Ergebnismetrik wie qualifizierte Leads, gelöste Tickets oder eingesparte Stunden, verglichen mit der gleichen Arbeit, die ohne den Agenten erledigt wurde.
Ein AI-Agent ist eine Software, die ein Sprachmodell verwendet, um Schritte zu planen und Tools wie ein CRM, eine Suchfunktion oder ein E-Mail-System aufzurufen, um ein Ziel zu erreichen. Teams bauen sie mit Plattformen wie Salesforce Agentforce, Microsoft Copilot Studio, HubSpot’s Breeze Agents, OpenAI’s Agents SDK, LangGraph oder dem AI Agent Node von n8n. Da der Agent seine Schritte selbst bestimmt, ist er schwieriger zu messen als eine feste Automatisierung.
Viele Pilotprojekte werden nach Eindrücken aus einer Demo beurteilt. Das überlebt selten eine Budgetprüfung. Die unten stehende Struktur liefert Finanz- und Marketingabteilungen die gleichen Zahlen, über die sie diskutieren können.
Warum reichen Standard-Automatisierungsmetriken nicht aus?
Ein fester Workflow läuft entweder durch oder schlägt fehl. Ein Agent kann laufen, einen vernünftig aussehenden Pfad einschlagen und trotzdem das falsche Ergebnis liefern: ein Meeting mit dem falschen Kontakt buchen, einen Anruf falsch zusammenfassen oder einem Kunden mit einer veralteten Richtlinie antworten. “Abgeschlossene Durchläufe” zählt diese als Erfolge.
Agenten variieren auch ihren Aufwand. Eine Aufgabe erfordert vielleicht zwei Tool-Aufrufe und eine andere zwanzig, daher können die Kosten pro Aufgabe stark schwanken. Ein Dashboard, das nur die Gesamtausgaben anzeigt, verbirgt, welche Aufgaben teuer sind.
Welche KPIs gehören auf das Dashboard?
Gruppieren Sie die Metriken in vier Ebenen. Jede beantwortet eine andere Frage.
Ebene 1: Aufgabenqualität
- Erfolgsquote der Aufgaben: Anteil der korrekt abgeschlossenen Aufgaben, gemessen an einem definierten Standard.
- Genauigkeit bei einem Testset: ein fester Satz von Beispielaufgaben, der nach jeder Prompt- oder Modelländerung erneut ausgeführt wird.
- Fehlertypen: falsche Daten, falsche Aktion, unvollständige Aufgabe, Richtlinienverstoß.
Aufgabenerfolg braucht einen Richter. Für einen Support-Agenten könnte es sein: “Der Kunde hat das Ticket nicht innerhalb von sieben Tagen wieder geöffnet”. Für einen Lead-Research-Agenten könnte es eine wöchentliche Stichprobe sein, die von einem Vertriebsmitarbeiter bewertet wird.
Ebene 2: Menschliche Beteiligung
- Eskalationsrate: Anteil der Aufgaben, die an eine Person übergeben wurden.
- Override-Rate: Anteil der Agentenaktionen, die ein Prüfer geändert oder rückgängig gemacht hat.
- Prüfzeit pro Aufgabe: Minuten, die eine Person mit der Überprüfung verbracht hat.
Eine sinkende Eskalationsrate ist nur gut, wenn der Aufgabenerfolg stabil bleibt. Wenn beides sinkt, rät der Agent mehr und fragt weniger.
Ebene 3: Effizienz und Kosten
- Kosten pro abgeschlossener Aufgabe: Modell-Token plus Tool- und Plattformgebühren, geteilt durch erfolgreiche Aufgaben.
- Zeit bis zum Abschluss: vom Auslöser bis zum fertigen Ergebnis.
- Schritte pro Aufgabe: Tool-Aufrufe oder Modell-Turns, um Aufgaben zu erkennen, bei denen der Agent in Schleifen läuft.
Ebene 4: Geschäftsergebnis
- Die Metrik, für deren Beeinflussung der Agent gebaut wurde, wie qualifizierte Leads pro Woche, Erstantwortzeit, gelöste Tickets oder veröffentlichte Seiten.
- Eine Vergleichsgruppe: die gleiche Arbeit, die ohne den Agenten erledigt wurde, nach Möglichkeit im gleichen Zeitraum.
Wie richtet man eine faire Baseline ein?
Messen Sie den aktuellen Prozess zwei bis vier Wochen vor dem Start. Erfassen Sie Volumen, Zeit pro Aufgabe, Fehlerrate und Kosten. Ohne dies fehlt jeder späteren Zahl der Kontext.
Teilen Sie während des Pilotprojekts die Arbeit auf, wenn Sie können. Leiten Sie die Hälfte der eingehenden Chat-Konversationen an den Agenten und die Hälfte an den bestehenden Workflow weiter oder lassen Sie den Agenten eine Region oder eine Produktlinie bearbeiten. Ein geteilter Vergleich ist viel überzeugender als Vorher-Nachher-Zahlen, die mit Saisonalität und Kampagnen vermischt werden.
Wie sollte das Dashboard aussehen?
Beschränken Sie es auf einen Bildschirm. Ein Layout, das für die meisten Teams funktioniert, hat vier Zeilen, die den oben genannten Ebenen entsprechen, jeweils mit der aktuellen Woche, der Vorwoche und der Baseline. Looker Studio, Power BI oder ein einfaches Tabellenblatt funktionieren alle; die Daten stammen normalerweise aus den Logs der Agentenplattform sowie dem CRM oder Helpdesk.
- Oberste Zeile: Geschäftsergebnis im Vergleich zur Baseline.
- Zweite Zeile: Aufgabenerfolg und Fehlertypen.
- Dritte Zeile: Eskalation, Override und Prüfzeit.
- Untere Zeile: Kosten pro abgeschlossener Aufgabe und Schritte pro Aufgabe.
Fügen Sie eine wöchentliche Stichprobe von fünf echten Transkripten hinzu, die vom Dashboard aus verlinkt sind. Zahlen erklären Trends; Transkripte erklären Ursachen.
Wie Alien Road die Messung von AI-Agenten anwendet
Bei einem typischen Engagement wird die Messung konzipiert, bevor der Agent gebaut wird. Die Discovery definiert die Aufgabe in einem Satz, den Standard für den Erfolg und die Geschäftskennzahl, die sie beeinflussen soll. Wir vereinbaren auch mit dem Kunden, wer die Stichproben bewertet, da die Bewertung der am häufigsten übersprungene Schritt ist.
Das Setup verbindet Agenten-Logs mit dem Reporting-Stack. Für Agenten, die in n8n oder mit dem OpenAI Agents SDK gebaut wurden, schreibt jeder Durchlauf eine Zeile mit Aufgaben-ID, Schritten, Token, Ergebnis und Eskalations-Flag. Für Agenten innerhalb von CRM-Plattformen exportieren wir die eigenen Aktivitätsdaten der Plattform. Diese Zeile wird in Looker Studio mit CRM- oder Helpdesk-Ergebnissen verknüpft.
Monatliche Berichte vergleichen den Agenten mit der Baseline-Gruppe, zeigen den Trend der Kosten pro abgeschlossener Aufgabe und enthalten Transkripte von guten und schlechten Durchläufen. Wenn ein Agent sein Ziel zwei Monate lang verfehlt, empfiehlt der Bericht, seinen Umfang einzugrenzen oder ihn in den Ruhestand zu versetzen, anstatt mehr Prompts hinzuzufügen.
Welche Fehler machen Agenten-Metriken irreführend?
Der häufigste Fehler ist die Bewertung nur der Durchläufe, die abgeschlossen wurden. Aufgaben, die der Agent abgebrochen hat oder bei denen ein Timeout auftrat, müssen als Fehler gezählt werden, sonst sieht die Erfolgsquote jedes Mal besser aus, wenn der Agent häufiger aufgibt.
Ein zweiter Fehler ist das Ändern des Prompts, des Modells und des Aufgabenbereichs in derselben Woche. Wenn sich die Zahlen bewegen, kann niemand sagen, warum. Ändern Sie immer nur eine Sache und führen Sie das feste Testset nach jeder Änderung erneut aus.
Ein dritter Fehler ist die Meldung von Token anstelle von Geld. Token-Anzahlen bedeuten für ein Finanzteam wenig; rechnen Sie sie unter Verwendung des aktuellen Preises des Anbieters in Kosten pro abgeschlossener Aufgabe um und notieren Sie das Datum dieses Preises im Bericht.
Wo man diese Woche anfangen sollte
Schreiben Sie die einzeilige Aufgabendefinition und den Erfolgsstandard für Ihren Agenten, auch wenn er bereits läuft. Ziehen Sie dann die Logs des letzten Monats und berechnen Sie nur zwei Zahlen: Aufgabenerfolg bei einer Stichprobe von zwanzig Durchläufen und Kosten pro abgeschlossener Aufgabe.
Diese beiden Zahlen ändern normalerweise das Gespräch. Wenn der Erfolg hoch und die Kosten niedrig sind, bauen Sie das vollständige Dashboard. Wenn nicht, wissen Sie, was zu beheben ist, bevor Sie etwas anderes messen.
Weiterlesen: AI Marketing Agentur · AI Marketing