Computer-Use Agents: KPIs für echten Mehrwert

Die meisten Marketingteams haben repetitive Bildschirmarbeiten, die nie automatisiert wurden, weil den Tools gute APIs fehlen oder die Aufgabe mehrere Systeme umfasst.

• Abrufen von Berichten von Werbeplattformen oder Marktplätzen, die keine bequemen Exporte anbieten.
• Überprüfung von Konkurrenzseiten, Preisen oder Anzeigenbibliotheken nach einem Zeitplan.
• Ausfüllen von Verzeichniseinträgen und Zitationsprofilen auf vielen Websites.
• Qualitätsprüfungen auf Landingpages: Formulare, Links, Tracking-Tags und mobiles Layout.
• Aktualisierung von Produktinformationen in Marktplatz-Verkäuferportalen.
• Sammeln von Screenshots von Live-Kampagnen für das Kundenreporting.

Jede dieser Aufgaben hat eine klare manuelle Basislinie, was die Messung des Werts unkompliziert macht.

Zuverlässigkeitskennzahlen

• Aufgabenerfolgsquote: Aufgaben, die korrekt ohne menschliche Hilfe abgeschlossen wurden, geteilt durch die versuchten Aufgaben. Definieren Sie “korrekt” pro Aufgabentyp.
• Teilerfolgsquote: Aufgaben, die mit kleineren Fehlern abgeschlossen wurden, die eine Person korrigiert hat.
• Menschliche Eingriffsrate: Anteil der Durchläufe, bei denen eine Person eingreifen, genehmigen oder übernehmen musste.
• Fehlermodi: Kategorisierte Gründe für das Scheitern, wie Login-Wände, Layout-Änderungen, Pop-ups, CAPTCHAs oder falsch gelesene Elemente.

Effizienzkennzahlen

• Zeit pro Aufgabe für den Agenten im Vergleich zur manuellen Basislinie.
• Menschliche Minuten pro Aufgabe, einschließlich Einrichtung, Überwachung und Prüfung.
• Kosten pro abgeschlossener Aufgabe: Modellnutzung, Infrastruktur und menschliche Zeit kombiniert.
• Durchsatz: Abgeschlossene Aufgaben pro Tag.

Sicherheits- und Qualitätskennzahlen

• Unbeabsichtigte Aktionen: Klicks oder Übermittlungen, die der Agent außerhalb des Aufgabenbereichs getätigt hat.
• Datenvorfälle: Jeder Fall, in dem sensible Daten eingegeben oder angezeigt wurden, wo sie nicht sein sollten.
• Ausgabengenauigkeit bei einer von einer Person geprüften Stichprobe.

Ein Agent, der bei jedem Durchlauf Überwachung benötigt, spart nicht viel. Menschliche Minuten pro Aufgabe erfassen dies ehrlich. Wenn eine Person zehn Minuten für eine manuelle Aufgabe benötigt und acht Minuten für die Überwachung des Agenten, ist der Gewinn gering, unabhängig von der Erfolgsquote des Agenten.

Verfolgen Sie Eingriffe nach Grund. Einige sind beabsichtigt, wie Genehmigungen vor dem Absenden eines Formulars, was für alles Irreversible eine gute Praxis ist. Andere offenbaren Schwächen, die durch bessere Anweisungen oder eine bessere Umgebungseinrichtung behoben werden können, zum Beispiel das vorherige Schließen von Cookie-Bannern oder die Bereitstellung direkter URLs.

Drei Ansichten decken die Zielgruppen ab.

• Business-Ansicht: In diesem Monat abgeschlossene Aufgaben, eingesparte menschliche Stunden gegenüber der Basislinie, Kosten pro abgeschlossener Aufgabe und Trend im Zeitverlauf.
• Betriebsansicht: Erfolgs-, Teil- und Fehlerraten nach Aufgabentyp, Eingriffsgründe und die langsamsten Aufgaben.
• Risikoansicht: Unbeabsichtigte Aktionen, Datenvorfälle, angeforderte Genehmigungen und abgelehnte Genehmigungen.

Die Daten stammen aus den Protokollen der Agentendurchläufe: Start- und Endzeit, durchgeführte Schritte, Screenshots, Eingriffe und Ergebnis. Speichern Sie Protokolle in einer Datenbank oder Tabelle mit einer Run-ID und verbinden Sie dann Looker Studio, Power BI oder ein einfaches Notebook. Behalten Sie Screenshots für fehlgeschlagene Durchläufe; sie erklären Fehler schneller als jede Protokollzeile.

Messung ist bedeutungslos, wenn der Agent unsicher läuft. Legen Sie diese zuerst fest:

• Führen Sie Agenten in einem isolierten Browserprofil oder einer virtuellen Maschine aus, die nur den Zugriff hat, den die Aufgabe benötigt.
• Verwenden Sie dedizierte Konten mit eingeschränkten Berechtigungen, niemals das persönliche Login eines Administrators.
• Erfordern Sie eine menschliche Genehmigung vor Käufen, dem Senden von Nachrichten, Veröffentlichungen, Löschungen oder dem Absenden von Formularen mit persönlichen Daten.
• Behandeln Sie Seiteninhalte als nicht vertrauenswürdig: Anweisungen auf Websites dürfen die Aufgabe nicht überschreiben.
• Führen Sie ein Audit-Protokoll jeder Aktion.

Basislinien werden oft geschätzt, und Schätzungen sind normalerweise großzügig gegenüber dem Agenten. Stoppen Sie die manuelle Aufgabe mit einer Stoppuhr, drei bis fünf Mal, durch die Person, die sie normalerweise ausführt. Beziehen Sie die kleinen Schritte ein, die Menschen vergessen: Einloggen, den richtigen Datumsbereich finden, die Exportdatei umbenennen, Ergebnisse in den Bericht einfügen.

Erfassen Sie auch die Fehlerrate des manuellen Prozesses. Menschen machen Fehler bei repetitiver Bildschirmarbeit, und ein Agent mit einer etwas niedrigeren Erfolgsquote kann insgesamt immer noch weniger Fehler produzieren, wenn er konsistent ist. Agentenfehler mit einem imaginierten perfekten Menschen zu vergleichen, ist genauso irreführend wie die Agentengeschwindigkeit mit einem imaginierten langsamen Menschen zu vergleichen.

Wiederholen Sie die Basislinie einmal pro Quartal. Mitarbeiter werden mit der Zeit schneller bei einer Aufgabe, und Tools ändern ihre Schnittstellen, sodass eine ein Jahr alte Basislinie nicht mehr die echte Alternative beschreibt.