Computer-Use Agents sind KI-Systeme, die einen Computer so bedienen wie ein Mensch: Sie betrachten den Bildschirm, bewegen den Cursor, klicken auf Schaltflächen und tippen in Felder. Für Marketer können sie Aufgaben in Tools ohne API übernehmen, wie z. B. das Ausfüllen von Verzeichniseinträgen, das Sammeln von Daten aus Dashboards oder das Überprüfen von Anzeigen über viele Konten hinweg, obwohl sie für die meisten Arbeiten immer noch langsamer und weniger zuverlässig sind als Menschen.
Mehrere Anbieter bieten diese Fähigkeit an. Anthropic hat 2024 die Computer-Use-Funktion für Claude veröffentlicht, OpenAI bietet einen Agenten an, der seinen eigenen Browser innerhalb von ChatGPT bedient, und Google hat Browser-Agenten auf Basis von Gemini gezeigt. Browser-Erweiterungen und Desktop-Apps verpacken diese Modelle zunehmend in Tools, die auch Nicht-Entwickler nutzen können.
Wie funktionieren Computer-Use Agents?
Das Modell erhält einen Screenshot des Bildschirms, entscheidet, was als Nächstes zu tun ist, und sendet eine Aktion wie “an dieser Position klicken” oder “diesen Text eingeben”. Ein neuer Screenshot folgt, und die Schleife wiederholt sich, bis die Aufgabe erledigt ist oder der Agent aufgibt.
Da der Agent über die visuelle Schnittstelle arbeitet, kann er im Prinzip jede Software verwenden, die ein Mensch verwenden kann. Das ist der Reiz. Einige Produkte überspringen Screenshots auf Webseiten und lesen die Seitenstruktur direkt, was schneller und genauer ist, aber die Idee ist dieselbe: Der Agent agiert über die Schnittstelle, die ein Mensch sehen würde. Das ist auch die Schwäche: Schnittstellen ändern sich, Pop-ups erscheinen und eine Schaltfläche, die sich um zehn Pixel verschoben hat, kann einen Schritt unterbrechen, der gestern noch funktionierte.
Wo können Marketer sie einsetzen?
Die besten Einsatzmöglichkeiten sind repetitive Aufgaben in Tools ohne gute Integrationen, bei denen ein Fehler leicht zu erkennen und kostengünstig zu beheben ist.
- Sammeln von Metriken aus Dashboards, die keinen Export oder keine API haben
- Überprüfen, ob Anzeigen, Landingpages und Tracking-Tags auf vielen Seiten korrekt angezeigt werden
- Ausfüllen von Branchenverzeichniseinträgen und Konsistenz der NAP-Details für lokales SEO
- Recherche öffentlicher Seiten von Wettbewerbern, Preistabellen und Produktlisten
- Testen von Website-Formularen und Checkout-Abläufen in Staging-Umgebungen
- Erstellen von Screenshots von Suchergebnissen oder sozialen Profilen für Berichte
Wie unterscheidet sich das von einer API-Integration?
Eine API-Integration kommuniziert direkt mit Software, mit strukturierten Daten, und ist schnell und vorhersehbar. Computer-Use ahmt eine Person nach und ist im Vergleich langsam, wobei jeder Schritt Sekunden dauert.
Verwenden Sie eine API oder ein Tool wie Zapier oder Make, wann immer eines existiert. Viele Plattformen, die geschlossen aussehen, haben eine Exportfunktion oder eine Reporting-API in ihren Einstellungen versteckt, also prüfen Sie die Dokumentation, bevor Sie annehmen, dass der Bildschirm der einzige Weg ist. Computer-Use füllt die Lücken: Legacy-Systeme, kleine Anbieter ohne Integrationen und Aufgaben, die sich über mehrere Websites mit unterschiedlichen Layouts erstrecken. Für eine Aufgabe, die Sie stündlich bei zehntausend Elementen ausführen, ist es das falsche Werkzeug.
Was sind die aktuellen Grenzen?
Die Genauigkeit sinkt bei langen Aufgaben. Jeder Klick birgt ein gewisses Fehlerrisiko, und Fehler summieren sich. Agenten können kleinen Text falsch lesen, auf die falsche Zeile in einer dichten Tabelle klicken oder ein Feld mit dem richtigen Wert an der falschen Stelle ausfüllen.
Sie haben auch Schwierigkeiten mit Dingen, die gebaut wurden, um Bots zu stoppen. CAPTCHAs, ungewöhnliche Anmeldeabläufe und Zwei-Faktor-Authentifizierung erfordern normalerweise eine Person, und viele Anbieter weisen ihre Agenten an, diese Prüfungen überhaupt nicht zu umgehen. Websites können auch den automatisierten Zugriff in ihren Nutzungsbedingungen verbieten, was es wert ist, überprüft zu werden, bevor Sie etwas auf einer Website eines Drittanbieters automatisieren.
Typische Fehlerpunkte
- Cookie-Banner und Pop-ups, die die Seite verdecken
- Unendliches Scrollen und Lazy Loading, die Inhalte verbergen
- Datumsauswahlen und benutzerdefinierte Dropdowns
- Sitzungs-Timeouts bei langen Aufgaben
- Seiten in einer Sprache, die die Anweisungen nicht erwartet haben
Welche Sicherheitsregeln sollten gelten?
Computer-Use Agents sehen alles, was auf dem Bildschirm ist, und können alles tun, was der angemeldete Benutzer tun kann. Das macht sie gleichermaßen mächtig und riskant.
Führen Sie sie in einem separaten Browserprofil oder einer virtuellen Maschine aus, die nur die für die Aufgabe erforderlichen Konten enthält. Lassen Sie sie keinen Browser verwenden, in dem Ihre E-Mail, Bankgeschäfte und Admin-Panels alle angemeldet sind. Geben Sie ihnen niemals Passwörter im Klartext; melden Sie sich selbst an und übergeben Sie dann. Achten Sie auf Prompt-Injection, bei der eine Webseite versteckte Anweisungen enthält, die auf den Agenten abzielen, und behalten Sie eine Person in der Schleife für jede Aktion, die sendet, veröffentlicht, kauft oder löscht.
Wie führt man einen Pilotversuch durch?
Wählen Sie eine Aufgabe mit einem klaren Ende, einem bekannten korrekten Ergebnis und geringen Fehlerkosten. Das Sammeln öffentlicher Preise von fünf Wettbewerber-Websites in eine Tabelle ist ein gutes Beispiel.
- Schreiben Sie die Aufgabe als nummerierte Schritte auf, wie Sie es für einen neuen Praktikanten tun würden
- Führen Sie sie aus, während Sie die ersten Male zuschauen
- Vergleichen Sie das Ergebnis mit einer manuellen Version und zählen Sie Fehler
- Notieren Sie die Zeit, die der Agent und eine Person benötigen
- Entscheiden Sie, ob die Einsparung die Prüfzeit rechtfertigt
In einem typischen Pilotversuch ist der Agent pro Aufgabe langsamer als eine Person, läuft aber im Hintergrund, daher ist die eigentliche Frage, ob die Überprüfung seiner Arbeit weniger Zeit in Anspruch nimmt, als die Aufgabe selbst zu erledigen.
Wie Alien Road Computer-Use Agents anwendet
In einem typischen Engagement identifiziert die Discovery die Aufgaben, bei denen das Team Daten manuell zwischen Systemen kopiert, und prüft, ob eine API oder eine einfache Automatisierung die Arbeit zuerst erledigen kann. Computer-Use kommt nur dort zum Einsatz, wo diese Optionen nicht existieren.
Die Einrichtung erfolgt in einer isolierten Browserumgebung mit dedizierten Konten und ohne Zugriff auf Kunden-Admin-Panels, die über das für die Aufgabe Erforderliche hinausgehen. Wir beginnen mit schreibgeschützten Aufgaben wie Landingpage-Prüfungen und Wettbewerber-Recherche, wobei ein Stratege jedes Ergebnis überprüft. Die Messung erfasst die eingesparte Zeit und die Fehlerrate pro Aufgabe, und monatliche Berichte vermerken, welche Aufgaben gestrichen wurden, weil die Überprüfung länger dauerte als die Arbeit selbst.
Wo man diese Woche anfangen kann
Listen Sie fünf Aufgaben auf, die Ihr Team durch Kopieren von Informationen von Bildschirmen erledigt. Markieren Sie diejenigen ohne Export oder API. Das sind Ihre Kandidaten.
Wählen Sie die einfachste aus, richten Sie ein separates Browserprofil ohne gespeicherte Passwörter ein und probieren Sie einen Agenten dreimal daran aus, während Sie zuschauen. Notieren Sie jeden Schritt, bei dem er gezögert hat oder etwas schief gelaufen ist. Sie werden schnell lernen, ob das Tool hilft oder ob die Aufgabe eine andere Lösung erfordert.
Weiterlesen: KI-Marketing-Agentur · KI-Marketing