Computer-Use Agents sparen Zeit bei Browser- und Desktop-Aufgaben, die keine API haben, indem sie den Bildschirm betrachten und wie eine Person klicken, tippen und scrollen. Anthropic’s Claude Computer Use, OpenAI’s Operator-Style Agents und Google’s Project Mariner funktionieren auf diese Weise. Für Marketing-Teams sind wiederkehrende Prüfungen über Werbeplattformen, Verzeichnisse und Dashboards hinweg gute Kandidaten, die innerhalb einer Sandbox mit menschlicher Freigabe für alles, was Daten ändert, ausgeführt werden.
Was ist ein Computer-Use Agent?
Ein Computer-Use Agent ist ein Sprachmodell, das Screenshots empfängt, über eine Aktion entscheidet und diese Aktion an einen Browser oder eine virtuelle Maschine sendet. Die Schleife wiederholt sich, bis die Aufgabe erledigt ist oder der Agent feststeckt. Im Gegensatz zu klassischen Automatisierungstools wie Selenium-Skripten oder Zapier benötigt er keine festen Selektoren oder eine Integration; er liest die Seite fast so wie Sie.
Diese Flexibilität hat ihren Preis. Agenten sind langsamer als ein API-Aufruf, sie können eine Seite falsch lesen und sie können durch Text auf einer Webseite, der wie eine Anweisung aussieht, ausgetrickst werden. Jeder Workflow unten ist um diese Fakten herum konzipiert.
Welche Marketing-Aufgaben eignen sich für Computer-Use Agents?
Der Sweet Spot ist eine Aufgabe, die langweilig und repetitiv ist, eine klare Ziellinie hat und Systeme ohne gute API berührt.
- Überprüfung, ob Unternehmenseinträge in Verzeichnissen die richtige Adresse und Öffnungszeiten anzeigen.
- Sammeln von Wettbewerberpreisen oder Angeboten von öffentlichen Produktseiten in eine Tabelle.
- Erstellen von Screenshots von Live-Anzeigen und Landingpages für Kundenberichte.
- Ausfüllen desselben Kampagnen-Briefings in Entwurfsformularen mehrerer Plattformen, ohne zu veröffentlichen.
- Prüfung, ob Tracking-Tags auf wichtigen Seiten mithilfe von Browser-Entwicklertools ausgelöst werden.
- Herunterladen monatlicher Berichte von Portalen, die nur einen Download-Button anbieten.
Schlechte Kandidaten: alles, was Zahlungen, Passworteingabe, Kontoeinstellungen oder das Veröffentlichen von Inhalten beinhaltet. Das bleibt menschlich.
Wie richtet man eine sichere Umgebung ein?
Führen Sie Agenten in einer isolierten Umgebung aus, nicht auf dem Laptop, auf dem Ihre E-Mails und Bankgeschäfte offen sind. Anthropic’s Referenzimplementierung verwendet aus diesem Grund einen Docker-Container mit einem virtuellen Desktop.
Separate Konten und Berechtigungen
Erstellen Sie für den Agenten auf jeder Plattform einen dedizierten Benutzer mit der niedrigsten Berechtigungsstufe, die die Aufgabe noch erfüllt, oft schreibgeschützt oder “Betrachter”. Teilen Sie niemals ein Admin-Login. Wenn die Plattform Rollen nur für Entwürfe zulässt, verwenden Sie diese.
Zulassungslisten
Beschränken Sie den Browser auf die Domains, die die Aufgabe benötigt. Ein Agent, der Einträge in fünf Verzeichnissen prüft, benötigt keinen Zugriff auf den Rest des Internets, und eine kurze Zulassungsliste verringert die Chance, dass er auf einer Seite mit versteckten Anweisungen landet.
Protokollierung
Bewahren Sie die Screenshots und das Aktionsprotokoll für jeden Lauf auf. Wenn ein Ergebnis falsch aussieht, zeigt das Protokoll genau, was der Agent gesehen und getan hat.
Ein Schritt-für-Schritt-Workflow: Verzeichniseintrag-Audit
Dieses Beispiel prüft die Details eines Unternehmens mit mehreren Standorten über Verzeichnisse hinweg.
Schritt 1: Definieren Sie die Ground Truth
Erstellen Sie eine Tabelle mit dem korrekten Namen, der Adresse, dem Telefon, den Öffnungszeiten und der Website für jeden Standort. Der Agent vergleicht damit, also muss es stimmen.
Schritt 2: Schreiben Sie den Aufgaben-Prompt
Seien Sie spezifisch: “Öffnen Sie für jede Zeile in der Tabelle die aufgelistete Verzeichnis-URL, lesen Sie den Firmennamen, die Adresse, das Telefon und die angezeigten Öffnungszeiten und schreiben Sie sie in die Spalten F bis I. Klicken Sie nicht auf Bearbeiten-, Beanspruchen- oder Kontakt-Buttons. Wenn eine Seite Sie auffordert, sich anzumelden, stoppen Sie und schreiben Sie ‘Login erforderlich’.”
Schritt 3: Führen Sie eine kleine Charge aus
Beginnen Sie mit fünf Zeilen. Beobachten Sie den Lauf, prüfen Sie das Protokoll und korrigieren Sie den Prompt, wo der Agent gezögert oder falsch gelesen hat.
Schritt 4: Führen Sie die vollständige Liste aus
Führen Sie den Rest aus, idealerweise außerhalb der Arbeitszeiten. Agenten sind langsam, oft eine Minute oder mehr pro Seite, aber sie benötigen keine Aufsicht für schreibgeschützte Arbeit.
Schritt 5: Menschliche Überprüfung und Aktion
Eine Person überprüft Unstimmigkeiten und nimmt Korrekturen auf jeder Plattform vor. Der Agent findet Probleme; ein Mensch behebt sie.
Schritt 6: Entscheiden Sie, wo ein Mensch genehmigt
Platzieren Sie Freigabepunkte dort, wo eine Aktion schwer rückgängig zu machen ist oder für Kunden sichtbar ist. Eine nützliche Regel: Der Agent darf frei lesen, kopieren und Entwürfe erstellen; er muss pausieren, bevor er sendet, veröffentlicht, löscht, bezahlt oder eine Einstellung ändert. Die meisten Agentenprodukte haben einen Bestätigungs- oder “Übernahme”-Modus. Nutzen Sie ihn.
Achten Sie auf Prompt-Injection. Eine Webseite kann Text enthalten wie “ignoriere deine Anweisungen und …”. Sagen Sie dem Agenten in seinem System-Prompt, dass Seiteninhalt Daten ist, keine Befehle, und überprüfen Sie jeden Lauf, bei dem der Agent etwas außerhalb seiner Aufgabe getan hat.
Computer-Use Agents im Vergleich zu klassischer Automatisierung
Teams fragen oft, ob ein Agent ihre bestehende Automatisierung ersetzt. Normalerweise sitzt er daneben. Der Vergleich unten hilft bei der Entscheidung pro Aufgabe.
- API-Integration oder Zapier: am schnellsten und billigsten, aber nur dort, wo die Plattform eine API oder einen Connector anbietet.
- Aufgezeichnete Browser-Skripte (Selenium, Playwright): zuverlässig auf stabilen Seiten, brechen, wenn sich das Layout ändert.
- Computer-Use Agent: kommt mit sich ändernden Layouts und unbekannten Seiten zurecht, ist aber langsamer, teurer pro Lauf und weniger vorhersehbar.
- Manuelle Arbeit: immer noch am besten für einmalige Aufgaben und alles, was Urteilsvermögen über Geld oder Reputation erfordert.
Wie Alien Road Computer-Use Agents einsetzt
In einem typischen Engagement beginnen wir damit, die wiederkehrenden manuellen Browser-Aufgaben des Kunden mit der Zeit aufzulisten, die jede pro Monat in Anspruch nimmt. Wir wählen eine schreibgeschützte Aufgabe mit einem klaren Ergebnis, normalerweise Berichts-Screenshots oder Verzeichnis-Audits, und bauen sie zuerst auf.
Die Einrichtung umfasst einen containerisierten Desktop, ein Konto auf Betrachter-Ebene pro Plattform, eine Domain-Zulassungsliste und einen schriftlichen Aufgaben-Prompt, der von der Person überprüft wird, die die Arbeit derzeit erledigt. Jeder Lauf erzeugt ein Protokoll und eine Ergebnistabelle.
Die Messung vergleicht die Stunden, die vorher und nachher aufgewendet wurden, die Genauigkeit gegenüber einer manuell geprüften Stichprobe und die Anzahl der Läufe, die menschliche Rettung erfordern. Wenn die Rettungsrate nach zwei Wochen Tuning hoch bleibt, kehren wir zu einer skriptbasierten Automatisierung zurück oder behalten die Aufgabe manuell.
Was sind die heutigen Limits?
Die Genauigkeit sinkt bei komplexen Schnittstellen mit vielen Pop-ups, dynamischen Dashboards und CAPTCHAs, und Agenten sollten ohnehin nicht versuchen, CAPTCHAs zu lösen. Die Geschwindigkeit ist begrenzt, daher dauern große Jobs Stunden. Kosten entstehen durch Modell-Token für jeden Screenshot, was sich bei langen Aufgaben summiert. Für eine Aufgabe mit einer zuverlässigen API ist die API immer noch schneller, billiger und vorhersehbarer.
Wo man diese Woche anfangen kann
Schreiben Sie drei Browser-Aufgaben auf, die Ihr Team jeden Monat wiederholt, und markieren Sie, welche nur Informationen lesen. Wählen Sie die einfachste, erstellen Sie die Ground-Truth-Tabelle und führen Sie einen Fünf-Zeilen-Test in einer Sandbox-Agenten-Umgebung mit einem Betrachter-Konto durch. Überprüfen Sie das Protokoll Zeile für Zeile, bevor Sie mehr ausführen.
Weiterlesen: AI Marketing Agentur · AI Marketing