Die Implementierung eines AI-Agenten geht vom Pilotprojekt in die Produktion über, wenn der Agent eine eng definierte Aufgabe hat, begrenzten Tool-Zugriff, ein schriftliches Evaluierungsset, menschliche Freigabe für riskante Aktionen und Live-Monitoring. Die meisten gescheiterten Projekte lassen einen dieser Punkte aus. Diese Checkliste führt durch jede Phase, damit ein Marketingteam einen Agenten sicher testen und evidenzbasiert entscheiden kann, ob er täglich laufen sollte.
Ein Agent ist hier ein Sprachmodell, das Schritte planen und Tools aufrufen kann: das Web durchsuchen, eine Tabelle lesen, ein CRM abfragen, eine E-Mail entwerfen oder eine Kampagne aktualisieren. Zu den Plattformen gehören das Agents SDK von OpenAI, Anthropic’s Claude mit Tool-Nutzung und das Claude Agent SDK, Google’s Vertex AI Agent Builder, Microsoft Copilot Studio, Salesforce Agentforce und offene Frameworks wie LangGraph und CrewAI. Die Checkliste gilt für alle diese.
Phase 1: Ist die Aufgabe für einen Agenten geeignet?
Agenten eignen sich für Aufgaben mit mehreren Schritten, unterschiedlichen Eingaben und einer klaren Definition von ‘erledigt’. Sie eignen sich schlecht für alles mit einem einzigen festen Pfad, den eine normale Automatisierung billiger erledigt, oder für alles, bei dem ein Fehler ernsthaften Schaden anrichtet.
- Die Aufgabe wiederholt sich mindestens wöchentlich und nimmt eine Person in Echtzeit in Anspruch
- Die Eingaben variieren so stark, dass feste Regeln oft brechen
- Ein gutes Ergebnis kann schriftlich beschrieben und überprüft werden
- Fehler sind umkehrbar oder werden erkannt, bevor sie Kunden erreichen
- Die Daten, die der Agent benötigt, sind über eine API oder einen Export zugänglich
Gute Marketing-Kandidaten sind wöchentliche Wettbewerber-Anzeigenanalysen, erste Entwürfe von Kampagnenberichten, Lead-Recherche vor Verkaufsgesprächen und das Tagging eingehender Support-Nachrichten. Schlechte Kandidaten sind das Ändern von Live-Anzeigenbudgets ohne Überprüfung oder das Beantworten von Presseanfragen.
Phase 2: Scoping und Zugriff
Schreiben Sie eine einseitige Stellenbeschreibung für den Agenten, so wie Sie es für einen neuen Mitarbeiter tun würden. Listen Sie dann jedes Tool auf, das er aufrufen kann, und jedes System, das er lesen oder beschreiben kann.
- Geben Sie zuerst nur Lesezugriff; fügen Sie Schreibzugriff Tool für Tool hinzu
- Verwenden Sie ein Dienstkonto mit eigenen Anmeldedaten, niemals das Login einer Person
- Legen Sie Ausgabenobergrenzen für jede API fest, die pro Aufruf Geld kostet
- Beschränken Sie Daten auf das, was für die Aufgabe erforderlich ist; maskieren Sie personenbezogene Daten, wo möglich
- Protokollieren Sie, welches Modell und welche Version der Agent verwendet
Prompt Injection verdient in dieser Phase Aufmerksamkeit. Ein Agent, der Webseiten oder E-Mails liest, kann auf Texte stoßen, die ihm Anweisungen geben sollen. Halten Sie Schreibaktionen hinter einer Freigabe und lassen Sie nicht zu, dass Inhalte, die der Agent liest, seine Berechtigungen ändern.
Phase 3: Wie evaluiert man einen Agenten vor dem Start?
Erstellen Sie ein Evaluierungsset, bevor Sie den Agenten bauen. Sammeln Sie 30 bis 100 echte vergangene Beispiele mit dem Ergebnis, das eine qualifizierte Person produziert hat. Dies ist der Test, den der Agent bestehen muss, und er verhindert, dass das Team auf Basis einiger beeindruckender Demos urteilt.
- Genauigkeit: Entspricht das Ergebnis der Referenz bei Fakten und Zahlen?
- Vollständigkeit: Hat er jeden Schritt ausgeführt oder stillschweigend einen übersprungen?
- Format: Folgt er der Vorlage, auf die sich nachgelagerte Prozesse verlassen?
- Tool-Nutzung: Hat er die richtigen Tools in einer sinnvollen Reihenfolge aufgerufen?
- Kosten und Zeit pro Durchlauf im Vergleich zum manuellen Prozess
Bewerten Sie eine Stichprobe von Hand, auch wenn Sie ein Modell zur Bewertung der Ergebnisse verwenden. Automatisierte Bewertung ist nützlich für das Volumen, erbt aber die blinden Flecken des Bewertungsmodells.
Phase 4: Das Pilotprojekt
Lassen Sie den Agenten zwei bis vier Wochen lang parallel zu der Person laufen, die die Aufgabe normalerweise erledigt. Die Person führt die Arbeit weiterhin aus; das Ergebnis des Agenten wird verglichen, nicht verwendet. Dieser Schattenmodus zeigt Fehlermuster ohne Risiko.
Führen Sie ein Protokoll über jede Korrektur, die die Person vornimmt. Gruppieren Sie diese wöchentlich. Wiederholte Korrekturen deuten auf eine fehlende Anweisung, fehlende Daten oder eine Aufgabe hin, die der Agent nicht tun sollte. Ein Pilotprojekt, das ohne dieses Protokoll endet, endet ohne Beweise.
Wie Alien Road AI-Agenten einsetzt
In einem typischen Engagement beginnen wir mit einem Workflow-Audit: Wir sitzen eine Woche lang mit dem Marketingteam zusammen und listen Aufgaben nach Zeitaufwand und Fehlerkosten auf. Eine oder zwei Aufgaben werden zu Agenten-Piloten; der Rest erfordert oft nur eine einfache Automatisierung oder eine bessere Vorlage.
Die Einrichtung erfolgt im eigenen Cloud- oder Plattform-Account des Kunden, sodass Daten und Protokolle bei ihm bleiben. Wir schreiben das Evaluierungsset mit den Leuten, die die Arbeit heute erledigen, führen den Schattenpiloten durch und berichten wöchentlich über Genauigkeit, Korrekturen und eingesparte Zeit. Zum Beispiel könnte ein Reporting-Agent die monatliche Paid-Media-Zusammenfassung aus Exporten entwerfen, und ein Account Manager überprüft und bearbeitet sie, bevor sie den Kunden erreicht. Wenn die Zahlen die Produktion nicht rechtfertigen, sagen wir das und hören auf.
Phase 5: Produktions-Checkliste
- Benannter Eigentümer, der für das Ergebnis des Agenten verantwortlich ist
- Menschliche Freigabe für jede Aktion, die für Kunden sichtbar ist oder Geld kostet
- Protokollierung von Eingaben, Tool-Aufrufen und Ausgaben mit Aufbewahrungsregeln
- Warnungen bei Fehlern, ungewöhnlichen Kosten oder ungewöhnlicher Ausgabelänge
- Ein Kill-Switch, den jedes Teammitglied verwenden kann
- Monatlicher erneuter Durchlauf des Evaluierungssets und nach jeder Modelländerung
- Dokumentation, der ein neues Teammitglied folgen kann
Modell-Updates verdienen einen besonderen Hinweis. Anbieter verbessern Modelle regelmäßig, und eine neue Version kann das Verhalten bei Ihrer Aufgabe ändern. Pinnen Sie die Version, wo die Plattform dies zulässt, und testen Sie vor dem Wechsel erneut.
Was kostet der Betrieb eines Agenten?
Die Kosten bestehen aus drei Teilen: Modellnutzung, Plattformgebühren und Personal. Die Modellnutzung wird von den meisten Anbietern pro Token abgerechnet, und Agenten verbrauchen mehr Token als ein einzelner Chat, da sie planen, Tools aufrufen und Ergebnisse in einer Schleife lesen. Ein Durchlauf, der lange Dokumente liest, kann weit mehr kosten als einer, der ein kurzes Formular liest.
- Messen Sie Token und Kosten pro Durchlauf während des Piloten, nicht nach dem Start
- Verwenden Sie ein kleineres, billigeres Modell für einfache Teilschritte wie Klassifizierung
- Cachen Sie wiederholten Kontext, wo der Anbieter Prompt-Caching unterstützt
- Begrenzen Sie die Anzahl der Schritte pro Durchlauf, damit eine Schleife nicht außer Kontrolle gerät
- Zählen Sie die Überprüfungszeit; ein Agent, der eine Stunde spart, aber vierzig Minuten Überprüfung benötigt, spart zwanzig
Personalkosten sind das, was Teams vergessen. Jemand muss das Evaluierungsset besitzen, die Protokolle lesen und Anweisungen aktualisieren, wenn sich das Geschäft ändert. Planen Sie dafür von Anfang an ein paar Stunden pro Monat ein.
Wo man diese Woche anfangen sollte
Listen Sie die fünf repetitivsten Aufgaben in Ihrem Marketingteam auf und bewerten Sie jede nach Häufigkeit, Zeit und Fehlerkosten. Wählen Sie diejenige mit der höchsten Zeit und dem geringsten Risiko. Sammeln Sie dann dreißig vergangene Beispiele dieser Aufgabe mit dem fertigen Ergebnis. Mit diesen Beispielen in der Hand können Sie jede Agentenplattform an einem Nachmittag fair testen.
Weiterlesen: AI-Marketing-Agentur · AI-Marketing