Prompt Engineering wird gemessen, indem die Ergebnisse verschiedener Prompts mit einem festen Satz von Testeingaben verglichen und nach Qualität, Kosten und dem Zeitaufwand für manuelle Korrekturen bewertet werden. Ohne ein solches Evaluationsset ändern Teams ihre Prompts basierend auf einem einzelnen guten oder schlechten Beispiel und können nicht beurteilen, ob die Änderung im Durchschnitt geholfen oder die Situation verschlechtert hat.
Marketing-Teams nutzen heute Prompts für Anzeigentexte, Produktbeschreibungen, Meta-Beschreibungen, E-Mail-Varianten und Zusammenfassungen von Berichten. Jeder Prompt ist ein kleines Stück Software. Er verdient die gleiche Disziplin: Versionierung, Tests und ein Dashboard.
Warum ist Prompt-Arbeit so schwer zu messen?
Sprachmodelle sind in der Praxis nicht deterministisch. Derselbe Prompt kann am Montag eine starke und am Dienstag eine schwache Antwort liefern, insbesondere bei höheren Temperatureinstellungen. Ein einzelner Vergleich sagt fast nichts aus.
Marketing-Outputs haben zudem keine einzelne richtige Antwort. Zwei Schlagzeilen können beide gut sein. Das verleitet Teams zu vagen Urteilen wie „der neue Prompt fühlt sich besser an“, die später niemand mehr nachvollziehen kann.
Erstellen Sie zuerst ein Evaluationsset
Ein Evaluationsset ist eine feste Liste von Eingaben, die echte Arbeit repräsentieren. Für einen Prompt zur Produktbeschreibung könnten das 50 Produkte aus verschiedenen Kategorien sein, einschließlich schwieriger Fälle mit fehlenden Attributen. Für einen Anzeigentext-Prompt könnten es 30 Briefings mit unterschiedlichen Zielgruppen und Zeichenbegrenzungen sein.
- Beziehen Sie einfache, typische und schwierige Fälle in etwa realistischen Anteilen ein
- Schreiben Sie für jeden Fall auf, was ein guter Output enthalten muss (Fakten, Länge, Tonfall)
- Halten Sie das Set für ein Quartal eingefroren, damit die Ergebnisse vergleichbar bleiben
- Fügen Sie neue Fälle hinzu, wenn ein Produktionsfehler eine Lücke aufzeigt, und protokollieren Sie den Grund
Speichern Sie das Set in einer Tabelle oder einem Tool wie Promptfoo, LangSmith oder Braintrust. Das Tool ist weniger wichtig als die Gewohnheit, jede Prompt-Version mit denselben Eingaben zu testen.
Welche KPIs sollte ein Prompt-Dashboard anzeigen?
Gruppieren Sie Metriken in drei Ebenen: Output-Qualität, Betriebskosten und Geschäftseffekt. Die ersten beiden können Sie am selben Tag messen. Die dritte benötigt Wochen.
Output-Qualität
- Erfolgsquote bei harten Regeln: Zeichenbegrenzungen, erforderliche Keywords, verbotene Behauptungen, korrekte Sprache
- Rubrik-Score von menschlichen Prüfern auf einer Skala von 1 bis 5 für Genauigkeit, Klarheit und Markenpassung
- Modell-bewerteter Score, bei dem ein zweites Modell die Outputs anhand der Rubrik prüft, kalibriert an menschlichen Scores
- Faktische Fehlerrate: Anteil der Outputs, die eine Behauptung enthalten, die nicht durch die Eingabe gestützt wird
Betriebskosten
- Token- und API-Kosten pro akzeptiertem Output, nicht pro Aufruf
- Bearbeitungszeit: Minuten, die eine Person damit verbringt, einen Output zu korrigieren, bevor er veröffentlicht werden kann
- Ablehnungsrate: Outputs, die vollständig verworfen werden
- Latenz, wenn der Prompt innerhalb eines Live-Tools läuft
Die Bearbeitungszeit ist oft die ehrlichste Zahl. Ein Prompt, der günstige Outputs produziert, deren Korrektur jeweils zehn Minuten dauert, ist teurer als ein längerer Prompt, dessen Outputs nur eine Minute benötigen.
Geschäftseffekt
Wenn Outputs live gehen, verknüpfen Sie sie mit den Plattform-Metriken, die sie beeinflussen sollen: Klickrate für Anzeigentexte, organische CTR in der Search Console für Meta-Beschreibungen, Konversionsrate für Produktseiten. Nutzen Sie nach Möglichkeit geeignete Tests, wie Google Ads-Experimente oder Split-Tests in Ihrer E-Mail-Plattform, da Saisonalität kleine Unterschiede verbirgt.
Wie vergleicht man zwei Prompt-Versionen fair?
Führen Sie beide Versionen auf dem vollständigen Evaluationsset aus, bei einer Temperatur über Null jeweils mehrmals. Vergleichen Sie Durchschnittswerte und Streuung. Ein Prompt, der im Durchschnitt etwas besser abschneidet, aber gelegentlich Katastrophen produziert, kann für die Produktion schlechter sein.
Ändern Sie immer nur eine Sache. Wenn Sie die Anweisungen umschreiben, Beispiele hinzufügen und das Modell auf einmal wechseln, werden Sie nicht wissen, welche Änderung wichtig war. Protokollieren Sie jede Version mit einer kurzen Notiz: was sich geändert hat und warum.
Ein einfaches Dashboard-Layout
Ein Looker Studio- oder Google Sheets-Dashboard reicht meist aus. Eine Zeile pro Prompt-Version, mit Spalten für Evaluationsdatum, Modell, Erfolgsquote, durchschnittlicher Rubrik-Score, Kosten pro akzeptiertem Output, mediane Bearbeitungszeit und, falls verfügbar, die Live-Performance-Metrik. Fügen Sie ein Diagramm der Bearbeitungszeit über die Versionen hinzu; es zeigt, ob sich die Arbeit auszahlt.
Halten Sie einen zweiten Tab für Fehler bereit: echte Produktions-Outputs, die falsch waren, mit der Eingabe und dem Grund. Diese werden zu neuen Evaluationsfällen und sind die beste Quelle für Prompt-Verbesserungen.
Wie Alien Road die Messung von Prompt Engineering anwendet
In einem typischen Engagement beginnt unser Team damit, jeden Prompt aufzulisten, den das Marketing-Team eines Kunden bereits verwendet, oft verstreut in persönlichen ChatGPT-Chats und geteilten Dokumenten. Wir überführen diejenigen, die veröffentlichte Inhalte produzieren, in die Versionskontrolle und wählen die drei mit dem höchsten Volumen für die Messung aus.
Für jeden erstellen wir ein Evaluationsset aus der bisherigen Arbeit des Kunden, vereinbaren eine Rubrik mit den Personen, die den Inhalt genehmigen, und messen den aktuellen Prompt als Baseline. Änderungen werden gegen diese Baseline getestet, bevor sie etwas in der Produktion ersetzen.
Das Reporting ist monatlich und kurz: welche Prompt-Versionen sich bewegt haben, was das für Bearbeitungszeit und Kosten bedeutete und was die Live-Metriken zeigten. Wenn eine Änderung die Zahlen nicht verbessert, sagen wir das und machen sie rückgängig.
Wer sollte Prompts in einem Marketing-Team besitzen?
Prompts, die veröffentlichte Inhalte produzieren, benötigen einen Eigentümer, genau wie Vorlagen oder Markenrichtlinien. In kleineren Teams ist das meist der Content Lead. In größeren Teams pflegt eine Person aus dem Marketing-Operations-Bereich eine Prompt-Bibliothek mit Versionen, den Evaluationsergebnissen für jede und Notizen dazu, mit welchem Modell sie getestet wurde.
Modell-Updates sind der Grund, warum dies wichtig ist. Wenn ein Anbieter ein neues Modell veröffentlicht oder einen Standard ändert, können sich funktionierende Prompts anders verhalten. Ein Eigentümer mit einem Evaluationsset kann es in einer Stunde erneut ausführen und wissen, ob etwas kaputt gegangen ist, anstatt es durch Kundenbeschwerden zu entdecken.
Fehler, die die Zahlen bedeutungslos machen
- Testen mit denselben fünf Beispielen, die zum Schreiben des Prompts verwendet wurden
- Ein Modell Outputs bewerten lassen, ohne seine Scores gegen menschliche Prüfer zu prüfen
- API-Kosten pro Aufruf statt pro akzeptiertem Output zählen
- Das Evaluationsset jede Woche ändern, was Vergleiche unmöglich macht
Wo man diese Woche anfangen sollte
Wählen Sie den einen Prompt, den Ihr Team am häufigsten ausführt. Ziehen Sie 30 echte Eingaben, schreiben Sie eine einzeilige Definition eines guten Outputs für jede und messen Sie, wie lange eine Person damit verbringt, die aktuellen Outputs zu bearbeiten. Diese einzelne Baseline-Zahl, Minuten der Bearbeitung pro Output, gibt jeder zukünftigen Prompt-Änderung etwas Konkretes, das es zu schlagen gilt.
Weiterlesen: KI-Marketingagentur · AI Marketing