Die meisten Berichte über Machine-Learning-Arbeit im Marketing scheitern am gleichen Test. Jemand öffnet ein Dashboard, zeigt auf eine Zahl, die sich bewegt hat, und sagt, das System funktioniere. Dann stellt ein Finanzleiter eine einfache Frage: Was wäre passiert, wenn wir nichts getan hätten? Der Raum wird still. Das Problem liegt selten am Modell. Es liegt daran, dass die KI-Optimierungsmetriken auf dem Bildschirm ausgewählt wurden, weil sie leicht zu erfassen waren, nicht weil sie diese Frage beantworten.
Wir bauen die Messung auf, bevor wir die Automatisierung aufbauen, und das aus gutem Grund. Sobald ein Optimierungssystem live ist, verändert es die Daten, an denen es gemessen wird. Ein Gebotsmodell, das das Budget auf Traffic mit hoher Kaufabsicht verlagert, verbessert die Conversion-Rate, unabhängig davon, ob es einen einzigen zusätzlichen Verkauf generiert hat oder nicht, da es die Zusammensetzung der gezählten Personen verändert hat. Wenn Sie Ihre Basislinie und Ihre Vergleichsmethode nicht korrigieren, bevor das System zu agieren beginnt, verlieren Sie die Fähigkeit, echten Zuwachs von bloßer Umverteilung zu unterscheiden. Dieser Artikel legt die Messschicht dar, die wir unter jedes Optimierungsprojekt legen, die Zahlen, die wir Kunden berichten, und diejenigen, die wir bewusst aus der Schlagzeile heraushalten.
Beginnen Sie mit der Entscheidung, nicht mit dem Dashboard
Jede Messung sollte auf eine Entscheidung zurückzuführen sein, die tatsächlich jemand treffen wird. Wenn sich eine Zahl bewegt und niemand etwas ändert, ist diese Zahl Dekoration. Wir bitten Kunden, zuerst die Entscheidung zu benennen: Erhöhen wir das Budget, erweitern wir das Modell auf einen zweiten Markt, zahlen wir im nächsten Quartal weiter für dieses System. Die Metrik ist dann der Beweis, der die Antwort wirklich ändern würde. Diese Einschränkung eliminiert etwa die Hälfte eines typischen Berichtspakets im ersten Meeting.
Die KI-Optimierungsmetriken, über die wir tatsächlich berichten
Unsere Berichterstattung erfolgt in drei Stufen. Die oberste Stufe ist das Geschäftsergebnis: Umsatz, qualifizierte Pipeline, Kosten pro Akquisition, Deckungsbeitrag. Das ist es, was der Kunde kauft. Die mittlere Stufe ist der Mechanismus: das spezifische Verhalten, das das System ändern sollte, wie z. B. der Anteil des Budgets, der auf profitable Segmente entfällt, oder der Anteil der Seiten, die einen Qualitätsschwellenwert erfüllen. Die unterste Stufe ist die Systemgesundheit, die Fehlerraten, Latenz, Datenaktualität und Abdeckung umfasst. Gesundheitsmetriken erscheinen nie in einer Schlagzeile. Sie existieren, damit wir schnell erkennen können, ob die Ursache der Markt oder eine defekte Pipeline ist, wenn sich die oberste Stufe in die falsche Richtung bewegt.
- Inkrementelles Ergebnis gegenüber einer Kontrollgruppe, nicht Gesamtergebnis für die behandelte Gruppe.
- Kosten pro inkrementeller Einheit, einschließlich der Kosten für den Betrieb des Systems selbst, nicht nur Medienausgaben.
- Entscheidungsabdeckung: Welchen Anteil der zulässigen Entscheidungen das System tatsächlich getroffen hat, anstatt sie zu überspringen.
- Stabilität: Wie stark der Output von Woche zu Woche variiert, wenn die Inputs weitgehend unverändert bleiben.
- Korrekturzeit: Wie lange es dauert, eine schlechte automatisierte Entscheidung zu bemerken und rückgängig zu machen.
Letzteres wird unterschätzt. Ein System, das die meiste Zeit richtig liegt, aber drei Wochen braucht, um zu bemerken, dass es falsch liegt, kann schlechter sein als ein langsamerer manueller Prozess. Wir messen es bewusst und berichten darüber, auch wenn es unvorteilhaft ist, weil es die Zahl ist, die vorhersagt, wie viel Autonomie dem System als Nächstes sicher gegeben werden kann.
Holdouts sind der einzige ehrliche Vergleich
Diesen Monat mit dem letzten Monat zu vergleichen, ist kein Beweis. Saisonalität, Wettbewerberaktivitäten, ein Lieferproblem, eine Erwähnung in der Presse und eine Preisänderung können Ergebnisse stärker beeinflussen als jede Optimierung. Der einzige Vergleich, der einer Prüfung standhält, ist eine Gruppe, die das System nicht berühren durfte, die zur gleichen Zeit lief und aus derselben Population stammte. Das bedeutet geografische Holdouts, Zielgruppen-Holdouts oder ein zufälliger Anteil von Kampagnen oder Seiten, die bewusst nicht optimiert wurden.
Kunden wehren sich oft dagegen, weil sich ein Holdout anfühlt, als würde man Geld auf dem Tisch liegen lassen. Unsere Antwort ist, dass der Holdout die günstigste verfügbare Versicherung ist. Ohne ihn erhält ein System, das stillschweigend aufhört zu funktionieren, monatelang weiterhin Budget. Mit ihm schließt sich die Lücke sichtbar und Sie finden es in Wochen heraus.
Leitplanken gehören in denselben Bericht
Optimierungssysteme finden den kürzesten Weg zu dem, wofür sie belohnt werden, und der kürzeste Weg ist häufig etwas, das Sie nicht wollten. Ein Modell, das für die Conversion-Rate belohnt wird, lernt, nicht mehr auf Unbekannte zu bieten. Ein Content-System, das für das Ranking belohnt wird, lernt, dünne, fast identische Inhalte zu schreiben. Wir veröffentlichen Leitplanken-Metriken neben der Schlagzeile: Neukundenanteil, Rücklaufquote, Erstattungsquote, Marken- vs. Nicht-Marken-Mix, Prüfungen auf Originalität der Inhalte. Wenn sich eine Leitplanke in die falsche Richtung bewegt, während sich die Schlagzeile verbessert, behandeln wir das als gescheitertes Experiment und nicht als Erfolg mit einem Vorbehalt.
Wie das Gute nach sechs Monaten aussieht
Ein ausgereiftes Mess-Setup ist langweilig anzusehen: eine kurze Schlagzeile über das inkrementelle Ergebnis mit einem Konfidenzbereich, eine kleine Reihe von Mechanismus-Metriken, die erklären, wie der Gewinn zustande kam, Leitplanken, die zeigen, dass nichts kaputt gegangen ist, und ein Anhang zur Systemgesundheit. Die gleichen KI-Optimierungsmetriken erscheinen jeden Monat in der gleichen Reihenfolge, was Abweichungen offensichtlich macht. Niemand fügt ein neues Diagramm hinzu, um einen schlechten Monat zu entschuldigen.
Wenn Sie bei Null anfangen, ist die Reihenfolge unkompliziert. Definieren Sie die Entscheidung, wählen Sie das Ergebnis, legen Sie vor dem Start einen Holdout fest, vereinbaren Sie die Leitplanken und legen Sie die Attributionsmethode schriftlich fest. Diese Arbeit dauert ein oder zwei Wochen und ist weitaus weniger interessant als die Optimierung selbst, aber sie macht aus einem vielversprechenden Pilotprojekt ein System, das Ihr Finanzteam weiterhin finanzieren wird. Wenn Sie eine zweite Meinung zu der Messung haben möchten, die Sie bereits haben, schauen wir uns diese gerne an, bevor Sie sich für ein weiteres Quartal an Ausgaben verpflichten.
Weiterlesen: KI-Optimierung · KI-Optimierung