Predictive Analytics beweist ihren Wert, wenn ihre Prognosen Entscheidungen verändern und diese Entscheidungen messbare Gewinne erzielen. Die Messung erfordert daher zwei Ebenen: Modellmetriken wie Genauigkeit, Kalibrierung und Fehler sowie Geschäftsmetriken wie inkrementeller Umsatz, eingespartes Budget oder reduzierte Abwanderung. Ein Dashboard, das nur eine Ebene zeigt, kann Ihnen nicht sagen, ob sich das Modell lohnt.
Was zählt im Marketing als Predictive Analytics?
Predictive Analytics nutzt historische Daten sowie statistische oder Machine-Learning-Modelle, um abzuschätzen, was als Nächstes passieren wird. Im Marketing sind die häufigsten Anwendungsfälle Kaufneigung, Abwanderungsrisiko, Customer Lifetime Value, Nachfrageprognose und Lead-Scoring. Die Tools reichen von den prädiktiven Zielgruppen in Google Analytics 4 bis hin zu benutzerdefinierten Modellen, die in BigQuery ML, Python oder einer Customer Data Platform erstellt wurden.
Die Quelle des Modells ist weniger wichtig als die Frage, die es beantwortet. Ein Lifetime-Value-Modell existiert, um zu entscheiden, wie viel man für einen Kunden zahlen sollte. Ein Abwanderungsmodell existiert, um zu entscheiden, wer ein Rückgewinnungsangebot erhält. Wenn Sie die Entscheidung nicht benennen können, können Sie den Wert nicht messen.
Welche Modellmetriken sollten Sie verfolgen?
Modellmetriken sagen Ihnen, ob Vorhersagen richtig sind. Sie sind notwendig, aber nicht ausreichend. Wählen Sie diejenigen aus, die zur Art der Vorhersage passen.
Für Ja/Nein-Vorhersagen (Abwanderung, Kauf, Conversion)
- AUC: wie gut das Modell wahrscheinliche Konverter vor unwahrscheinlichen einstuft. 0,5 ist ein Münzwurf.
- Präzision an der Spitze: Wie viele der Top-10%-Kunden mit der höchsten Punktzahl haben tatsächlich konvertiert?
- Recall: Welchen Anteil aller Konverter hat das Modell erfasst?
- Kalibrierung: Ob Kunden, die mit 30 % bewertet wurden, tatsächlich etwa 30 % der Zeit konvertieren. Eine schlechte Kalibrierung ruiniert Budgetentscheidungen, selbst wenn das Ranking gut ist.
Für numerische Vorhersagen (Umsatz, Nachfrage, Lifetime Value)
- MAE oder MAPE: durchschnittlicher Fehler in Einheiten oder Prozent, einfach gegenüber der Finanzabteilung zu erklären.
- Bias: Ob das Modell konsistent über- oder unterprognostiziert. Eine Prognose, die immer 15 % zu hoch ist, führt zu Überbeständen.
- Fehler nach Segment: Ein Modell kann insgesamt genau sein und für Neukunden oder eine einzelne Region falsch liegen.
Verfolgen Sie diese im Zeitverlauf, nicht nur einmal. Kundenverhalten ändert sich mit Jahreszeiten, Preisen und Wettbewerbern, und die Modellqualität nimmt ab. Ein monatliches Liniendiagramm von AUC oder MAPE ist oft die früheste Warnung, dass eine Neuschulung fällig ist.
Wie beweisen Sie den geschäftlichen Wert?
Der klarste Beweis ist ein kontrollierter Test. Teilen Sie die Zielgruppe zufällig auf: Eine Gruppe wird gemäß dem Modell behandelt, die andere gemäß der alten Regel oder gar keiner Regel. Der Unterschied im Ergebnis ist der Beitrag des Modells. Ohne eine Holdout-Gruppe vergleichen Sie mit einer Vermutung.
Zum Beispiel könnte ein Abo-Box-Unternehmen nur den Top-20%-Kunden mit Abwanderungsrisiko in der Testgruppe einen Rückgewinnungsrabatt senden, während die Kontrollgruppe die alte Richtlinie beibehält, jedem, der die Stornierungsseite besucht, einen Rabatt zu gewähren. Die zu vergleichenden Metriken sind der gehaltene Umsatz, die Rabattkosten und die Nettomarge pro Kunde.
- Inkrementelle Conversions oder Umsatz gegenüber der Holdout-Gruppe.
- Vermeidbare Kosten: Budget, das nicht für Nutzer mit geringer Neigung ausgegeben wurde.
- Return on Ad Spend bei Kampagnen, die prädiktive Zielgruppen verwenden, gegenüber angepassten Kampagnen, die dies nicht tun.
- Eingesparte Zeit für Analysten, die zuvor manuelle Segmente erstellt haben.
- Prognosegesteuerte Bestands- oder Personalfehler, vorher und nachher.
Wenn ein Holdout nicht möglich ist
Einige Entscheidungen können nicht randomisiert werden, wie z. B. eine Prognose, die den Gesamtbestand für die Saison festlegt. Vergleichen Sie in diesem Fall die Prognose mit dem, was tatsächlich passiert ist, und mit einer einfachen Baseline, wie den Verkäufen des letzten Jahres plus der aktuellen Wachstumsrate. Wenn das Modell die Baseline nicht um einen für das Unternehmen relevanten Betrag übertrifft, ist seine Komplexität schwer zu rechtfertigen. Zeichnen Sie die Baseline vor Saisonbeginn auf, damit niemand sie nachträglich anpasst, um das Modell besser oder schlechter aussehen zu lassen.
Wie sollte das Dashboard aussehen?
Ein gutes Predictive-Analytics-Dashboard beantwortet drei Fragen auf einem Bildschirm: Ist das Modell noch genau, wird es verwendet und zahlt es sich aus? Looker Studio, Power BI oder Tableau funktionieren alle; das Layout ist wichtiger als das Tool.
- Obere Reihe: Geschäftsergebnis gegenüber Holdout, mit Konfidenzintervall, für den aktuellen Zeitraum.
- Mittlere Reihe: Modellgesundheit, wie AUC- oder MAPE-Trend, Kalibrierungsdiagramm und Datum der Datenaktualität.
- Untere Reihe: Nutzung, wie z. B. wie viele Kampagnen oder Entscheidungen die Scores in diesem Monat verwendet haben.
- Ein Notizen-Panel mit Auflistung von Neuschulungsdaten, Datenänderungen und Testzeiträumen, damit Leser Sprünge erklären können.
Halten Sie technische Details für das Datenteam auf einer zweiten Seite. Marketingleiter benötigen das Ergebnis und ein Ampelsignal zur Modellgesundheit, keine Verwirrungsmatrizen.
Wie Alien Road die Messung von Predictive Analytics anwendet
In einem typischen Engagement beginnen wir damit, die Entscheidung, die jedes Modell unterstützt, und das Ergebnis, das es bewegen soll, aufzuschreiben. Dann prüfen wir die Daten: GA4-Ereignisqualität, CRM-Felder, Bestellhistorie und Zustimmungsabdeckung. Viele Messprobleme entpuppen sich als Tracking-Probleme.
Die Einrichtung umfasst die Vereinbarung eines Holdout-Anteils mit dem Kunden, oft zwischen 10 % und 20 % je nach Volumen, und den Aufbau der Scoring-Pipeline in BigQuery oder der Plattform des Kunden. Wir verbinden Scores über Zielgruppensynchronisierungen mit Google Ads, Meta oder E-Mail-Tools, sodass die Nutzung protokolliert wird.
Das Reporting erfolgt monatlich. Jeder Bericht zeigt den Lift gegenüber dem Holdout, die Modellgesundheit und eine Empfehlung: behalten, neu trainieren oder in den Ruhestand schicken. Ein Modell, das die einfache Regel nicht mehr schlägt, wird in den Ruhestand geschickt, da die Wartung Zeit kostet.
Häufige Fehler, die das wahre Ergebnis verbergen
- Nur die Genauigkeit messen und annehmen, dass der Wert folgt.
- Behandelte Kunden mit unbehandelten vergleichen, die nie ähnlich waren.
- Modell, Angebot und Zielgruppe gleichzeitig ändern.
- Die Kostenseite ignorieren: Rabatte, zusätzliche Werbeausgaben und Analystenstunden.
- Vergessen, dass prädiktive GA4-Metriken genügend Käufer und wiederkehrende Nutzer benötigen, bevor sie erscheinen.
Wo man diese Woche anfangen sollte
Listen Sie jeden prädiktiven Score auf, den Ihr Team heute verwendet, und die damit verbundene Entscheidung. Prüfen Sie für den wichtigsten, ob eine Holdout-Gruppe existiert. Wenn nicht, richten Sie eine für den nächsten Kampagnenzyklus ein.
Erstellen Sie dann eine einzelne Dashboard-Seite mit Ergebnis gegenüber Holdout und einem Modellgesundheitsdiagramm. Überprüfen Sie dies am Monatsende mit dem Kampagnenverantwortlichen. Dieses Gespräch wird Ihnen mehr über den Wert des Modells sagen als jeder Genauigkeitsscore für sich allein.
Weiterlesen: KI-Optimierung · KI-Optimierung