AI-Produktempfehlungen werden korrekt gemessen, indem man Käufer, denen sie angezeigt werden, mit ähnlichen Käufern vergleicht, denen sie nicht angezeigt werden, und dann den Umsatz pro Besucher, die Conversion-Rate, den durchschnittlichen Bestellwert und die Marge betrachtet. Widget-Klicks und “beeinflusste Umsatz”-Zahlen von Anbietern übertreiben die Wirkung, da viele dieser Käufer ohnehin gekauft hätten. Ein gutes Dashboard zeigt den echten Zuwachs, Slot für Slot, zusammen mit Katalogabdeckung und Qualitätsprüfungen.
Warum sind Anbieterzahlen irreführend?
Die meisten Empfehlungstools melden “Umsatz aus Empfehlungen” oder “beeinflussten Umsatz”. Dies zählt normalerweise jede Bestellung, die ein in einem Widget angeklicktes Produkt enthielt, manchmal über einen langen Zeitraum. Ein Käufer, der denselben Artikel über die Suche gefunden hätte, zählt immer noch mit.
Diese Zahlen sind nützlich, um Slots innerhalb eines Tools zu vergleichen. Sie sind kein Beweis für einen inkrementellen Wert. Dafür benötigen Sie eine Kontrollgruppe.
Was ist ein Holdout-Test und wie führt man ihn durch?
Ein Holdout-Test teilt den Traffic zufällig auf. Eine Gruppe sieht Empfehlungen wie gewohnt; die andere sieht ein Fallback, wie z. B. keinen Block oder eine einfache Bestsellerliste. Nach ausreichender Zeit vergleichen Sie die Ergebnisse zwischen den Gruppen.
- Wählen Sie den zu testenden Slot, zum Beispiel “ähnliche Artikel” auf der Produktseite
- Teilen Sie Besucher zufällig auf, oft 90/10 oder 80/20, um Umsatzverluste zu begrenzen
- Halten Sie die Aufteilung pro Besucher über Sitzungen hinweg stabil
- Lassen Sie den Test mindestens zwei volle Wochen laufen, bei Shops mit geringem Traffic länger, um Wochentagsmuster abzudecken
- Vergleichen Sie Umsatz pro Besucher, Conversion-Rate und durchschnittlichen Bestellwert
- Prüfen Sie die statistische Signifikanz, bevor Sie entscheiden
Viele Plattformen, darunter Dynamic Yield, Bloomreach und Vertex AI Search for Commerce, bieten integrierte Experimentier-Tools. Bei kleineren Shops führte die Einstellung von Google Optimize dazu, dass Teams auf Tools wie VWO, Optimizely oder plattforminterne A/B-Funktionen umstiegen.
Welche KPIs sind am wichtigsten?
Gruppieren Sie sie in geschäftliche Auswirkungen, Engagement, Kataloggesundheit und Qualität.
Geschäftliche Auswirkungen
- Umsatz pro Besucher: die beste Zusammenfassung des Zuwachses
- Conversion-Rate
- Durchschnittlicher Bestellwert und Artikel pro Bestellung
- Bruttomarge pro Bestellung, da günstige Add-ons den Bestellwert erhöhen und den Gewinn senken können
- Wiederkaufsrate über 60 bis 90 Tage für personalisierte Slots
Projektdauer
- Klickrate auf den Empfehlungsblock
- In-den-Warenkorb-Rate von empfohlenen Artikeln
- Anteil der Sitzungen, die mit einer Empfehlung interagieren
Kataloggesundheit
- Abdeckung: Anteil der aktiven Produkte, die jemals empfohlen wurden
- Konzentration: Anteil der Empfehlungsimpressionen, die auf die Top-10-Produkte entfallen
- Sichtbarkeit neuer Produkte in ihren ersten Wochen
Qualität
- Anzeige von nicht vorrätigen Artikeln
- Seltsame oder irrelevante Vorschläge bei manueller Überprüfung
- Retourenquote für Artikel, die über Empfehlungen gekauft wurden
Warum sind Abdeckung und Konzentration wichtig?
Empfehlungsmodelle bevorzugen Artikel mit vielen Daten. Wenn sie sich selbst überlassen bleiben, zeigen sie überall dieselben Bestseller, und der Long Tail des Katalogs bleibt ungesehen. Das schadet neuen Kollektionen und kann Restposten verdrängen.
Verfolgen Sie Abdeckung und Konzentration monatlich. Wenn die Top-Ten-Produkte die meisten Impressionen erhalten, fügen Sie Diversitätsregeln oder Boosts für neue Artikel hinzu und prüfen Sie dann, ob der Umsatz pro Besucher stabil bleibt.
Wie sollte das Dashboard aussehen?
Beschränken Sie sich auf einen Bildschirm pro Zielgruppe. Die Führungsebene benötigt Umsatz und Marge; das E-Commerce-Team benötigt Slot-Details.
- Zusammenfassung: Umsatz pro Besucher und Marge, Testgruppe versus Kontrollgruppe, mit Konfidenzintervallen
- Slot-Tabelle: Strategie jedes Slots, CTR, Add-to-Cart-Rate und gemessener Lift, wo getestet
- Katalog-Panel: Abdeckung, Konzentration und Sichtbarkeit neuer Produkte
- Qualitäts-Panel: Nicht vorrätige Artikel, manuelle Prüf-Flags, Retourenquote
- Test-Log: Was wurde geändert, wann und was war das Ergebnis
Daten stammen typischerweise von der Empfehlungsplattform, Analysetools wie Google Analytics 4 und der Bestelldatenbank des Shops. Führen Sie diese in Looker Studio, Power BI oder einem Data Warehouse wie BigQuery zusammen. Schreiben Sie Metrikdefinitionen auf das Dashboard, damit sie stabil bleiben.
Welche Fehler verfälschen die Ergebnisse?
Kleine Einrichtungsfehler können einen Test nutzlos machen.
- Tests vorzeitig beenden, wenn eine Gruppe vorne liegt
- Mehrere Tests gleichzeitig auf demselben Slot durchführen
- Zeiträume statt Gruppen vergleichen, sodass Saisonalität das Ergebnis verzerrt
- Bots und internen Traffic in den Daten ignorieren
- Umsatz ohne Marge zählen
Wie lange sollte ein Test laufen und wie groß muss er sein?
Es gibt keine pauschale Antwort, da dies vom Traffic und der erwarteten Effektgröße abhängt. Ein Shop mit zehntausenden täglichen Besuchern kann kleine Steigerungen in zwei Wochen erkennen. Ein kleiner Shop benötigt möglicherweise einen Monat oder länger und kann nur große Unterschiede erkennen.
Online-Stichprobengrößenrechner helfen. Geben Sie Ihre aktuelle Conversion-Rate und den kleinsten Lift ein, bei dem sich eine Maßnahme lohnt, und das Tool sagt Ihnen, wie viele Besucher jede Gruppe benötigt. Wenn die Zahl weit über Ihrem Traffic liegt, testen Sie eine größere Änderung, wie z. B. Empfehlungen versus keine, anstatt zwei ähnliche Strategien.
- Entscheiden Sie sich für den minimalen Lift, der eine Entscheidung ändern würde
- Berechnen Sie die Stichprobengröße vor dem Start
- Beenden Sie den Test nicht vorzeitig, weil das Ergebnis gut aussieht
- Zeichnen Sie das Ergebnis auch dann auf, wenn es keinen Unterschied zeigt
Wie verbinden Sie Empfehlungen mit dem Customer Lifetime Value?
Kurze Tests erfassen die erste Bestellung. Personalisierte Empfehlungen können auch ändern, was Käufer im nächsten Monat kaufen, wie oft sie zurückkehren und ob sie in neue Kategorien wechseln. Diese Effekte brauchen länger, um sichtbar zu werden.
Für Shops mit genügend wiederkehrenden Käufern sollten Sie eine kleine langfristige Kontrollgruppe beibehalten, zum Beispiel 5 Prozent der Kunden, die niemals personalisierte Blöcke oder E-Mails erhalten. Vergleichen Sie deren 90-Tage-Umsatz mit dem Rest. Dies ist der klarste Weg, um zu sehen, ob Personalisierung Loyalität aufbaut oder nur den Zeitpunkt der Käufe verschiebt.
Wie Alien Road die Empfehlungsmessung anwendet
Bei einem typischen E-Commerce-Engagement prüfen wir zuerst das Tracking: Produktansicht, Add-to-Cart- und Kaufereignisse mit Artikel-IDs sowie das Consent-Handling. Ohne saubere Events kann kein Empfehlungsbericht vertrauenswürdig sein.
Wir richten dann Kontrolltests auf den Haupt-Slots ein, bauen das Dashboard aus Analyse-, Plattform- und Bestelldaten auf und vereinbaren Definitionen mit dem Team des Kunden. Tests laufen immer nur auf einem Slot gleichzeitig.
Monatliche Berichte zeigen den gemessenen Lift mit Konfidenzintervallen, Margenauswirkungen, Katalogabdeckung und das Test-Log. Wenn ein Slot keinen Lift zeigt, sagen wir das und schlagen eine andere Strategie vor oder entfernen ihn, da jeder Block um Platz auf der Seite konkurriert.
Wo man diese Woche anfangen sollte
Prüfen Sie, wie Ihr Empfehlungstool den Umsatz meldet, und notieren Sie dessen Attributionsregel. Wählen Sie dann Ihren geschäftigsten Empfehlungs-Slot und richten Sie eine 90/10-Kontrollgruppe mithilfe der Testfunktion der Plattform oder Ihres A/B-Tools ein. Lassen Sie ihn mindestens zwei Wochen laufen und vergleichen Sie den Umsatz pro Besucher zwischen den Gruppen. Dieser eine Test liefert Ihnen eine echte Basislinie für jede spätere Entscheidung.
Weiterlesen: E-Commerce · E-Commerce