Die Messung von Shopify Sidekick und Shopify Magic lässt sich auf zwei Fragen reduzieren: Sparen sie Zeit für die Mitarbeiter und ist der Inhalt, bei dessen Erstellung sie helfen, mindestens so leistungsfähig wie zuvor? Die KPIs, die diese Fragen beantworten, sind Zeit pro Aufgabe, Bearbeitungsrate bei KI-Entwürfen, Akzeptanz im Team und Ergebniskennzahlen wie Produktseiten-Conversion, E-Mail-Klickrate und organischer Traffic für KI-gestützte Seiten.
Sidekick ist der KI-Assistent im Shopify-Adminbereich; Shopify Magic umfasst integrierte Funktionen wie generierte Produktbeschreibungen, E-Mail-Texte und Bildbearbeitung. Da sie zum Zeitpunkt der Erstellung in Shopify-Plänen enthalten sind, gibt es keine Lizenzgebühr, die gerechtfertigt werden müsste. Das macht es leicht, die Messung zu überspringen, aber die Kosten sind real: die Zeit, die Mitarbeiter mit der Überprüfung verbringen, und das Risiko, dass schwächere Inhalte die Kunden erreichen.
Warum Funktionen messen, die kostenlos sind?
Kostenlose Funktionen verbrauchen immer noch Zeit der Mitarbeiter und prägen das, was Kunden sehen. Ein Shop, der 300 generierte Beschreibungen veröffentlicht, ohne zu prüfen, ob sie konvertieren, könnte langsam Umsätze verlieren, ohne es jemals zu bemerken. Die Messung hilft auch bei der Entscheidung, wo die eingesparte Zeit investiert werden soll: Wenn das Team pro Woche vier Stunden weniger für Texte aufwendet, wohin sind diese Stunden geflossen?
Welche Effizienz-KPIs sind wichtig?
Beginnen Sie mit der Zeit, denn dort zeigt sich der Wert meist zuerst.
- Zeit pro Produkteintrag, von den Attributen bis zur veröffentlichten Seite.
- Zeit pro E-Mail-Kampagne, vom Briefing bis zum geplanten Versand.
- Zeit pro Bildbearbeitung für das Entfernen oder Ersetzen des Hintergrunds.
- Anzahl der Support– oder Anleitungsfragen, die von Sidekick anstelle eines Kollegen oder des Hilfecenters beantwortet wurden.
Messen Sie eine Basislinie für zwei Wochen vor der Einführung und wiederholen Sie dies nach einem Monat. Protokollieren Sie die Aufgabenart, das Produkt oder die Kampagne, Start- und Endzeit sowie ob KI verwendet wurde. Vier Spalten reichen aus, und ein einfaches Protokoll sorgt dafür, dass die Leute es auch ausfüllen. Selbstberichtete Zeitprotokolle in einer gemeinsamen Tabelle reichen für ein kleines Team aus.
Bearbeitungsrate
Die Bearbeitungsrate ist der Anteil der KI-generierten Texte, die Prüfer vor der Veröffentlichung ändern. Eine niedrige Rate bedeutet, dass Entwürfe brauchbar sind; eine hohe Rate bedeutet, dass die Funktion wenig Zeit spart. Verfolgen Sie dies nach Inhaltstyp, da sich Beschreibungen und E-Mail-Texte oft unterschiedlich verhalten.
Welche Ergebnis-KPIs belegen, dass der Inhalt funktioniert?
Effizienz bedeutet wenig, wenn die Ergebnisse sinken. Vergleichen Sie KI-gestützte Inhalte mit von Menschen geschriebenen Inhalten hinsichtlich:
- Produktseiten-Conversion-Rate und Add-to-Cart-Rate aus Shopify Analytics.
- Organische Sitzungen und Impressionen für Produktseiten aus der Google Search Console.
- E-Mail-Öffnungs- und Klickraten in Shopify Email oder Ihrer E-Mail-Plattform.
- Retourenquoten und Kundenfragen zu Produkten, die steigen können, wenn Beschreibungen ungenau sind.
Der letzte Punkt wird oft vergessen. Eine Beschreibung, die Materialqualität oder Größe übertreibt, kann Retouren erhöhen. Kennzeichnen Sie Retouren mit einem Grundcode, damit Sie Muster erkennen können.
Wie testet man KI-Inhalte fair?
Ein einfacher kontrollierter Vergleich funktioniert für die meisten Shops.
- Wählen Sie zwei Gruppen ähnlicher Produkte, die hinsichtlich Preis, Traffic und Kategorie übereinstimmen.
- Geben Sie einer Gruppe KI-gestützte Beschreibungen (generiert und bearbeitet) und lassen Sie die andere wie sie ist.
- Lassen Sie andere Variablen für vier bis sechs Wochen unverändert: Preis, Bilder, Anzeigen.
- Vergleichen Sie Conversion, Add-to-Cart und organische Sitzungen zwischen den Gruppen.
Für E-Mails erlauben Shopify Email und die meisten E-Mail-Tools A/B-Tests von Betreffzeilen. Testen Sie eine von Menschen geschriebene Zeile gegen eine generierte beim gleichen Versand.
Saisonalität kann Ergebnisse verzerren, vermeiden Sie daher den Start eines Vergleichs kurz vor einer großen Verkaufsperiode wie dem Black Friday, wenn sich Traffic und Absicht für jedes Produkt stark ändern.
Kleine Shops werden nicht bei jedem Test statistische Signifikanz erreichen. Das ist in Ordnung; suchen Sie nach einer konsistenten Richtung über mehrere Tests hinweg anstatt nach einem entscheidenden Ergebnis.
Wie sieht ein nützliches Dashboard aus?
Beschränken Sie es auf eine Seite mit drei Abschnitten:
- Effizienz: Zeit pro Aufgabe, Bearbeitungsrate, Anzahl der KI-gestützten Assets in diesem Monat.
- Ergebnisse: Conversion- und organische Kennzahlen für KI-gestützte Seiten im Vergleich zur Vergleichsgruppe.
- Akzeptanz: welche Teammitglieder die Funktionen nutzen und wofür.
Die eigenen Berichte von Shopify decken Verkäufe und Conversion ab; die Search Console deckt die organische Suche ab; eine Tabelle deckt Zeitprotokolle ab. Looker Studio kann sie kombinieren, wenn Sie eine Ansicht wünschen, aber eine monatlich aktualisierte gemeinsame Tabelle reicht oft aus.
Was sollten Sie mit den Ergebnissen tun?
Handeln Sie danach. Wenn die Bearbeitungsraten bei Beschreibungen hoch sind, verbessern Sie die Eingaben: Vervollständigen Sie Produktattribute, fügen Sie Ihren Prompts eine kurze Notiz zur Markenstimme hinzu oder lassen Sie Hero-Produkte von Menschen schreiben. Wenn KI-gestützte Seiten genauso gut konvertieren wie andere und weniger Zeit in Anspruch nehmen, weiten Sie den Ansatz auf den Rest des Katalogs aus. Wenn Retourengründe auf ungenaue Beschreibungen hinweisen, verschärfen Sie die Überprüfung, bevor Sie etwas anderes tun.
Vermeiden Sie Eitelkeitskennzahlen
Das Zählen der Anzahl der generierten Beschreibungen oder der gestellten Sidekick-Fragen sagt für sich genommen wenig aus. Das sind Aktivitätszahlen. Ein Shop kann 500 Beschreibungen generieren und gleichzeitig die Conversion verlieren. Kombinieren Sie immer eine Aktivitätszahl mit einem Zeitmaß und einem Ergebnismaß, damit der Bericht zeigt, ob die Aktivität etwas Nützliches hervorgebracht hat.
Überprüfen Sie die KPI-Liste jedes Quartal. Shopify aktualisiert diese Funktionen häufig, und eine Funktion, die vor sechs Monaten schwach war, kann jetzt nützlich sein, oder umgekehrt.
Wie Alien Road die Messung von Shopify Sidekick und Shopify Magic anwendet
Bei einem typischen E-Commerce-Engagement erfasst die Discovery-Phase Basiszeiten für Listen-, E-Mail- und Bildaufgaben und zieht aktuelle Conversion- und organische Daten für die Produktgruppen, die wir vergleichen wollen.
Das Setup definiert die Vergleichsgruppen, die Prüf-Checkliste und das Bearbeitungsraten-Protokoll. Wir vereinbaren mit dem Kunden, welche Seiten von Menschen geschrieben bleiben, normalerweise Bestseller und wichtige Kollektionen, damit der Test nicht den wichtigsten Umsatz gefährdet.
Die Messung erfolgt monatlich auf dem dreiteiligen Dashboard. Berichte geben die eingesparte Zeit, den Trend der Bearbeitungsrate und ob sich Ergebniskennzahlen zwischen den Gruppen unterscheiden an und empfehlen, wo die KI-Nutzung ausgeweitet oder reduziert werden sollte.
Wo man diese Woche anfangen sollte
Bitten Sie jeden, der Produkt- oder E-Mail-Texte schreibt, seine Zeit pro Aufgabe für die nächsten zehn Arbeitstage zu protokollieren. Ohne diese Basislinie ist jede spätere Behauptung über eingesparte Zeit eine Vermutung. Während sie protokollieren, wählen Sie zwei passende Produktgruppen für Ihren ersten Vergleich aus.
Weiterlesen: E-Commerce · E-Commerce