La mesure de Shopify Sidekick et Shopify Magic repose sur deux questions : permettent-ils au personnel de gagner du temps, et le contenu qu’ils aident à produire est-il au moins aussi performant qu’avant ? Les KPI qui répondent à ces questions sont le temps par tâche, le taux de modification des brouillons IA, l’adoption par l’équipe et les mesures de résultats telles que la conversion des pages produits, le taux de clics des e-mails et le trafic organique pour les pages assistées par IA.
Sidekick est l’assistant IA intégré à l’administration Shopify ; Shopify Magic couvre les fonctionnalités intégrées telles que les descriptions de produits générées, la rédaction d’e-mails et la retouche d’images. Comme ils sont inclus dans les plans Shopify au moment de la rédaction, il n’y a pas de frais de licence à justifier. Cela rend la mesure facile à ignorer, mais le coût est réel : le temps que le personnel passe à réviser et le risque qu’un contenu plus faible atteigne les clients.
Pourquoi mesurer des fonctionnalités gratuites ?
Les fonctionnalités gratuites utilisent toujours le temps des gens et façonnent ce que voient les clients. Une boutique qui publie 300 descriptions générées sans vérifier si elles convertissent pourrait perdre des ventes lentement sans jamais s’en apercevoir. La mesure aide également à décider où investir le temps économisé : si l’équipe passe quatre heures de moins par semaine sur la rédaction, où sont passées ces heures ?
Quels KPI d’efficacité sont importants ?
Commencez par le temps, car c’est là que la valeur apparaît généralement en premier.
- Temps par fiche produit, des attributs à la page publiée.
- Temps par campagne d’e-mailing, du brief à l’envoi programmé.
- Temps par retouche d’image pour la suppression ou le remplacement de l’arrière-plan.
- Nombre de questions de support ou de tutoriels répondues par Sidekick au lieu d’un collègue ou du centre d’aide.
Mesurez une ligne de base pendant deux semaines avant le déploiement, puis répétez après un mois. Enregistrez le type de tâche, le produit ou la campagne, l’heure de début et de fin, et si l’IA a été utilisée. Quatre colonnes suffisent, et garder le journal simple est ce qui incite les gens à le remplir. Les journaux de temps auto-déclarés dans une feuille partagée suffisent pour une petite équipe.
Taux de modification
Le taux de modification est la part du texte généré par l’IA que les réviseurs modifient avant la publication. Un taux faible signifie que les brouillons sont utilisables ; un taux élevé signifie que la fonctionnalité permet de gagner peu de temps. Suivez-le par type de contenu, car les descriptions et la rédaction d’e-mails se comportent souvent différemment.
Quels KPI de résultats prouvent que le contenu fonctionne ?
L’efficacité signifie peu si les résultats chutent. Comparez le contenu assisté par IA avec le contenu rédigé par des humains sur :
- Taux de conversion des pages produits et taux d’ajout au panier, à partir de Shopify Analytics.
- Sessions organiques et impressions pour les pages produits, à partir de Google Search Console.
- Taux d’ouverture et de clics des e-mails dans Shopify Email ou votre plateforme d’e-mailing.
- Taux de retour et questions des clients sur les produits, qui peuvent augmenter lorsque les descriptions sont inexactes.
Le dernier point est souvent oublié. Une description qui survend la qualité du matériau ou la taille peut augmenter les retours. Marquez les retours avec un code de motif afin de pouvoir voir les modèles.
Comment tester équitablement le contenu IA ?
Une comparaison contrôlée simple fonctionne pour la plupart des boutiques.
- Choisissez deux groupes de produits similaires, appariés par prix, trafic et catégorie.
- Donnez à un groupe des descriptions assistées par IA (générées et modifiées) et gardez l’autre tel quel.
- Laissez les autres variables inchangées pendant quatre à six semaines : prix, images, publicités.
- Comparez la conversion, l’ajout au panier et les sessions organiques entre les groupes.
Pour l’e-mail, Shopify Email et la plupart des outils d’e-mailing permettent des tests A/B des objets. Testez une ligne écrite par un humain contre une ligne générée sur le même envoi.
La saisonnalité peut fausser les résultats, évitez donc de commencer une comparaison juste avant une période de soldes majeure comme le Black Friday, où le trafic et l’intention changent radicalement pour chaque produit.
Les petites boutiques n’atteindront pas la signification statistique à chaque test. C’est très bien ; recherchez une direction cohérente sur plusieurs tests plutôt qu’un résultat décisif.
À quoi ressemble un tableau de bord utile ?
Gardez-le sur une page avec trois sections :
- Efficacité : temps par tâche, taux de modification, nombre d’actifs assistés par IA ce mois-ci.
- Résultats : conversion et métriques organiques pour les pages assistées par IA par rapport au groupe de comparaison.
- Adoption : quels membres de l’équipe utilisent les fonctionnalités et pour quoi faire.
Les rapports de Shopify couvrent les ventes et la conversion ; Search Console couvre la recherche organique ; une feuille de calcul couvre les journaux de temps. Looker Studio peut les combiner si vous voulez une vue d’ensemble, mais une feuille partagée mise à jour mensuellement suffit souvent.
Que faire des résultats ?
Agissez en conséquence. Si les taux de modification sur les descriptions sont élevés, améliorez les entrées : complétez les attributs des produits, ajoutez une courte note sur la voix de la marque à vos prompts ou gardez les produits phares rédigés par des humains. Si les pages assistées par IA convertissent aussi bien que les autres et prennent moins de temps, étendez l’approche au reste du catalogue. Si les raisons de retour pointent vers des descriptions inexactes, renforcez la révision avant toute autre chose.
Évitez les mesures de vanité
Compter le nombre de descriptions générées ou de questions posées à Sidekick ne dit pas grand-chose en soi. Ce sont des chiffres d’activité. Une boutique peut générer 500 descriptions et perdre en conversion en même temps. Associez toujours un compte d’activité à une mesure de temps et une mesure de résultat, afin que le rapport montre si l’activité a produit quelque chose d’utile.
Revisitez la liste des KPI chaque trimestre. Shopify met souvent à jour ces fonctionnalités, et une fonctionnalité qui était faible il y a six mois peut maintenant être utile, ou l’inverse.
Comment Alien Road applique la mesure de Shopify Sidekick et Shopify Magic
Dans un engagement e-commerce typique, la phase de découverte capture les temps de base pour les tâches de référencement, d’e-mailing et d’image, et extrait les données actuelles de conversion et organiques pour les groupes de produits que nous prévoyons de comparer.
La configuration définit les groupes de comparaison, la liste de contrôle de révision et le journal des taux de modification. Nous convenons avec le client quelles pages restent rédigées par des humains, généralement les meilleures ventes et les collections clés, afin que le test ne mette pas en péril les revenus les plus importants.
La mesure est effectuée mensuellement sur le tableau de bord en trois sections. Les rapports indiquent le temps économisé, la tendance du taux de modification et si les mesures de résultats diffèrent entre les groupes, et recommandent où étendre ou réduire l’utilisation de l’IA.
Par où commencer cette semaine
Demandez à tous ceux qui rédigent des descriptions de produits ou des e-mails d’enregistrer leur temps par tâche pour les dix prochains jours ouvrables. Sans cette ligne de base, toute affirmation ultérieure sur le temps économisé est une supposition. Pendant qu’ils enregistrent, choisissez deux groupes de produits appariés pour votre première comparaison.
Continuez à lire : E-commerce · E-commerce