Les recommandations de produits par AI sont mesurées correctement en comparant les acheteurs qui les voient avec des acheteurs similaires qui ne les voient pas, puis en examinant les revenus par visiteur, le taux de conversion, la valeur moyenne de la commande et la marge. Les clics sur les widgets et les chiffres de “revenus influencés” des fournisseurs surestiment l’impact, car beaucoup de ces acheteurs auraient acheté de toute façon. Un bon tableau de bord montre l’augmentation réelle, emplacement par emplacement, ainsi que la couverture du catalogue et les contrôles de qualité.
Pourquoi les chiffres des fournisseurs sont-ils trompeurs ?
La plupart des outils de recommandation rapportent les “revenus issus des recommandations” ou les “revenus influencés”. Cela compte généralement toute commande incluant un produit cliqué dans un widget, parfois sur une longue période. Un acheteur qui aurait trouvé le même article via la recherche compte toujours.
Ces chiffres sont utiles pour comparer les emplacements au sein d’un même outil. Ils ne sont pas la preuve d’une valeur incrémentale. Pour cela, vous avez besoin d’un groupe témoin.
Qu’est-ce qu’un test de rétention et comment en exécuter un ?
Un test de rétention divise le trafic de manière aléatoire. Un groupe voit les recommandations normalement ; l’autre voit une alternative, comme aucun bloc ou une simple liste des meilleures ventes. Après suffisamment de temps, vous comparez les résultats entre les groupes.
- Choisissez l’emplacement à tester, par exemple “articles similaires” sur la page produit
- Divisez les visiteurs de manière aléatoire, souvent 90/10 ou 80/20 pour limiter la perte de revenus
- Gardez la répartition stable par visiteur sur toutes les sessions
- Exécutez pendant au moins deux semaines complètes, plus longtemps pour les magasins à faible trafic, pour couvrir les modèles des jours de la semaine
- Comparez les revenus par visiteur, le taux de conversion et la valeur moyenne de la commande
- Vérifiez la signification statistique avant de décider
De nombreuses plateformes, dont Dynamic Yield, Bloomreach et Vertex AI Search for commerce, proposent des outils d’expérimentation intégrés. Sur les plus petits magasins, le retrait de Google Optimize a poussé les équipes vers des outils comme VWO, Optimizely ou des fonctionnalités A/B natives de la plateforme.
Quels KPI comptent le plus ?
Regroupez-les en impact commercial, engagement, santé du catalogue et qualité.
Impact commercial
- Revenus par visiteur : le meilleur résumé unique de l’augmentation
- Taux de conversion
- Valeur moyenne de la commande et articles par commande
- Marge brute par commande, car les compléments bon marché peuvent augmenter la valeur de la commande et réduire les bénéfices
- Taux de rachat sur 60 à 90 jours pour les emplacements personnalisés
Durée
- Taux de clics sur le bloc de recommandation
- Taux d’ajout au panier à partir d’articles recommandés
- Part des sessions qui interagissent avec une recommandation
Santé du catalogue
- Couverture : part des produits actifs jamais recommandés
- Concentration : part des impressions de recommandation allant aux 10 meilleurs produits
- Exposition des nouveaux produits au cours de leurs premières semaines
Qualité
- Articles en rupture de stock affichés
- Suggestions étranges ou non pertinentes trouvées lors de la révision manuelle
- Taux de retour pour les articles achetés via des recommandations
Pourquoi la couverture et la concentration sont-elles importantes ?
Les modèles de recommandation favorisent les articles avec beaucoup de données. S’ils sont laissés seuls, ils montrent les mêmes meilleures ventes partout, et la longue traîne du catalogue reste invisible. Cela nuit aux nouvelles collections et peut écarter les stocks de liquidation.
Suivez la couverture et la concentration mensuellement. Si les dix meilleurs produits captent la plupart des impressions, ajoutez des règles de diversité ou des boosts pour les nouveaux articles, puis vérifiez que le revenu par visiteur se maintient.
À quoi devrait ressembler le tableau de bord ?
Limitez-le à un écran par audience. La direction a besoin de croissance et de marge ; l’équipe e-commerce a besoin des détails des emplacements.
- Résumé : revenu par visiteur et marge, groupe de test versus groupe témoin, avec intervalles de confiance
- Tableau des emplacements : stratégie de chaque emplacement, CTR, taux d’ajout au panier et gain mesuré là où il a été testé
- Panneau de catalogue : couverture, concentration et exposition des nouveaux produits
- Panneau de qualité : articles en rupture de stock affichés, indicateurs de révision manuelle, taux de retour
- Journal des tests : ce qui a été modifié, quand et quel a été le résultat
Les données proviennent généralement de la plateforme de recommandation, d’outils d’analyse tels que Google Analytics 4 et de la base de données de commandes du magasin. Réunissez-les dans Looker Studio, Power BI ou un entrepôt comme BigQuery. Écrivez les définitions des métriques sur le tableau de bord afin qu’elles restent stables.
Quelles erreurs faussent les résultats ?
De petites erreurs de configuration peuvent rendre un test inutile.
- Terminer les tests prématurément lorsqu’un groupe semble en avance
- Exécuter plusieurs tests sur le même emplacement en même temps
- Comparer des périodes au lieu de groupes, de sorte que les saisons faussent le résultat
- Ignorer les bots et le trafic interne dans les données
- Compter les revenus sans marge
Combien de temps un test doit-il durer et quelle doit être sa taille ?
Il n’y a pas de réponse unique, car cela dépend du trafic et de l’ampleur de l’effet attendu. Un magasin avec des dizaines de milliers de visiteurs quotidiens peut détecter de petites augmentations en deux semaines. Un petit magasin peut avoir besoin d’un mois ou plus, et ne peut détecter que de grandes différences.
Les calculateurs de taille d’échantillon en ligne aident. Entrez votre taux de conversion actuel et la plus petite augmentation qui mérite d’être prise en compte, et l’outil vous indique combien de visiteurs chaque groupe nécessite. Si le nombre est bien au-delà de votre trafic, testez un changement plus important, comme des recommandations versus aucune, plutôt que deux stratégies similaires.
- Décidez de l’augmentation minimale qui modifierait une décision
- Calculez la taille de l’échantillon avant de commencer
- N’arrêtez pas le test prématurément parce que le résultat semble bon
- Enregistrez le résultat même lorsqu’il ne montre aucune différence
Comment connectez-vous les recommandations à la valeur vie client ?
Les tests courts capturent la première commande. Les recommandations personnalisées peuvent également modifier ce que les acheteurs achètent le mois suivant, la fréquence à laquelle ils reviennent et s’ils passent à de nouvelles catégories. Ces effets prennent plus de temps à apparaître.
Pour les magasins avec suffisamment d’acheteurs réguliers, conservez un petit groupe témoin à long terme, par exemple 5 pour cent des clients, qui ne reçoivent jamais de blocs ou d’e-mails personnalisés. Comparez leurs revenus sur 90 jours avec le reste. C’est le moyen le plus clair de voir si la personnalisation renforce la fidélité ou modifie simplement le moment des achats.
Comment Alien Road applique la mesure des recommandations
Dans un engagement e-commerce typique, nous vérifions d’abord le suivi : vue de produit, événements d’ajout au panier et d’achat avec ID d’article, ainsi que la gestion du consentement. Sans événements propres, aucun rapport de recommandation ne peut être fiable.
Nous mettons ensuite en place des tests témoins sur les emplacements principaux, construisons le tableau de bord à partir des données d’analyse, de plateforme et de commande, et convenons des définitions avec l’équipe du client. Les tests s’exécutent un emplacement à la fois.
Les rapports mensuels montrent le gain mesuré avec des intervalles de confiance, l’impact sur la marge, la couverture du catalogue et le journal des tests. Lorsqu’un emplacement ne montre aucun gain, nous le disons et suggérons une stratégie différente ou sa suppression, car chaque bloc rivalise pour l’espace sur la page.
Par où commencer cette semaine
Vérifiez comment votre outil de recommandation rapporte les revenus et notez sa règle d’attribution. Choisissez ensuite votre emplacement de recommandation le plus fréquenté et configurez un groupe témoin 90/10 en utilisant la fonction de test de la plateforme ou votre outil A/B. Exécutez-le pendant au moins deux semaines et comparez le revenu par visiteur entre les groupes. Ce test unique vous donne une base de référence réelle pour chaque décision ultérieure.
Continuer la lecture : E-commerce · E-commerce