L’analyse prédictive prouve sa valeur lorsque ses prévisions changent les décisions et que ces décisions produisent des gains mesurables. Sa mesure nécessite donc deux niveaux : des métriques de modèle telles que la précision, l’étalonnage et l’erreur, et des métriques commerciales telles que le revenu supplémentaire, le budget économisé ou la réduction du taux de désabonnement. Un tableau de bord qui ne montre qu’un seul niveau ne peut pas vous dire si le modèle vaut la peine d’être conservé.
Qu’est-ce qui compte comme analyse prédictive dans le marketing ?
L’analyse prédictive utilise des données historiques et des modèles statistiques ou d’apprentissage automatique pour estimer ce qui va se passer ensuite. Dans le marketing, les cas courants sont la propension à l’achat, le risque de désabonnement, la valeur vie du client, la prévision de la demande et le scoring des leads. Les outils vont des audiences prédictives dans Google Analytics 4 aux modèles personnalisés construits dans BigQuery ML, Python ou une plateforme de données client.
La source du modèle importe moins que la question à laquelle il répond. Un modèle de valeur vie existe pour décider combien payer pour un client. Un modèle de désabonnement existe pour décider qui reçoit une offre de rétention. Si vous ne pouvez pas nommer la décision, vous ne pouvez pas mesurer la valeur.
Quelles métriques de modèle devriez-vous suivre ?
Les métriques de modèle vous indiquent si les prédictions sont correctes. Elles sont nécessaires mais pas suffisantes. Choisissez celles qui correspondent au type de prédiction.
Pour les prédictions oui/non (désabonnement, achat, conversion)
- AUC : à quel point le modèle classe bien les convertisseurs probables au-dessus des improbables. 0,5 est un tirage à pile ou face.
- Précision au sommet : parmi les 10 % de clients les mieux notés, combien ont réellement converti.
- Rappel : quelle part de tous les convertisseurs le modèle a capturée.
- Étalonnage : si les clients notés à 30 % convertissent réellement environ 30 % du temps. Un mauvais étalonnage ruine les décisions budgétaires même lorsque le classement est bon.
Pour les prédictions numériques (revenu, demande, valeur vie)
- MAE ou MAPE : erreur moyenne en unités ou en pourcentage, facile à expliquer à la finance.
- Biais : si le modèle surestime ou sous-estime systématiquement. Une prévision qui est toujours 15 % trop élevée entraîne des surstocks.
- Erreur par segment : un modèle peut être précis dans l’ensemble et faux pour les nouveaux clients ou une seule région.
Suivez-les dans le temps, pas une seule fois. Le comportement des clients change avec les saisons, les prix et les concurrents, et la qualité du modèle diminue. Un graphique linéaire mensuel de l’AUC ou du MAPE est souvent le premier avertissement qu’un réentraînement est nécessaire.
Comment prouver la valeur commerciale ?
La preuve la plus claire est un test contrôlé. Divisez l’audience au hasard : un groupe est traité selon le modèle, l’autre selon l’ancienne règle ou aucune règle. La différence dans le résultat est la contribution du modèle. Sans groupe témoin, vous comparez par rapport à une supposition.
Par exemple, une entreprise de box par abonnement pourrait envoyer une remise de rétention uniquement aux 20 % de clients les plus à risque de désabonnement dans le groupe de test, tandis que le groupe témoin conserve l’ancienne politique de remise à tous ceux qui visitent la page d’annulation. Les métriques à comparer sont le revenu retenu, le coût de la remise et la marge nette par client.
- Conversions ou revenus supplémentaires par rapport au groupe témoin.
- Coût évité : budget non dépensé sur les utilisateurs à faible propension.
- Retour sur les dépenses publicitaires dans les campagnes qui utilisent des audiences prédictives par rapport aux campagnes appariées qui ne le font pas.
- Temps économisé pour les analystes qui construisaient auparavant des segments manuellement.
- Erreurs d’inventaire ou de personnel basées sur les prévisions, avant et après.
Lorsqu’un groupe témoin n’est pas possible
Certaines décisions ne peuvent pas être randomisées, comme une prévision qui définit l’inventaire total pour la saison. Dans ce cas, comparez la prévision avec ce qui s’est réellement passé et avec une base de référence simple, comme les ventes de l’année dernière plus le taux de croissance actuel. Si le modèle ne bat pas la base de référence par une marge qui importe à l’entreprise, sa complexité est difficile à justifier. Enregistrez la base de référence avant le début de la saison, afin que personne ne l’ajuste par la suite pour rendre le modèle meilleur ou pire.
À quoi devrait ressembler le tableau de bord ?
Un bon tableau de bord d’analyse prédictive répond à trois questions sur un seul écran : le modèle est-il toujours précis, est-il utilisé et est-il rentable ? Looker Studio, Power BI ou Tableau fonctionnent tous ; la mise en page compte plus que l’outil.
- Ligne supérieure : résultat commercial par rapport au groupe témoin, avec intervalle de confiance, pour la période actuelle.
- Ligne médiane : santé du modèle, telle que la tendance AUC ou MAPE, le graphique d’étalonnage et la date de fraîcheur des données.
- Ligne inférieure : utilisation, telle que le nombre de campagnes ou de décisions ayant utilisé les scores ce mois-ci.
- Un panneau de notes listant les dates de réentraînement, les changements de données et les périodes de test, afin que les lecteurs puissent expliquer les sauts.
Gardez les détails techniques sur une deuxième page pour l’équipe de données. Les leaders marketing ont besoin du résultat et d’un signal de feu de circulation sur la santé du modèle, pas de matrices de confusion.
Comment Alien Road applique la mesure de l’analyse prédictive
Dans un engagement typique, nous commençons par noter la décision que chaque modèle soutient et le résultat qu’il doit déplacer. Ensuite, nous auditons les données : qualité des événements GA4, champs CRM, historique des commandes et couverture du consentement. De nombreux problèmes de mesure s’avèrent être des problèmes de suivi.
La configuration comprend l’accord d’une part de groupe témoin avec le client, souvent entre 10 % et 20 % selon le volume, et la construction du pipeline de scoring dans BigQuery ou la plateforme du client. Nous connectons les scores à Google Ads, Meta ou aux outils d’e-mail via des synchronisations d’audience, afin que l’utilisation soit enregistrée.
Le reporting est mensuel. Chaque rapport montre le gain par rapport au groupe témoin, la santé du modèle et une recommandation : conserver, réentraîner ou retirer. Un modèle qui cesse de battre la règle simple est retiré, car sa maintenance coûte du temps.
Erreurs courantes qui cachent le résultat réel
- Mesurer uniquement la précision et supposer que la valeur suit.
- Comparer les clients traités avec des clients non traités qui n’ont jamais été similaires.
- Changer le modèle, l’offre et l’audience en même temps.
- Ignorer le côté des coûts : remises, dépenses publicitaires supplémentaires et heures d’analyste.
- Oublier que les métriques prédictives GA4 ont besoin de suffisamment d’acheteurs et d’utilisateurs récurrents avant d’apparaître.
Par où commencer cette semaine
Listez chaque score prédictif que votre équipe utilise aujourd’hui et la décision qui y est attachée. Pour le plus important, vérifiez si un groupe témoin existe. Si ce n’est pas le cas, configurez-en un pour le prochain cycle de campagne.
Ensuite, construisez une seule page de tableau de bord avec le résultat par rapport au groupe témoin et un graphique de santé du modèle. Examinez-le avec le responsable de la campagne à la fin du mois. Cette conversation vous en dira plus sur la valeur du modèle que n’importe quel score de précision seul.
Continuez à lire : Optimisation par IA · Optimisation par IA