La plupart des rapports sur le travail d’apprentissage automatique en marketing échouent au même test. Quelqu’un ouvre un tableau de bord, pointe un chiffre qui a bougé et dit que le système fonctionne. Ensuite, un responsable financier pose une question simple : que se serait-il passé si nous n’avions rien fait ? La salle devient silencieuse. Le problème vient rarement du modèle. C’est que les métriques d’optimisation AI à l’écran ont été choisies parce qu’elles étaient faciles à collecter, et non parce qu’elles répondent à cette question.
Nous construisons la mesure avant de construire l’automatisation, et nous le faisons dans cet ordre pour une raison. Une fois qu’un système d’optimisation est en ligne, il modifie les données par lesquelles il est mesuré. Un modèle d’enchères qui déplace le budget vers un trafic à forte intention améliorera le taux de conversion, qu’il ait ou non généré une seule vente supplémentaire, car il a modifié la composition de ceux qui ont été comptés. Si vous ne corrigez pas votre ligne de base et votre méthode de comparaison avant que le système ne commence à agir, vous perdez la capacité de séparer le gain réel de la réorganisation. Cet article définit la couche de mesure que nous mettons sous chaque engagement d’optimisation, les chiffres que nous rapportons aux clients et ceux que nous laissons délibérément en dehors du titre.
Commencez par la décision, pas par le tableau de bord
Chaque mesure doit remonter à une décision que quelqu’un prendra réellement. Si un chiffre bouge et que personne ne change rien, ce chiffre est de la décoration. Nous demandons aux clients de nommer la décision en premier : augmentons-nous le budget, étendons-nous le modèle à un deuxième marché, continuons-nous à payer pour ce système le trimestre prochain. La métrique est alors toute preuve qui changerait réellement la réponse. Cette contrainte élimine environ la moitié d’un ensemble de rapports typique lors de la première réunion.
Les métriques d’optimisation AI que nous rapportons réellement
Nos rapports se situent sur trois niveaux. Le niveau supérieur est le résultat commercial : revenus, pipeline qualifié, coût par acquisition, marge de contribution. C’est ce que le client achète. Le niveau intermédiaire est le mécanisme : le comportement spécifique que le système était censé changer, comme la part du budget atteignant des segments rentables ou la proportion de pages atteignant un seuil de qualité. Le niveau inférieur est la santé du système, qui comprend les taux d’erreur, la latence, la fraîcheur des données et la couverture. Les métriques de santé n’apparaissent jamais dans un titre. Elles existent pour que, lorsque le niveau supérieur évolue dans la mauvaise direction, nous puissions savoir rapidement si la cause est le marché ou un pipeline cassé.
- Résultat incrémental par rapport à un contrôle retenu, pas résultat total pour le groupe traité.
- Coût par unité incrémentale, incluant le coût de fonctionnement du système lui-même, pas seulement les dépenses médias.
- Couverture des décisions : quelle part des décisions éligibles le système a réellement prises plutôt que sautées.
- Stabilité : à quel point la sortie varie d’une semaine à l’autre lorsque les entrées restent largement inchangées.
- Temps de correction : combien de temps il faut pour remarquer et inverser une mauvaise décision automatisée.
Ce dernier est sous-estimé. Un système qui a raison la plupart du temps mais qui met trois semaines à remarquer qu’il a tort peut être pire qu’un processus manuel plus lent. Nous le mesurons délibérément et nous le rapportons même lorsqu’il n’est pas flatteur, car c’est le chiffre qui prédit quelle autonomie peut être donnée au système en toute sécurité par la suite.
Les retenues sont la seule comparaison honnête
Comparer ce mois-ci au mois dernier n’est pas une preuve. La saisonnalité, l’activité des concurrents, un problème d’approvisionnement, une mention dans la presse et un changement de prix peuvent faire bouger les résultats plus que n’importe quelle optimisation. La seule comparaison qui survit à l’examen est un groupe que le système n’a pas été autorisé à toucher, fonctionnant en même temps, tiré de la même population. Cela signifie des retenues géographiques, des retenues d’audience ou une part aléatoire de campagnes ou de pages laissées délibérément non optimisées.
Les clients y résistent souvent parce qu’une retenue donne l’impression de laisser de l’argent sur la table. Notre réponse est que la retenue est l’assurance la moins chère disponible. Sans elle, un système qui cesse tranquillement de fonctionner continue de recevoir un budget pendant des mois. Avec elle, l’écart se comble visiblement et vous le découvrez en quelques semaines.
Les garde-fous appartiennent au même rapport
Les systèmes d’optimisation trouvent le chemin le plus court vers tout ce pour quoi ils sont récompensés, et le chemin le plus court est souvent quelque chose que vous ne vouliez pas. Un modèle récompensé sur le taux de conversion apprend à arrêter d’enchérir sur quiconque n’est pas familier. Un système de contenu récompensé sur le classement apprend à écrire des doublons minces. Nous publions des métriques de garde-fous à côté du titre : part des nouveaux clients, taux de retour, taux de remboursement, mélange marque vs non-marque, vérifications de l’originalité du contenu. Si un garde-fou bouge dans la mauvaise direction alors que le titre s’améliore, nous traitons cela comme une expérience ratée plutôt que comme un succès avec une mise en garde.
À quoi ressemble le bien après six mois
Une configuration de mesure mature est ennuyeuse à regarder : un titre court de résultat incrémental avec une plage de confiance, un petit ensemble de métriques de mécanisme expliquant comment le gain s’est produit, des garde-fous montrant que rien n’est cassé, et une annexe sur la santé du système. Les mêmes métriques d’optimisation AI apparaissent chaque mois dans le même ordre, ce qui rend la dérive évidente. Personne n’ajoute un nouveau graphique pour justifier un mauvais mois.
Si vous partez de zéro, la séquence est simple. Définissez la décision, choisissez le résultat, créez une retenue avant le lancement, convenez des garde-fous et fixez la méthode d’attribution par écrit. Ce travail prend une ou deux semaines et est beaucoup moins intéressant que l’optimisation elle-même, mais c’est ce qui transforme un projet pilote prometteur en un système que votre équipe financière continuera de financer. Si vous souhaitez un deuxième avis sur la mesure que vous avez déjà, nous serons heureux de l’examiner avant que vous ne vous engagiez pour un autre trimestre de dépenses.
Continuez à lire : Optimisation AI · Optimisation AI