Le prompt engineering se mesure en comparant les résultats de différents prompts par rapport à un ensemble fixe d’entrées de test et en les notant sur la qualité, le coût et le temps humain nécessaire pour les corriger. Sans ce jeu d’évaluation, les équipes modifient les prompts sur la base d’un seul bon ou mauvais exemple et ne peuvent pas dire si le changement a aidé ou a empiré les choses en moyenne.
Les équipes marketing utilisent désormais des prompts pour les textes publicitaires, les descriptions de produits, les méta-descriptions, les variantes d’e-mails et les résumés de rapports. Chaque prompt est un petit logiciel. Il mérite la même discipline : versions, tests et tableau de bord.
Pourquoi le travail sur les prompts est-il si difficile à mesurer ?
Les modèles de langage ne sont pas déterministes en pratique. Le même prompt peut donner une réponse forte le lundi et une faible le mardi, surtout avec des réglages de température plus élevés. Une seule comparaison ne vous dit presque rien.
Le résultat marketing n’a pas non plus de réponse unique correcte. Deux titres peuvent tous deux être bons. Cela pousse les équipes vers des jugements vagues comme « le nouveau prompt semble meilleur », que personne ne peut auditer plus tard.
Construisez d’abord un jeu d’évaluation
Un jeu d’évaluation est une liste fixe d’entrées qui représentent le travail réel. Pour un prompt de description de produit, cela pourrait être 50 produits dans toutes les catégories, y compris les plus difficiles avec des attributs manquants. Pour un prompt de texte publicitaire, cela pourrait être 30 briefs avec des audiences et des limites de caractères différentes.
- Incluez des cas faciles, typiques et difficiles dans des proportions à peu près réalistes
- Écrivez ce qu’un bon résultat doit contenir pour chaque cas (faits, longueur, ton)
- Gardez le jeu figé pendant un trimestre afin que les résultats restent comparables
- Ajoutez de nouveaux cas lorsqu’une défaillance de production montre une lacune, et notez pourquoi
Stockez le jeu dans une feuille de calcul ou un outil tel que Promptfoo, LangSmith ou Braintrust. L’outil importe moins que l’habitude d’exécuter chaque version de prompt par rapport aux mêmes entrées.
Quels KPI un tableau de bord de prompts devrait-il afficher ?
Regroupez les métriques en trois niveaux : qualité du résultat, coût opérationnel et effet commercial. Les deux premiers peuvent être mesurés le jour même. Le troisième prend des semaines.
Qualité du résultat
- Taux de réussite sur des règles strictes : limites de caractères, mots-clés requis, affirmations interdites, langue correcte
- Score de rubrique par des évaluateurs humains sur une échelle de 1 à 5 pour la précision, la clarté et l’adéquation à la marque
- Score noté par modèle, où un second modèle vérifie les résultats par rapport à la rubrique, calibré par rapport aux scores humains
- Taux d’erreur factuelle : part des résultats contenant une affirmation non étayée par l’entrée
Coût opérationnel
- Jetons et coût API par résultat accepté, pas par appel
- Temps d’édition : minutes qu’une personne passe à corriger un résultat avant qu’il ne puisse être publié
- Taux de rejet : résultats entièrement jetés
- Latence, si le prompt s’exécute dans un outil en direct
Le temps d’édition est souvent le chiffre le plus honnête. Un prompt qui produit des résultats bon marché qui prennent dix minutes à corriger est plus cher qu’un prompt plus long dont les résultats nécessitent une minute.
Effet commercial
Lorsque les résultats sont mis en ligne, connectez-les aux métriques de la plateforme qu’ils sont censés faire bouger : taux de clics pour les textes publicitaires, CTR organique dans la Search Console pour les méta-descriptions, taux de conversion pour les pages produits. Utilisez des tests appropriés lorsque cela est possible, comme des expériences Google Ads ou des tests A/B sur votre plateforme d’e-mailing, car la saisonnalité masque les petites différences.
Comment comparer équitablement deux versions de prompt ?
Exécutez les deux versions sur le jeu d’évaluation complet, plusieurs fois chacune si la température est supérieure à zéro. Comparez les moyennes et la dispersion. Un prompt qui obtient un score légèrement plus élevé en moyenne mais produit des catastrophes occasionnelles peut être pire pour la production.
Changez une chose à la fois. Si vous réécrivez les instructions, ajoutez des exemples et changez de modèle en une seule fois, vous ne saurez pas quel changement a compté. Enregistrez chaque version avec une courte note : ce qui a changé et pourquoi.
Une mise en page simple de tableau de bord
Un tableau de bord Looker Studio ou Google Sheets suffit généralement. Une ligne par version de prompt, avec des colonnes pour la date d’évaluation, le modèle, le taux de réussite, le score moyen de rubrique, le coût par résultat accepté, le temps d’édition médian et, le cas échéant, la métrique de performance en direct. Ajoutez un graphique du temps d’édition au fil des versions ; il montre si le travail porte ses fruits.
Gardez un deuxième onglet pour les échecs : résultats de production réels qui étaient faux, avec l’entrée et la raison. Ceux-ci deviennent de nouveaux cas d’évaluation et sont la meilleure source d’amélioration des prompts.
Comment Alien Road applique la mesure du prompt engineering
Dans une mission typique, notre équipe commence par lister chaque prompt que l’équipe marketing d’un client utilise déjà, souvent dispersé dans des chats ChatGPT personnels et des documents partagés. Nous déplaçons ceux qui produisent du contenu publié vers le contrôle de version et choisissons les trois avec le volume le plus élevé pour la mesure.
Pour chacun, nous construisons un jeu d’évaluation à partir du travail passé du client, convenons d’une rubrique avec les personnes qui approuvent le contenu et mesurons le prompt actuel comme ligne de base. Les changements sont testés par rapport à cette ligne de base avant de remplacer quoi que ce soit en production.
Les rapports sont mensuels et courts : quelles versions de prompt ont bougé, ce que cela a fait au temps d’édition et au coût, et ce que les métriques en direct ont montré. Lorsqu’un changement n’améliore pas les chiffres, nous le disons et nous revenons en arrière.
Qui devrait posséder les prompts dans une équipe marketing ?
Les prompts qui produisent du contenu publié ont besoin d’un propriétaire, tout comme les modèles ou les directives de marque. Dans les petites équipes, c’est généralement le responsable de contenu. Dans les plus grandes, une personne chargée des opérations marketing tient une bibliothèque de prompts avec les versions, les résultats d’évaluation pour chacun et des notes sur le modèle avec lequel il a été testé.
Les mises à jour de modèles sont la raison pour laquelle cela compte. Lorsqu’un fournisseur publie un nouveau modèle ou modifie une valeur par défaut, les prompts qui fonctionnaient peuvent se comporter différemment. Un propriétaire avec un jeu d’évaluation peut le relancer en une heure et savoir si quelque chose a cassé, au lieu de le découvrir par des plaintes de clients.
Erreurs qui rendent les chiffres dénués de sens
- Tester sur les cinq mêmes exemples utilisés pour écrire le prompt
- Laisser un modèle noter les résultats sans vérifier ses scores par rapport à des évaluateurs humains
- Compter le coût API par appel au lieu de par résultat accepté
- Changer le jeu d’évaluation chaque semaine, ce qui casse les comparaisons
Par où commencer cette semaine
Choisissez le prompt que votre équipe exécute le plus souvent. Tirez 30 entrées réelles, écrivez une définition d’une ligne d’un bon résultat pour chacune et chronométrez le temps qu’une personne passe à éditer les résultats actuels. Ce chiffre de base unique, minutes d’édition par résultat, donne à chaque futur changement de prompt quelque chose de concret à battre.
Continuer la lecture : Agence marketing IA · AI Marketing