L’IA multimodale fait référence à des modèles qui comprennent et produisent plus d’un type de données, comme le texte, les images, l’audio et la vidéo, au sein d’un seul système. Les exemples incluent GPT-4o, Gemini et Claude avec entrée de vision. Prouver leur valeur signifie mesurer la précision de la tâche sur des entrées réelles, le temps de révision humaine, le coût par sortie et le résultat commercial que la tâche soutient, et non à quel point une démo semble impressionnante.
Qu’est-ce qui compte comme IA multimodale dans le travail marketing ?
La plupart des modèles de pointe actuels acceptent des images en plus du texte, et plusieurs gèrent l’audio et la vidéo. En marketing, les tâches courantes incluent la lecture de captures d’écran de tableaux de bord publicitaires, l’écriture de texte alternatif et de descriptions de produits à partir de photos, la vérification des créations par rapport aux règles de la marque, la transcription et le résumé de vidéos, et l’extraction de données à partir de PDF ou de documents numérisés.
La génération est également multimodale : modèles d’image, synthèse vocale et génération vidéo. Mesurer la génération et la compréhension nécessite des mesures légèrement différentes, alors séparez-les dès le début.
Pourquoi la mesure est-elle plus difficile qu’avec l’IA textuelle uniquement ?
Les sorties textuelles peuvent être comparées assez facilement avec des réponses de référence. Les tâches multimodales manquent souvent d’une seule bonne réponse. Deux bons textes alternatifs pour la même photo peuvent partager peu de mots. Une image qui suit le guide de marque peut toujours manquer l’intention créative.
Les entrées varient également davantage. Les photos floues, les angles inhabituels, les graphiques denses et la parole accentuée affectent tous la précision. Un modèle qui fonctionne bien sur des exemples propres peut avoir du mal avec les fichiers désordonnés que votre équipe télécharge réellement.
Quels KPI devez-vous suivre ?
Choisissez quelques mesures par famille de tâches et gardez-les stables dans le temps.
Pour les tâches de compréhension
- Précision par rapport à un échantillon révisé, noté avec une rubrique telle que correct, modification mineure, modification majeure, incorrect.
- Précision d’extraction au niveau du champ pour les documents : part des champs corrects.
- Taux d’hallucination : part des sorties décrivant quelque chose qui n’est pas présent dans l’entrée.
- Temps de révision humaine par élément, mesuré avec un minuteur lors des contrôles ponctuels.
Pour les tâches de génération
- Taux d’approbation au premier passage : part des sorties approuvées sans modification.
- Itérations par actif approuvé.
- Problèmes de conformité à la marque trouvés par lot.
- Performance des actifs publiés, comme le taux de clics dans les publicités, par rapport à la méthode précédente.
Coût et vitesse
Suivez le coût par élément terminé, y compris les tentatives, et le délai d’exécution de la demande à la sortie approuvée. Les images et l’audio peuvent coûter beaucoup plus cher par appel que le texte, donc le coût par élément surprend souvent les équipes.
Comment construire un jeu de test pour les images et la vidéo ?
Collectez des entrées réelles, pas des exemples de stock. Un bon jeu de test comprend les cas faciles, les cas typiques et les cas gênants. Pour une tâche de description de produit, cela signifie des prises de vue en studio, des photos d’utilisateurs, des articles avec du texte sur l’emballage et des articles photographiés sur des arrière-plans chargés.
Visez au moins 100 éléments par tâche. Faites en sorte que deux personnes s’accordent sur ce que contient une sortie acceptable, et écrivez-le sous forme de liste de contrôle plutôt que comme une réponse parfaite. Les listes de contrôle conviennent mieux aux tâches multimodales que les références exactes.
Que doit montrer le tableau de bord ?
Gardez-le sur un seul écran par famille de tâches :
- Tendance hebdomadaire de la précision ou de l’approbation au premier passage.
- Nombre d’hallucinations, avec des liens vers des exemples.
- Temps de révision humaine médian par élément.
- Coût par élément et dépenses totales.
- Volume traité.
- Une mesure commerciale, telle que les pages de produits publiées par semaine ou les variantes publicitaires testées.
Les liens vers des exemples sont importants. Un chiffre seul ne dit pas à un réviseur ce qui a échoué ; trois mauvais exemples le font généralement. Stockez ces exemples dans un dossier partagé avec la date et la version du modèle, afin que l’historique des échecs reste disponible après que les chiffres du tableau de bord aient évolué.
Comment comparer les modèles équitablement ?
Exécutez le même jeu de test à travers chaque candidat avec les mêmes instructions. Notez à l’aveugle si vous le pouvez, avec des réviseurs ne sachant pas quel modèle a produit quelle sortie. Notez que les paramètres de résolution d’image, que certaines API exposent, modifient à la fois la précision et le coût.
Répétez la comparaison lorsque les modèles sont mis à jour. Les fournisseurs publient souvent de nouvelles versions, et le classement entre eux sur votre tâche spécifique peut changer.
Comment Alien Road applique la mesure de l’IA multimodale
Dans un engagement typique, la découverte répertorie chaque tâche où le personnel regarde des images, des documents, de l’audio ou de la vidéo et écrit quelque chose à ce sujet. Les descriptions de catalogues de produits, les vérifications créatives par rapport aux guides de marque et les transcriptions vidéo sont des candidats fréquents.
La configuration construit un jeu de test pour chaque tâche choisie à partir des propres fichiers du client, définit la liste de contrôle de notation avec son équipe et compare deux ou trois modèles dessus. Le flux de travail choisi s’exécute avec une révision humaine sur chaque sortie au début, et des contrôles ponctuels plus tard une fois que la précision est stable.
La mesure utilise le tableau de bord ci-dessus. Par exemple, un rapport mensuel pourrait montrer le temps de révision par description de produit, le taux d’approbation au premier passage et le coût par description, à côté du nombre de pages de produits publiées. Lorsque la précision baisse, le rapport lie les exemples échoués afin que le client puisse voir la cause, souvent un nouveau type d’entrée que le jeu de test n’incluait pas.
Quels pièges faussent les chiffres ?
Surveillez ceux-ci :
- Tester sur des échantillons propres et déployer sur des téléchargements désordonnés.
- Compter le temps économisé sans compter le temps de révision.
- Ignorer les hallucinations parce que la sortie se lit bien.
- Changer les invites et les modèles en même temps, de sorte que vous ne puissiez pas dire ce qui a aidé.
- Mesurer le volume de sortie sans résultat commercial attaché.
Qui devrait posséder la mesure ?
Assignez une personne par famille de tâches pour posséder les chiffres. Leur travail est petit mais régulier : effectuez le contrôle ponctuel hebdomadaire, mettez à jour le jeu de test lorsqu’un nouveau type d’échec apparaît, et notez tout changement d’invite ou de modèle dans un journal des modifications à côté du tableau de bord.
Sans propriétaire nommé, le tableau de bord est construit une fois et abandonné. Le journal des modifications est particulièrement utile. Lorsque la précision baisse, la première question est toujours ce qui a changé, et une liste datée des modifications y répond rapidement. Cela aide également lors de la présentation des résultats à la direction, car vous pouvez montrer quels ajustements ont amélioré la précision et lesquels ne l’ont pas fait.
Par où commencer cette semaine
Choisissez une tâche où votre équipe décrit des images ou des documents par écrit, comme du texte alternatif pour un catalogue de produits. Tirez 100 éléments réels, écrivez une courte liste de contrôle d’acceptation et exécutez-les à travers deux modèles multimodaux. Chronométrez le temps qu’il faut à un réviseur pour approuver ou corriger chaque sortie. La précision, le temps de révision et le coût par élément de ce seul test vous diront si un déploiement plus large en vaut la peine.
Continuer la lecture : Optimisation par IA · Optimisation par IA