L’IA multimodale est un modèle capable de prendre en compte et de raisonner sur plus d’un type d’entrée, comme le texte, les images, l’audio et la vidéo, dans la même requête. Dans le travail de campagne, elle est utilisée pour auditer les créations publicitaires à grande échelle, analyser les vidéos des concurrents, transformer des captures d’écran et des PDF en données structurées, vérifier visuellement les pages de destination et rédiger des rapports combinant des graphiques et des commentaires.
Des modèles comme Gemini de Google, les modèles GPT d’OpenAI et Claude d’Anthropic acceptent tous des images en plus du texte, et certains traitent directement l’audio et la vidéo. Le changement pratique pour les marketeurs est que les tâches qui nécessitaient auparavant qu’une personne regarde chaque fichier peuvent désormais être traitées lors d’un premier passage par un logiciel, avec des personnes examinant les résultats.
Qu’est-ce qui rend le multimodal différent d’un chatbot textuel ?
Un modèle textuel ne connaît que ce que vous lui décrivez. Un modèle multimodal peut regarder la bannière réelle, écouter le spot radio ou regarder les quinze premières secondes d’une publicité vidéo. Cela élimine une étape de traduction où les détails sont souvent perdus, comme savoir si le logo est visible dans la première image ou si l’appel à l’action est lisible sur l’écran d’un téléphone.
Cela ne fait pas du modèle un juge de qualité fiable. Il peut bien décrire et vérifier des critères, mais le goût, l’adéquation à la marque et la stratégie restent des décisions humaines. La valeur réside dans une vérification cohérente et inlassable par rapport aux règles que vous définissez.
Quelles tâches de campagne en bénéficient le plus ?
- Audits créatifs : vérification de centaines d’images publicitaires pour le placement du logo, la quantité de texte en superposition, la lisibilité et les couleurs de la marque.
- Revue de publicité vidéo : noter quand la marque apparaît pour la première fois, si des sous-titres sont présents et ce qui se passe dans les secondes d’ouverture.
- Recherche sur la concurrence : résumer les messages, les offres et le style visuel à partir de captures d’écran d’annonces dans la bibliothèque publicitaire Meta ou le centre de transparence Google Ads.
- Extraction de documents : extraire des chiffres de plans médias PDF, de factures ou d’exportations de plateformes qui arrivent sous forme d’images.
- Revue de page de destination : comparer une capture d’écran à l’annonce qui la suit pour repérer une inadéquation du message.
- Vérifications d’accessibilité : rédaction de texte alternatif et signalement de texte à faible contraste dans les images.
Chaque tâche suit le même modèle : une liste de contrôle claire, un lot de fichiers, une sortie structurée dans une feuille de calcul et un humain qui examine les éléments signalés plutôt que chaque élément.
Comment Alien Road applique l’IA multimodale dans les campagnes clients
Dans un engagement typique, la découverte commence par trouver où l’équipe passe du temps à regarder des fichiers. Pour un client e-commerce diffusant des publicités Meta et Google, cela pourrait être des revues créatives hebdomadaires, des scans mensuels de la concurrence et des vérifications trimestrielles de pages de destination. Chacun devient un candidat pour un flux de travail multimodal.
Configuration
L’équipe rédige une liste de contrôle de notation pour chaque tâche avec le client, basée sur les directives de la plateforme et les règles de la marque. Par exemple, une liste de contrôle vidéo pourrait demander si la marque apparaît dans les trois premières secondes, si la vidéo fonctionne sans son et si l’offre est indiquée à l’écran. La liste de contrôle devient l’invite du modèle, et la sortie est forcée dans des colonnes fixes afin que les résultats puissent être triés et comparés.
Les fichiers sont traités via l’API du modèle plutôt que collés à la main, ce qui conserve un enregistrement des entrées et des sorties. Les données des clients restent dans des comptes avec l’entraînement désactivé selon les conditions commerciales du fournisseur.
Mesure et reporting
Avant de faire confiance au flux de travail, un échantillon est noté à la fois par une personne et par le modèle, et les deux sont comparés. Là où ils ne sont souvent pas d’accord, le libellé de la liste de contrôle est révisé. Une fois que l’accord est acceptable, le modèle gère le premier passage et les personnes n’examinent que les éléments signalés. Les rapports mensuels combinent ensuite les données de performance avec les attributs créatifs, montrant par exemple si les publicités avec sous-titres ont eu des performances différentes de celles sans sous-titres dans ce compte.
Où l’IA multimodale fait-elle des erreurs ?
Les modèles peuvent mal lire les petits textes, mal compter les objets, inventer des détails dans des images floues et décrire une vidéo à partir de seulement quelques-unes de ses images. Les longues vidéos peuvent être échantillonnées plutôt que regardées image par image, de sorte que de courts événements peuvent être manqués. Les graphiques sont un point faible connu : un modèle peut lire la valeur d’une barre de manière incorrecte tout en semblant sûr de lui.
- N’utilisez jamais de chiffres extraits dans un rapport sans les vérifier par rapport à l’exportation source.
- Demandez des références de page ou d’horodatage afin qu’un réviseur puisse vérifier rapidement.
- Gardez les listes de contrôle spécifiques ; des questions vagues telles que cette publicité est-elle bonne produisent des réponses vagues.
- Testez avec des exemples délibérément défectueux pour voir si le modèle les détecte.
À quoi devez-vous faire attention concernant la confidentialité et les droits ?
Les images et les vidéos contiennent souvent des personnes. Le téléchargement de photos de clients, de contenu généré par les utilisateurs ou d’enregistrements d’appels vers un modèle constitue un traitement de données personnelles, il nécessite donc une base juridique en vertu du RGPD ou de la KVKK et un accord de fournisseur qui le couvre. Utilisez des comptes professionnels, vérifiez les paramètres de conservation et supprimez le matériel dont vous n’avez pas besoin avant de le télécharger.
Les créations des concurrents peuvent être analysées pour la recherche, mais leur réutilisation dans votre propre production ne l’est pas. Gardez les notes d’analyse séparées de la production créative.
Combien coûte l’exécution d’un flux de travail multimodal ?
Les entrées d’image et de vidéo sont facturées sous forme de jetons, et elles s’additionnent plus rapidement que le texte. Une seule image haute résolution peut compter pour des centaines ou plus d’un millier de jetons selon le fournisseur et les paramètres, et la vidéo est généralement traitée sous forme d’images échantillonnées plus l’audio. Pour un audit créatif de quelques centaines d’images par mois, les coûts sont généralement modestes, mais les longues vidéos traitées chaque semaine méritent d’abord une estimation rapide.
Réduisez les coûts en redimensionnant les images à la résolution dont la liste de contrôle a réellement besoin, en coupant les vidéos à la section en cours de révision et en utilisant le traitement par lots là où le fournisseur le propose à prix réduit. Stockez les résultats afin que les créations inchangées ne soient pas analysées deux fois. Définissez une alerte de dépenses mensuelles dans le tableau de bord du fournisseur avant que le flux de travail ne s’exécute sans surveillance.
Par où commencer cette semaine
Choisissez une tâche de révision que votre équipe répète et notez-la sous forme de liste de contrôle de cinq à huit questions par oui ou par non. Exécutez vingt créations passées via un modèle multimodal avec cette liste de contrôle et comparez les réponses avec votre propre jugement.
- Choisissez la tâche : audit créatif, revue vidéo ou scan de la concurrence.
- Rédigez la liste de contrôle en langage simple.
- Utilisez un compte professionnel avec l’entraînement désactivé.
- Notez vingt éléments manuellement et par modèle, puis comparez.
- Ajustez la liste de contrôle et répétez jusqu’à ce que les désaccords soient rares et explicables.
Si le modèle est d’accord avec vous sur la plupart des éléments et que les désaccords vous apprennent quelque chose, vous avez un flux de travail qui vaut la peine d’être mis à l’échelle. Sinon, la liste de contrôle nécessite généralement des questions plus précises avant que le modèle ne doive être remplacé.
Continuer la lecture : Optimisation par IA · Optimisation par IA