Les agents d’utilisation d’ordinateur sont des modèles d’IA qui utilisent un écran comme le fait une personne : ils regardent des captures d’écran, déplacent un curseur, cliquent sur des boutons et tapent. Passez-y lorsqu’une tâche réside dans un logiciel sans API et change trop souvent pour un script fixe. Restez avec les outils traditionnels, tels que les intégrations, les API et les scripts planifiés, lorsque la tâche est stable, à haut volume ou touche à l’argent et aux données des clients.
La catégorie est devenue largement visible lorsque Anthropic a lancé l’utilisation d’ordinateur pour Claude fin 2024, suivie par Operator d’OpenAI et son agent d’utilisation d’ordinateur, le Project Mariner de Google et un certain nombre de frameworks d’agents de navigateur. La conception commune est une boucle : le modèle reçoit une capture d’écran, décide d’une action, l’action s’exécute et une nouvelle capture d’écran revient.
C’est vraiment nouveau, mais c’est aussi lent et imparfait par rapport à l’intégration logicielle directe. La question utile n’est pas de savoir si les agents sont impressionnants, mais où ils remplacent quelque chose de pire.
Que font mieux les outils traditionnels ?
Un appel API qui met à jour un budget Google Ads prend une fraction de seconde et réussit ou renvoie une erreur claire. Un agent d’utilisation d’ordinateur faisant le même travail ouvre l’interface, trouve la campagne, clique sur le champ de budget et tape un nombre, ce qui prend beaucoup plus de temps et peut échouer de manière subtile, par exemple en modifiant la mauvaise campagne avec un nom similaire.
L’automatisation traditionnelle dispose également d’outils matures. Zapier, Make et n8n gèrent les déclencheurs, les tentatives et les journaux. Les outils d’automatisation des processus robotisés comme UiPath fonctionnent à partir de sélecteurs définis qui ne devinent pas. Les scripts planifiés peuvent être examinés ligne par ligne.
- Vitesse : les API et les scripts sont des ordres de grandeur plus rapides.
- Coût : un agent brûle des jetons de modèle à chaque capture d’écran ; un script ne coûte presque rien par exécution.
- Prévisibilité : la même entrée donne la même sortie.
- Auditabilité : les journaux montrent exactement ce qui a changé.
Où les agents d’utilisation d’ordinateur gagnent-ils ?
Ils gagnent dans les lacunes. De nombreuses tâches marketing touchent des outils sans API, avec une API limitée ou une API qui n’est incluse que dans le niveau entreprise du fournisseur. Les exemples incluent les anciens panneaux CMS, les réseaux publicitaires régionaux, les listes d’annuaires, les portails de fournisseurs et certains centres de vendeurs de marché.
Ils gagnent également lorsque l’interface change souvent ou que la tâche varie. Un script se casse lorsqu’un bouton bouge ; un agent peut généralement le retrouver. Une tâche de recherche telle que « vérifiez les pages de prix de ces douze concurrents et notez tout changement de plan » varie selon le site et est fastidieuse pour les personnes, ce qui en fait un travail d’agent raisonnable.
Enfin, ils sont utiles pour des travaux ponctuels ou à faible fréquence, où la construction d’une intégration prendrait plus de temps que la tâche elle-même.
Quels sont les risques de changer ?
Les agents peuvent être induits en erreur par ce qu’ils lisent. Une page Web contenant des instructions cachées, une technique appelée injection de prompt, peut tenter de rediriger l’agent. Les fournisseurs ajoutent des garanties, mais le risque est suffisamment réel pour que les agents ne doivent pas détenir d’identifiants pour les systèmes de paiement ni agir sur des sites non approuvés sans supervision.
Ils commettent également des erreurs plausibles. Cliquer sur « Dupliquer » au lieu de « Modifier », accepter une bannière de cookies qui devrait être refusée ou enregistrer un formulaire à moitié rempli sont typiques. Comme chaque exécution diffère légèrement, une erreur peut ne pas se répéter lors des tests et se produire quand même en production.
Comment décidez-vous, tâche par tâche ?
Une liste de décision simple fonctionne pour la plupart des équipes.
- Existe-t-il une API fiable ou une intégration native ? Utilisez-la.
- La tâche est-elle identique à chaque fois et exécutée souvent ? Script-la ou utilisez RPA.
- Implique-t-elle des paiements, la suppression de données ou l’envoi de messages aux clients ? Gardez un humain dans la boucle ou évitez les agents.
- Cela arrive rarement, varie à chaque fois et vit dans une interface sans API ? Un agent supervisé est un bon candidat.
- Pouvez-vous vérifier le résultat à moindre coût par la suite ? Sinon, ne l’automatisez pas encore avec un agent.
À quoi ressemble une configuration hybride ?
Le modèle le plus pratique n’est pas l’agent ou l’outil, mais l’agent plus l’outil. Un flux de travail n8n planifié extrait les dépenses d’hier des API publicitaires, et seul le réseau régional sans API est confié à un agent, qui se connecte, exporte un CSV et le dépose dans un dossier partagé. Le flux de travail récupère ensuite le fichier et le fusionne avec le reste.
Cela maintient le travail de l’agent petit et vérifiable. Si l’exportation est manquante ou si le fichier a les mauvaises colonnes, le flux de travail le signale au lieu de signaler silencieusement une lacune. L’agent ne touche jamais aux budgets ou aux campagnes ; il ne récupère que des données qu’une personne pourrait récupérer en deux minutes.
Comment Alien Road applique les agents d’utilisation d’ordinateur
Dans un engagement typique, nous commençons par un audit de temps. L’équipe du client liste le travail d’écran répétitif qu’elle effectue chaque semaine, avec une estimation des minutes par tâche et la fréquence à laquelle cela se produit. Nous marquons ensuite chaque tâche avec la liste de décision ci-dessus.
La plupart des tâches se terminent avec des outils traditionnels. Les rapports sont extraits de l’API Google Ads, de l’API Meta Marketing et de l’API de données GA4 ; les mises à jour CRM passent par des intégrations natives ou n8n. Les agents sont réservés au reste, comme les vérifications de pages concurrentes, les audits de listes d’annuaires ou la collecte de données à partir de portails sans options d’exportation.
La configuration maintient les agents dans un profil de navigateur sandbox avec un accès en lecture seule si possible, sans détails de paiement enregistrés et avec une liste de sites autorisés. Chaque exécution produit un court journal et des captures d’écran des étapes clés. Pour les tâches qui écrivent quelque chose, l’agent prépare le changement et une personne l’approuve avant qu’il ne soit enregistré.
La mesure compare les minutes économisées par rapport aux minutes de révision ajoutées et aux coûts d’exécution. Si le temps de révision consomme la majeure partie de l’économie après un mois, la tâche revient à une personne ou obtient une intégration appropriée.
Par où commencer cette semaine
Listez cinq tâches d’écran que votre équipe répète et notez si chaque outil a une API. Pour toute tâche sans API, exécutez un agent supervisé une fois pendant que quelqu’un observe toute la session, et notez chaque étape où il a hésité ou fait un mauvais choix.
Cette seule exécution observée vous en dit plus que n’importe quelle démo. Si l’agent a eu besoin d’aide trois fois, la tâche n’est pas prête. S’il a terminé proprement et que le résultat était facile à vérifier, planifiez une deuxième exécution supervisée la semaine prochaine avant de le laisser fonctionner seul.
Continuez à lire : Agence de marketing IA · Marketing IA