Les agents d’utilisation informatique sont des modèles d’IA qui utilisent un ordinateur ou un navigateur comme le ferait une personne : ils regardent l’écran, déplacent le curseur, cliquent, tapent et lisent le résultat. L’utilisation informatique de Claude d’Anthropic, Operator d’OpenAI et le mode agent dans ChatGPT, ainsi que Project Mariner de Google en sont des exemples. Alien Road les utilise pour des vérifications répétitives sur des sites web et des plateformes publicitaires, toujours avec des autorisations limitées et une approbation humaine pour les changements.
Ils sont utiles car de nombreux outils marketing manquent d’une API pour la tâche dont vous avez besoin, ou l’API ne montre pas ce qu’un client voit. Un agent qui utilise l’interface peut combler cette lacune.
Comment fonctionnent les agents d’utilisation informatique ?
L’agent reçoit un objectif en langage clair. Il prend une capture d’écran, décide de l’action suivante, l’exécute via des commandes de souris et de clavier, prend une autre capture d’écran et répète. Certains s’exécutent dans un navigateur cloud fourni par le fournisseur ; d’autres s’exécutent dans une machine virtuelle ou un conteneur que vous contrôlez.
Cette boucle est plus lente qu’un appel API et moins prévisible. Une page qui se charge tard, une fenêtre contextuelle ou un changement de mise en page peuvent envoyer l’agent sur la mauvaise voie. C’est pourquoi le choix de la tâche et la supervision sont importants.
Quelles tâches de campagne conviennent aux agents d’utilisation informatique ?
- QA de page de destination : remplir des formulaires avec des données de test, vérifier les pages de confirmation et les événements de remerciement
- Vérifier comment les publicités et les listes de produits apparaissent dans les résultats de recherche et les places de marché à partir d’une session propre
- Surveillance des concurrents : visiter les pages de tarification et noter les changements
- Collecter des données à partir d’écrans de plateforme qui n’ont pas d’option d’exportation
- Parcourir un processus de paiement pour trouver des étapes cassées après une mise à jour du site
Toutes ces tâches sont principalement des tâches de lecture avec un résultat qu’une personne peut vérifier. Les tâches qui dépensent de l’argent, publient du contenu ou envoient des messages restent avec des personnes ou passent par des API avec des limites strictes.
Pourquoi ne pas simplement utiliser une API ou un script ?
Là où une API existe et couvre la tâche, c’est le meilleur choix : plus rapide, moins cher et plus facile à journaliser. L’automatisation de navigateur traditionnelle avec Playwright ou Selenium est également plus fiable pour les flux fixes et répétés.
Les agents d’utilisation informatique gagnent leur place là où le flux change souvent, où un script se casserait à chaque refonte, ou où la tâche nécessite du jugement, comme décider si une page semble cassée sur mobile. En pratique, nous utilisons souvent un agent pour explorer un flux et un script pour le répéter une fois qu’il est stable.
Comment Alien Road applique les agents d’utilisation informatique
Découverte
Dans un engagement typique, notre équipe liste les vérifications manuelles que les équipes marketing et web du client effectuent chaque semaine, avec le temps passé et la fréquence à laquelle les erreurs sont détectées tardivement. Les bons candidats sont des tâches ennuyeuses, régulières et visuelles : quelqu’un qui clique sur des formulaires après chaque version, ou qui prend des captures d’écran des pages des concurrents chaque lundi.
Configuration
Les agents s’exécutent dans un environnement de navigateur isolé avec des comptes de test, jamais avec les identifiants personnels du client. Ils n’obtiennent que l’accès dont la tâche a besoin, généralement un site de staging ou des vues en lecture seule. Nous écrivons la tâche comme une courte liste de contrôle avec des conditions d’arrêt explicites : arrêter et signaler si une connexion est requise, si une étape de paiement apparaît ou si la page demande des données personnelles.
Supervision
Chaque exécution est enregistrée sous forme de captures d’écran et d’un journal d’actions. Pendant les premières semaines, une personne examine entièrement chaque exécution. Une fois que les résultats correspondent systématiquement aux vérifications manuelles, l’examen passe aux exceptions : les exécutions qui ont signalé un problème ou se sont comportées de manière inhabituelle.
Rapports
Les rapports mensuels montrent les exécutions terminées, les problèmes trouvés et confirmés, les fausses alertes, le temps économisé par rapport aux vérifications manuelles et le coût d’exécution. Un formulaire cassé trouvé le lendemain matin d’une version, avant que le trafic payant ne l’atteigne, est le type de résultat qui justifie la configuration.
Quels sont les risques ?
- Injection de prompt : une page web peut contenir du texte qui tente de donner des instructions à l’agent
- Clics erronés : un agent peut soumettre un formulaire ou accepter des conditions qu’il ne devrait pas
- Exposition de données : les captures d’écran peuvent capturer des données personnelles ou confidentielles
- Conditions d’utilisation : certains sites interdisent l’accès automatisé
- Coût et vitesse : les tâches longues utilisent de nombreux appels de modèle
Nos contrôles traitent chacun d’eux : le contenu de la page est traité comme des données, les actions irréversibles nécessitent une approbation humaine, les environnements utilisent des données de test, nous respectons les règles des robots et les conditions du site, et les exécutions ont des limites de pas et de coûts.
Qu’est-ce que cela signifie pour votre site web ?
Les agents d’utilisation informatique visitent également des sites web au nom des utilisateurs, par exemple pour comparer des produits ou réserver des services. Les pages avec des étiquettes claires sur les boutons et les champs de formulaire, des contrôles HTML standard et sans fenêtres contextuelles inutiles sont plus faciles à utiliser pour ces agents, tout comme elles le sont pour les lecteurs d’écran. Le travail d’accessibilité et la convivialité pour les agents se chevauchent fortement.
Comment les agents d’utilisation informatique se comparent-ils à l’automatisation de navigateur ?
- Scripts (Playwright, Selenium) : rapides, bon marché, répétables ; se cassent lorsque la mise en page de la page change
- Agents d’utilisation informatique : s’adaptent aux changements et gèrent le jugement ; plus lents, coûtent plus cher par exécution, moins prévisibles
- API : les plus fiables et les moins chères là où elles existent ; ne couvrent que ce que le fournisseur expose
- Vérifications manuelles : meilleur jugement ; coûteuses et faciles à ignorer pendant les semaines chargées
Une configuration sensée utilise les quatre. API pour les données, scripts pour les flux stables, agents pour les vérifications changeantes ou nécessitant beaucoup de jugement, et personnes pour les décisions et tout ce qui est irréversible.
Que contient un bon brief de tâche d’agent ?
Les agents suivent les instructions à la lettre et comblent les lacunes avec des suppositions. Un brief qui fonctionne liste l’URL de départ, les étapes exactes, à quoi ressemble le succès à chaque étape, quelles données utiliser et quand s’arrêter. Il indique également ce que l’agent ne doit jamais faire : soumettre des paiements réels, accepter des conditions, modifier les paramètres du compte ou envoyer des messages.
Les briefs courts avec des étapes numérotées surpassent les longs et conversationnels. Lorsqu’une exécution échoue, le journal montre quelle étape a mal tourné, et le brief est mis à jour uniquement pour cette étape.
Par où commencer cette semaine
Notez chaque étape de votre formulaire de lead principal ou de votre processus de paiement sous forme de liste numérotée, y compris la confirmation attendue. Parcourez-le vous-même sur mobile et ordinateur et chronométrez-le. Cette liste est le brief pour un premier test d’agent, et le chronométrer montre combien d’heures par semaine de QA manuel un agent pourrait remplacer.
Commencez par une tâche et un site. S’étendre à plusieurs clients ou flux avant que le premier ne soit stable multiplie le travail de révision et cache quel brief cause des échecs.
Continuez à lire : Agence de Marketing AI · Marketing AI