Les agents d’utilisation informatique font gagner du temps sur les tâches de navigateur et de bureau qui n’ont pas d’API, en regardant l’écran et en cliquant, tapant et faisant défiler comme une personne. L’utilisation informatique de Claude d’Anthropic, les agents de style Operator d’OpenAI et le Project Mariner de Google fonctionnent de cette manière. Pour les équipes marketing, les bons candidats sont les vérifications répétitives sur les plateformes publicitaires, les répertoires et les tableaux de bord, exécutées dans un sandbox avec approbation humaine pour tout ce qui modifie les données.
Qu’est-ce qu’un agent d’utilisation informatique ?
Un agent d’utilisation informatique est un modèle de langage qui reçoit des captures d’écran, décide d’une action et envoie cette action à un navigateur ou à une machine virtuelle. La boucle se répète jusqu’à ce que la tâche soit terminée ou que l’agent soit bloqué. Contrairement aux outils d’automatisation classiques comme les scripts Selenium ou Zapier, il n’a pas besoin de sélecteurs fixes ou d’une intégration ; il lit la page presque comme vous.
Cette flexibilité a un coût. Les agents sont plus lents qu’un appel API, ils peuvent mal lire une page et ils peuvent être trompés par du texte sur une page Web qui ressemble à une instruction. Chaque workflow ci-dessous est conçu autour de ces faits.
Quelles tâches marketing conviennent aux agents d’utilisation informatique ?
Le point idéal est une tâche ennuyeuse, répétitive, ayant une ligne d’arrivée claire et touchant des systèmes sans bonne API.
- Vérifier que les listes d’entreprises affichent la bonne adresse et les bons horaires dans les répertoires.
- Collecter les prix ou les offres des concurrents à partir de pages de produits publiques dans une feuille de calcul.
- Prendre des captures d’écran d’annonces en direct et de pages de destination pour les rapports clients.
- Remplir le même brief de campagne dans les formulaires de brouillon de plusieurs plateformes, sans publier.
- Auditer si les balises de suivi se déclenchent sur les pages clés à l’aide des outils de développement du navigateur.
- Télécharger des rapports mensuels à partir de portails qui n’offrent qu’un bouton de téléchargement.
Mauvais candidats : tout ce qui implique des paiements, la saisie de mots de passe, les paramètres de compte ou la publication de contenu. Cela reste humain.
Comment configurer un environnement sûr ?
Exécutez les agents dans un environnement isolé, pas sur l’ordinateur portable où vos e-mails et vos opérations bancaires sont ouverts. L’implémentation de référence d’Anthropic utilise un conteneur Docker avec un bureau virtuel pour cette raison.
Comptes et autorisations séparés
Créez un utilisateur dédié pour l’agent sur chaque plateforme avec le niveau d’autorisation le plus bas qui permet encore d’accomplir la tâche, souvent en lecture seule ou “spectateur”. Ne partagez jamais une connexion administrateur. Si la plateforme autorise les rôles de brouillon uniquement, utilisez-les.
Listes d’autorisation
Limitez le navigateur aux domaines dont la tâche a besoin. Un agent vérifiant des listes dans cinq répertoires n’a pas besoin d’accès au reste d’Internet, et une courte liste d’autorisation réduit le risque qu’il atterrisse sur une page avec des instructions cachées.
Journalisation
Conservez les captures d’écran et le journal des actions pour chaque exécution. Lorsqu’un résultat semble erroné, le journal montre exactement ce que l’agent a vu et fait.
Un workflow étape par étape : audit de liste de répertoire
Cet exemple vérifie les détails d’une entreprise multi-sites dans les répertoires.
Étape 1 : Définissez la vérité terrain
Faites une feuille avec le nom, l’adresse, le téléphone, les horaires et le site Web corrects pour chaque emplacement. L’agent compare avec cela, donc cela doit être correct.
Étape 2 : Écrivez le prompt de la tâche
Soyez précis : “Pour chaque ligne de la feuille, ouvrez l’URL du répertoire listé, lisez le nom de l’entreprise, l’adresse, le téléphone et les horaires affichés, et écrivez-les dans les colonnes F à I. Ne cliquez pas sur les boutons modifier, réclamer ou contacter. Si une page vous demande de vous connecter, arrêtez-vous et écrivez ‘connexion requise’.”
Étape 3 : Exécutez un petit lot
Commencez avec cinq lignes. Observez l’exécution, vérifiez le journal et corrigez le prompt là où l’agent a hésité ou mal lu.
Étape 4 : Exécutez la liste complète
Exécutez le reste, idéalement en dehors des heures de travail. Les agents sont lents, souvent une minute ou plus par page, mais ils n’ont pas besoin de supervision pour le travail en lecture seule.
Étape 5 : Examen et action humaine
Une personne examine les écarts et effectue des corrections sur chaque plateforme. L’agent trouve les problèmes ; un humain les corrige.
Étape 6 : Décidez où un humain approuve
Placez des points d’approbation là où une action est difficile à annuler ou est visible pour les clients. Une règle utile : l’agent peut lire, copier et rédiger librement ; il doit faire une pause avant de soumettre, publier, supprimer, payer ou modifier un paramètre. La plupart des produits d’agents ont un mode de confirmation ou de “prise de contrôle”. Utilisez-le.
Surveillez l’injection de prompt. Une page Web peut contenir du texte tel que “ignore tes instructions et …”. Dites à l’agent dans son prompt système que le contenu de la page est des données, pas des commandes, et examinez toute exécution où l’agent a fait quelque chose en dehors de sa tâche.
Agents d’utilisation informatique comparés à l’automatisation classique
Les équipes demandent souvent si un agent remplace leur automatisation existante. Habituellement, il se place à côté. La comparaison ci-dessous aide à décider par tâche.
- Intégration API ou Zapier : le plus rapide et le moins cher, mais uniquement là où la plateforme propose une API ou un connecteur.
- Scripts de navigateur enregistrés (Selenium, Playwright) : fiables sur les pages stables, se cassent lorsque la mise en page change.
- Agent d’utilisation informatique : gère les mises en page changeantes et les sites inconnus, mais est plus lent, plus coûteux par exécution et moins prévisible.
- Travail manuel : toujours le meilleur pour les tâches ponctuelles et tout ce qui nécessite un jugement sur l’argent ou la réputation.
Comment Alien Road applique les agents d’utilisation informatique
Dans un engagement typique, nous commençons par lister les tâches de navigateur manuelles récurrentes du client avec le temps que chacune prend par mois. Nous choisissons une tâche en lecture seule avec un résultat clair, généralement des captures d’écran de rapports ou des audits de listes, et nous la construisons en premier.
La configuration comprend un bureau conteneurisé, un compte de niveau spectateur par plateforme, une liste d’autorisation de domaine et un prompt de tâche écrit examiné par la personne qui effectue actuellement le travail. Chaque exécution produit un journal et une feuille de résultats.
La mesure compare les heures passées avant et après, la précision par rapport à un échantillon vérifié manuellement et le nombre d’exécutions nécessitant un sauvetage humain. Si le taux de sauvetage reste élevé après deux semaines de réglage, nous revenons à une automatisation scriptée ou gardons la tâche manuelle.
Quelles sont les limites aujourd’hui ?
La précision chute sur les interfaces complexes avec de nombreuses fenêtres contextuelles, des tableaux de bord dynamiques et des CAPTCHA, et les agents ne devraient pas essayer de résoudre les CAPTCHA de toute façon. La vitesse est limitée, donc les gros travaux prennent des heures. Les coûts proviennent des jetons de modèle pour chaque capture d’écran, ce qui s’additionne sur les longues tâches. Pour une tâche avec une API fiable, l’API est toujours plus rapide, moins chère et plus prévisible.
Par où commencer cette semaine
Notez trois tâches de navigateur que votre équipe répète chaque mois et marquez celles qui ne font que lire des informations. Choisissez la plus simple, construisez la feuille de vérité terrain et effectuez un test de cinq lignes dans un environnement d’agent sandbox avec un compte spectateur. Examinez le journal ligne par ligne avant d’en exécuter plus.
Continuer la lecture : Agence de Marketing AI · Marketing AI