Les agents d’utilisation d’ordinateur sont des systèmes d’IA qui utilisent un ordinateur comme le ferait une personne : ils regardent l’écran, déplacent le curseur, cliquent sur des boutons et tapent dans des champs. Pour les marketeurs, ils peuvent gérer des tâches dans des outils qui n’ont pas d’API, comme remplir des listes d’annuaires, collecter des données à partir de tableaux de bord ou vérifier des publicités sur de nombreux comptes, bien qu’ils soient encore plus lents et moins fiables que les humains pour la plupart des travaux.
Plusieurs fournisseurs offrent cette capacité. Anthropic a publié l’utilisation d’ordinateur pour Claude en 2024, OpenAI propose un agent qui utilise son propre navigateur dans ChatGPT, et Google a montré des agents de navigateur basés sur Gemini. Les extensions de navigateur et les applications de bureau enveloppent de plus en plus ces modèles dans des outils que les non-développeurs peuvent utiliser.
Comment fonctionnent les agents d’utilisation d’ordinateur ?
Le modèle reçoit une capture d’écran de l’écran, décide quoi faire ensuite et envoie une action telle que “cliquer à cette position” ou “taper ce texte”. Une nouvelle capture d’écran suit, et la boucle se répète jusqu’à ce que la tâche soit terminée ou que l’agent abandonne.
Comme l’agent travaille via l’interface visuelle, il peut en principe utiliser n’importe quel logiciel qu’une personne peut utiliser. C’est là tout l’intérêt. Certains produits sautent les captures d’écran sur les pages Web et lisent directement la structure de la page, ce qui est plus rapide et plus précis, mais l’idée est la même : l’agent agit via l’interface qu’un humain verrait. C’est aussi la faiblesse : les interfaces changent, des pop-ups apparaissent et un bouton déplacé de dix pixels peut casser une étape qui fonctionnait hier.
Où les marketeurs peuvent-ils les utiliser ?
Les meilleures utilisations sont les tâches répétitives dans des outils sans bonnes intégrations, où une erreur est facile à repérer et peu coûteuse à corriger.
- Collecte de mesures à partir de tableaux de bord qui n’ont pas d’exportation ou d’API
- Vérification que les publicités, les pages de destination et les balises de suivi s’affichent correctement sur de nombreuses pages
- Remplissage des listes d’annuaires professionnels et maintien de la cohérence des détails NAP pour le SEO local
- Recherche sur les pages publiques, les tableaux de prix et les listes de produits des concurrents
- Test des formulaires de site Web et des flux de paiement dans des environnements de staging
- Prise de captures d’écran des résultats de recherche ou des profils sociaux pour les rapports
En quoi est-ce différent d’une intégration API ?
Une intégration API communique directement avec le logiciel, avec des données structurées, et est rapide et prévisible. L’utilisation d’ordinateur imite une personne et est lente en comparaison, chaque étape prenant des secondes.
Utilisez une API ou un outil comme Zapier ou Make chaque fois qu’il en existe un. De nombreuses plateformes qui semblent fermées ont une fonction d’exportation ou une API de rapport cachée dans leurs paramètres, alors vérifiez la documentation avant de supposer que l’écran est le seul moyen d’entrer. L’utilisation d’ordinateur comble les lacunes : systèmes hérités, petits fournisseurs sans intégrations et tâches qui couvrent plusieurs sites avec des mises en page différentes. Pour une tâche que vous exécutez toutes les heures sur dix mille éléments, c’est le mauvais outil.
Quelles sont les limites actuelles ?
La précision diminue sur les tâches longues. Chaque clic comporte un risque d’erreur, et les erreurs se cumulent. Les agents peuvent mal lire un petit texte, cliquer sur la mauvaise ligne dans un tableau dense ou remplir un champ avec la bonne valeur au mauvais endroit.
Ils ont également du mal avec les choses conçues pour arrêter les bots. Les CAPTCHA, les flux de connexion inhabituels et l’authentification à deux facteurs nécessitent généralement une personne, et de nombreux fournisseurs demandent à leurs agents de ne pas contourner ces vérifications du tout. Les sites peuvent également interdire l’accès automatisé dans leurs conditions d’utilisation, ce qui vaut la peine d’être vérifié avant d’automatiser quoi que ce soit sur un site tiers.
Points de défaillance typiques
- Bannières de cookies et pop-ups couvrant la page
- Défilement infini et chargement différé qui cachent le contenu
- Sélecteurs de date et menus déroulants personnalisés
- Délais d’expiration de session lors de tâches longues
- Pages dans une langue que les instructions ne prévoyaient pas
Quelles règles de sécurité doivent s’appliquer ?
Les agents d’utilisation d’ordinateur voient tout ce qui est à l’écran et peuvent faire tout ce que l’utilisateur connecté peut faire. Cela les rend puissants et risqués dans la même mesure.
Exécutez-les dans un profil de navigateur séparé ou une machine virtuelle avec uniquement les comptes nécessaires à la tâche. Ne les laissez pas utiliser un navigateur où votre e-mail, vos opérations bancaires et vos panneaux d’administration sont tous connectés. Ne leur donnez jamais de mots de passe en texte clair ; connectez-vous vous-même, puis passez la main. Surveillez l’injection de prompts, où une page Web contient des instructions cachées visant l’agent, et gardez une personne dans la boucle pour toute action qui envoie, publie, achète ou supprime.
Comment mener un projet pilote ?
Choisissez une tâche avec une fin claire, un résultat correct connu et un faible coût d’erreur. Collecter les prix publics de cinq sites concurrents dans une feuille est un bon exemple.
- Écrivez la tâche sous forme d’étapes numérotées, comme vous le feriez pour un nouveau stagiaire
- Exécutez-la en regardant les premières fois
- Comparez le résultat avec une version manuelle et comptez les erreurs
- Enregistrez le temps pris par l’agent et par une personne
- Décidez si l’économie justifie le temps de vérification
Dans un projet pilote typique, l’agent est plus lent qu’une personne par tâche, mais s’exécute en arrière-plan, donc la vraie question est de savoir si vérifier son travail prend moins de temps que de faire la tâche vous-même.
Comment Alien Road applique les agents d’utilisation d’ordinateur
Dans un engagement typique, la découverte identifie les tâches où l’équipe copie manuellement des données entre les systèmes et vérifie si une API ou une automatisation simple peut faire le travail en premier. L’utilisation d’ordinateur n’intervient que là où ces options n’existent pas.
La configuration a lieu dans un environnement de navigateur isolé avec des comptes dédiés et sans accès aux panneaux d’administration des clients au-delà de ce dont la tâche a besoin. Nous commençons par des tâches en lecture seule telles que les vérifications de pages de destination et la recherche sur les concurrents, avec un stratège examinant chaque résultat. La mesure enregistre le temps économisé et le taux d’erreur par tâche, et les rapports mensuels notent quelles tâches ont été abandonnées parce que la vérification prenait plus de temps que le travail lui-même.
Par où commencer cette semaine
Listez cinq tâches que votre équipe effectue en copiant des informations à partir d’écrans. Marquez celles qui n’ont pas d’exportation ou d’API. Ce sont vos candidates.
Choisissez la plus simple, configurez un profil de navigateur séparé sans mots de passe enregistrés et essayez un agent dessus trois fois pendant que vous regardez. Notez chaque étape où il a hésité ou a mal tourné. Vous apprendrez rapidement si l’outil aide ou si la tâche nécessite une solution différente.
Continuer la lecture : Agence de marketing IA · Marketing IA