Les agents d’utilisation d’ordinateur sont des systèmes d’IA qui utilisent un ordinateur comme le ferait une personne : ils regardent l’écran, déplacent le curseur, cliquent sur des boutons et remplissent des formulaires. Pour les marques de commerce électronique, ils sont particulièrement utiles pour les tâches répétitives dans des outils qui n’ont pas d’API ou seulement une API limitée, comme les portails fournisseurs, les back-offices de places de marché et les anciens panneaux d’administration.
Qu’est-ce qu’un agent d’utilisation d’ordinateur, exactement ?
Anthropic a introduit une capacité d’« utilisation d’ordinateur » pour Claude en 2024, et OpenAI a suivi avec son propre agent qui navigue et agit dans un navigateur virtuel. Google et d’autres ont des recherches et des produits similaires. L’idée commune est qu’un modèle reçoit des captures d’écran, décide de l’action suivante et envoie des commandes comme « cliquer à cet endroit » ou « taper ce texte ».
Cela diffère de l’automatisation classique. Un flux de travail Zapier ou n8n connecte les systèmes via des API et tombe en panne si une API est manquante. Les outils d’automatisation des processus robotisés (RPA) suivent des scripts enregistrés et tombent en panne lorsqu’un bouton se déplace. Un agent d’utilisation d’ordinateur lit l’écran à chaque fois, il peut donc faire face à de petits changements de mise en page, mais il est plus lent, coûte plus cher par tâche et peut commettre des erreurs qu’un script ne ferait pas.
Quelles tâches de commerce électronique conviennent aux agents d’utilisation d’ordinateur ?
Les meilleurs candidats partagent trois traits : ils se répètent souvent, ils se déroulent dans un navigateur ou une application de bureau, et une erreur est facile à repérer et à inverser.
- Vérifier les prix des concurrents sur des sites qui bloquent ou n’ont pas de flux de produits, et les enregistrer dans une feuille de calcul.
- Extraire des rapports de commandes ou de stocks d’un portail fournisseur qui ne propose que des téléchargements manuels.
- Remplir des formulaires de référencement sur les places de marché avec les données de votre fiche produit, pour examen avant soumission.
- Tester votre propre processus de paiement : ajouter des articles, appliquer des codes de réduction et confirmer les totaux, comme un contrôle qualité régulier.
- Collecter les raisons de retour ou les thèmes des tickets de support à partir d’un service d’assistance qui n’a pas d’exportation.
- Auditer vos propres pages produits pour détecter les images manquantes, les guides de tailles cassés ou les prix erronés.
Quelles tâches devraient rester manuelles ?
Certains travaux sont mal adaptés, soit parce que le risque est élevé, soit parce qu’un meilleur outil existe.
- Tout ce qui implique des paiements, des remboursements ou des coordonnées bancaires. Un mauvais clic ici coûte de l’argent et de la confiance.
- Modifications en masse des prix en direct ou des niveaux de stock. Utilisez plutôt les outils d’importation ou l’API de votre plateforme, qui sont plus rapides et enregistrés.
- Se connecter à des comptes avec des données clients réelles sans l’approbation claire du propriétaire de ces données.
- Tâches pour lesquelles une API existe déjà. Shopify, WooCommerce et la plupart des places de marché proposent des API moins chères et plus fiables.
Comment configurer un premier agent en toute sécurité ?
Commencez dans un environnement isolé. La documentation d’Anthropic recommande d’exécuter l’utilisation de l’ordinateur dans une machine virtuelle ou un conteneur avec des privilèges minimaux, et ce conseil s’applique à l’agent de n’importe quel fournisseur.
Une séquence de configuration sécurisée
- Créez un profil de navigateur dédié ou une machine virtuelle sans mots de passe enregistrés et sans accès aux e-mails personnels.
- Utilisez un compte séparé avec le niveau d’autorisation le plus bas qui permet tout de même d’effectuer la tâche, idéalement en lecture seule.
- Rédigez la tâche sous forme de liste de contrôle claire : quel site, quelle page, quoi collecter, où l’enregistrer, quand s’arrêter.
- Exécutez-la en observant les premières fois. Notez où il hésite ou clique sur la mauvaise chose.
- Ajoutez une étape d’approbation humaine avant toute action qui soumet, enregistre ou envoie.
- Enregistrez chaque exécution : date, tâche, résultat et toute erreur.
L’injection de prompts est un risque réel. Une page web peut contenir du texte caché disant à un agent de faire autre chose. Gardez les agents à l’écart des pages non fiables pendant qu’ils détiennent une session de connexion, et ne le laissez jamais agir sur des instructions qu’il trouve sur une page.
Combien cela coûte-t-il à exécuter ?
Les coûts proviennent de l’utilisation du modèle, car chaque étape envoie une capture d’écran et reçoit une action, et du temps passé à superviser. Une tâche qui prend cinq minutes à une personne peut prendre plus de temps à un agent et coûter une petite somme en frais d’API par exécution. L’argument en faveur d’un agent est le plus fort lorsque le temps humain est coûteux, la tâche est fastidieuse et le volume est modéré.
Par exemple, une marque de mode vérifiant les prix sur vingt pages de produits concurrents chaque semaine pourrait constater qu’un agent économise une heure du temps d’un marchandiseur, tout en coûtant beaucoup moins cher que cette heure. Un magasin vérifiant deux pages par mois ne le ferait pas.
Comment mesurer si cela en vaut la peine ?
Suivez la même tâche avant et après. Les mesures de base sont simples.
- Temps par exécution pour une personne par rapport au temps de supervision pour l’agent.
- Taux d’erreur : à quelle fréquence le résultat doit être corrigé.
- Coût par exécution en utilisation d’API.
- Couverture : si l’agent vous permet de vérifier plus de pages ou plus souvent qu’auparavant.
Si le taux d’erreur reste élevé après quelques semaines d’affinage des instructions, cette tâche est probablement mieux servie par une intégration API ou un script traditionnel.
Comment Alien Road applique les agents d’utilisation d’ordinateur dans le travail client
Dans un engagement typique, Alien Road traite les agents d’utilisation d’ordinateur comme un outil de dernier kilomètre, utilisé uniquement après avoir vérifié si une API, un flux ou une intégration standard peut faire le travail. La découverte commence par un inventaire des tâches : l’équipe s’assoit avec le personnel e-commerce du client et liste les tâches répétitives du navigateur, avec le temps passé et le niveau de risque pour chacune.
Les tâches à faible risque et à haute répétition, telles que les vérifications des prix des concurrents ou les audits de pages produits, sont pilotées dans un environnement sandbox avec des comptes en lecture seule. Les résultats vont vers une feuille partagée qu’une personne examine. Les rapports couvrent les heures économisées, le taux d’erreur et le coût par exécution, et toute tâche qui ne passe pas après une période d’essai est déplacée vers une méthode d’automatisation différente ou revient au travail manuel.
Comment les agents se comparent-ils aux outils RPA ?
Les plateformes RPA traditionnelles telles qu’UiPath ou Power Automate Desktop enregistrent des étapes fixes et les rejouent. Ils sont rapides et bon marché par exécution une fois construits, mais chaque refonte du site cible signifie un réenregistrement. Les agents d’utilisation d’ordinateur échangent un peu de vitesse et de coût contre de la flexibilité. Une répartition sensée consiste à utiliser RPA ou des API pour les processus stables à haut volume et des agents pour les tâches où les pages changent souvent ou le volume est trop faible pour justifier la création d’un script. Certaines équipes utilisent d’abord un agent pour explorer une tâche, puis transforment les étapes fiables en script.
Par où commencer cette semaine
Listez chaque tâche que votre équipe effectue dans un navigateur plus d’une fois par semaine. Marquez celles sans API et à faible risque. Choisissez-en une, écrivez-la sous forme de liste de contrôle en dix étapes et exécutez-la avec un agent dans un profil de navigateur propre pendant que vous regardez.
Comparez le résultat avec le fait de le faire vous-même. Cette seule comparaison vous en dira plus que n’importe quelle démo de fournisseur.
Continuer la lecture : Agence de marketing IA · Marketing IA