Les agents d’utilisation informatique sont des systèmes d’IA qui utilisent des logiciels comme le ferait une personne, en lisant l’écran, en déplaçant un curseur, en cliquant et en tapant. Leur valeur se manifeste dans le taux de réussite des tâches, le taux d’intervention humaine, le temps économisé par tâche, le coût par tâche terminée et les incidents de sécurité. Mesurez les cinq par rapport au processus manuel, car un agent qui termine les tâches lentement avec une aide fréquente peut coûter plus cher qu’il n’économise.
Les exemples incluent la capacité d’utilisation informatique d’Anthropic pour Claude, les fonctionnalités d’agent d’OpenAI dans ChatGPT, le modèle d’utilisation informatique Gemini de Google et les agents de navigateur construits sur des frameworks tels que Browser Use ou Playwright avec un modèle de langage aux commandes. Ils sont utiles là où aucune API n’existe : tableaux de bord hérités, portails de fournisseurs, formulaires Web et tâches en plusieurs étapes sur plusieurs outils. Au moment de la rédaction, ils sont encore plus lents et moins fiables que les intégrations API, ce qui rend la mesure plus importante.
Où les agents d’utilisation informatique s’intègrent-ils dans le travail marketing ?
La plupart des équipes marketing ont des tâches d’écran répétitives qui n’ont jamais été automatisées parce que les outils manquent de bonnes API ou que la tâche traverse plusieurs systèmes.
- Extraire des rapports de plateformes publicitaires ou de places de marché qui n’offrent pas d’exportations pratiques.
- Vérifier les pages des concurrents, les prix ou les bibliothèques d’annonces selon un calendrier.
- Remplir des listes d’annuaires et des profils de citation sur de nombreux sites.
- Contrôles de qualité sur les pages de destination : formulaires, liens, balises de suivi et mise en page mobile.
- Mise à jour des informations sur les produits dans les portails des vendeurs de places de marché.
- Collecte de captures d’écran de campagnes en direct pour les rapports clients.
Chacune d’entre elles a une base de référence manuelle claire, ce qui rend la mesure de la valeur simple.
Quels KPI prouvent la valeur ?
Mesures de fiabilité
- Taux de réussite des tâches : tâches terminées correctement sans aide humaine, divisé par les tâches tentées. Définissez “correctement” par type de tâche.
- Taux de réussite partielle : tâches terminées avec des erreurs mineures qu’une personne a corrigées.
- Taux d’intervention humaine : part des exécutions où une personne a dû intervenir, approuver ou prendre le relais.
- Modes de défaillance : raisons classées des échecs, telles que les murs de connexion, les changements de mise en page, les pop-ups, les CAPTCHA ou les éléments mal lus.
Mesures d’efficacité
- Temps par tâche pour l’agent par rapport à la base de référence manuelle.
- Minutes humaines par tâche, y compris la configuration, la supervision et la vérification.
- Coût par tâche terminée : utilisation du modèle, infrastructure et temps humain combinés.
- Débit : tâches terminées par jour.
Mesures de sécurité et de qualité
- Actions involontaires : clics ou soumissions que l’agent a effectués en dehors du champ d’application de la tâche.
- Incidents d’exposition de données : tout cas où des données sensibles ont été saisies ou affichées là où elles ne devraient pas l’être.
- Précision de sortie sur un échantillon vérifié par une personne.
Pourquoi le taux d’intervention est-il le chiffre clé ?
Un agent qui a besoin de supervision pour chaque exécution n’économise pas grand-chose. Les minutes humaines par tâche capturent cela honnêtement. Si une personne passe dix minutes à effectuer une tâche manuellement et huit minutes à superviser l’agent, le gain est faible, quel que soit le taux de réussite de l’agent.
Suivez les interventions par motif. Certaines sont par conception, comme les approbations avant de soumettre un formulaire, ce qui est une bonne pratique pour tout ce qui est irréversible. D’autres révèlent des faiblesses que de meilleures instructions ou une meilleure configuration de l’environnement peuvent corriger, par exemple en fermant les bannières de cookies à l’avance ou en fournissant des URL directes.
Comment le tableau de bord doit-il être organisé ?
Trois vues couvrent les publics.
- Vue entreprise : tâches terminées ce mois-ci, heures humaines économisées par rapport à la base de référence, coût par tâche terminée et tendance au fil du temps.
- Vue opérations : taux de réussite, partiels et d’échec par type de tâche, raisons d’intervention et les tâches les plus lentes.
- Vue risque : actions involontaires, incidents de données, approbations demandées et approbations refusées.
Les données proviennent des journaux d’exécution de l’agent : heure de début et de fin, étapes suivies, captures d’écran, interventions et résultat. Stockez les journaux dans une base de données ou une feuille de calcul avec un ID d’exécution, puis connectez Looker Studio, Power BI ou un simple carnet. Gardez les captures d’écran pour les exécutions échouées ; elles expliquent les échecs plus rapidement que n’importe quelle ligne de journal.
Quelles garde-fous doivent être en place avant de mesurer ?
La mesure n’a aucun sens si l’agent fonctionne de manière non sécurisée. Définissez-les d’abord :
- Exécutez les agents dans un profil de navigateur isolé ou une machine virtuelle avec uniquement l’accès dont la tâche a besoin.
- Utilisez des comptes dédiés avec des autorisations limitées, jamais la connexion personnelle d’un administrateur.
- Exigez une approbation humaine avant d’effectuer des achats, d’envoyer des messages, de publier, de supprimer ou de soumettre des formulaires contenant des données personnelles.
- Traitez le contenu de la page comme non fiable : les instructions trouvées sur les sites Web ne doivent pas remplacer la tâche.
- Gardez un journal d’audit de chaque action.
Erreurs de mesure courantes
- Rapporter le taux de réussite sur des tâches de démonstration faciles plutôt que sur le mélange de tâches réelles.
- Ignorer le temps que les gens passent à écrire des instructions et à vérifier les résultats.
- Mesurer une fois et supposer que les résultats tiennent ; les changements de mise en page du site Web cassent les agents sans avertissement.
- Comparer le temps de l’agent avec une estimation manuelle gonflée au lieu d’une base de référence chronométrée.
Comment construire une base de référence manuelle équitable ?
Les bases de référence sont souvent devinées, et les suppositions sont généralement généreuses envers l’agent. Chronométrez la tâche manuelle avec un chronomètre, trois à cinq fois, par la personne qui le fait normalement. Incluez les petites étapes que les gens oublient : se connecter, trouver la bonne plage de dates, renommer le fichier d’exportation, coller les résultats dans le rapport.
Enregistrez également le taux d’erreur du processus manuel. Les gens font des erreurs sur le travail d’écran répétitif, et un agent avec un taux de réussite légèrement inférieur peut toujours produire moins d’erreurs dans l’ensemble s’il est cohérent. Comparer les erreurs de l’agent avec un humain parfait imaginaire est aussi trompeur que de comparer la vitesse de l’agent avec un humain lent imaginaire.
Répétez la base de référence une fois par trimestre. Le personnel devient plus rapide sur une tâche au fil du temps, et les outils changent leurs interfaces, donc une base de référence vieille d’un an ne décrit plus la véritable alternative.
Comment Alien Road applique les agents d’utilisation informatique
Dans un engagement typique, la découverte répertorie les tâches d’écran répétitives dans les opérations marketing du client et mesure combien de temps chacune prend manuellement. Nous choisissons des tâches où il n’y a pas de bonne API, les étapes sont stables et les erreurs sont réversibles, comme la collecte de rapports ou la vérification de pages de destination.
La configuration exécute l’agent dans un environnement isolé avec des comptes limités, des instructions de tâche écrites et des étapes d’approbation avant toute action irréversible. Chaque exécution est enregistrée avec le résultat, les raisons de l’intervention et les captures d’écran des échecs.
La mesure compare les minutes humaines par tâche avant et après, les taux de réussite et d’intervention, et le coût par tâche terminée. Les rapports mensuels montrent quelles tâches ont gagné une place permanente, lesquelles ont été ramenées au travail manuel ou à une intégration API, et quels échecs ont été corrigés.
Par où commencer cette semaine
Choisissez une tâche d’écran que votre équipe répète chaque semaine et chronométrez-la manuellement trois fois. Écrivez la tâche comme des instructions étape par étape avec le résultat attendu, exécutez-la avec un agent d’utilisation informatique cinq fois dans un navigateur sandbox, et enregistrez le succès, les interventions et le total des minutes humaines. Comparez les chiffres avant de décider de l’automatiser davantage.
Continuez à lire : Agence de marketing IA · Marketing IA