Les agents d’utilisation d’ordinateur sont des systèmes d’IA qui utilisent un ordinateur comme le ferait une personne, en lisant l’écran, en déplaçant le curseur, en cliquant et en tapant. Pour les équipes marketing B2B, ils sont utiles pour les tâches répétitives sur navigateur qui n’ont pas d’API propre : collecter des données à partir de portails, remplir des formulaires dans des outils sans intégrations, ou vérifier des pages pour détecter des erreurs. Ils nécessitent une supervision, des autorisations restreintes et des tâches où une erreur est facile à annuler.
Plusieurs entreprises d’IA offrent cette capacité au moment de la rédaction. Anthropic a introduit l’utilisation d’ordinateur pour Claude, OpenAI a publié un agent qui fonctionne dans son propre navigateur au sein de ChatGPT, et Google a montré des agents de navigateur similaires. Les détails changent souvent, mais l’idée centrale est stable : le modèle reçoit des captures d’écran, décide d’une action et répète jusqu’à ce que la tâche soit terminée ou qu’il soit bloqué.
En quoi les agents d’utilisation d’ordinateur diffèrent-ils des autres automatisations ?
Les outils d’automatisation classiques comme Zapier ou n8n connectent les applications via des API. Ils sont rapides et fiables, mais seulement là où une intégration existe. Les outils d’automatisation des processus robotisés (RPA) comme UiPath enregistrent des chemins de clic fixes, qui se cassent lorsque la mise en page d’une page change.
Les agents d’utilisation d’ordinateur se situent entre les deux. Ils n’ont pas besoin d’API et, parce qu’ils lisent l’écran, ils gèrent mieux les petits changements de mise en page que les scripts enregistrés. En échange, ils sont plus lents, coûtent plus cher par exécution et commettent des erreurs qu’un script ne ferait pas, comme cliquer sur le mauvais bouton lorsque deux se ressemblent.
Quelles tâches marketing B2B conviennent à un agent ?
Les meilleurs candidats sont des tâches fastidieuses, basées sur le navigateur, à faible risque et difficiles à automatiser autrement.
- Collecter des prix, des listes de fonctionnalités ou des dates d’événements à partir de sites Web de concurrents dans une feuille de calcul.
- Exporter des rapports à partir de plateformes publicitaires ou d’analyse qui manquent d’un connecteur d’exportation utilisable.
- Vérifier les pages de destination pour détecter des formulaires cassés, des balises de suivi manquantes ou des prix incorrects.
- Télécharger des actifs ou mettre à jour des listes dans des portails partenaires, des répertoires et des places de marché sans API.
- Préparer des premières ébauches de recherche en visitant une liste de sites Web d’entreprises et en résumant ce que chacun propose.
Les tâches impliquant l’envoi de messages à des prospects, la dépense de budget publicitaire, la modification du contenu d’un site Web en direct ou la saisie de détails de paiement doivent rester entre les mains des personnes, ou au moins nécessiter une confirmation explicite à chaque étape.
Comment mettre en place un projet pilote sûr ?
Traitez l’agent comme un nouveau membre temporaire du personnel avec un accès limité.
- Choisissez une tâche et notez les étapes comme vous le feriez pour une nouvelle recrue.
- Exécutez l’agent dans un profil de navigateur séparé ou une machine virtuelle, pas sur un ordinateur portable contenant toutes vos connexions.
- Créez un compte dédié avec des autorisations en lecture seule ou limitées sur chaque outil que l’agent touche.
- Observez les dix premières exécutions en direct et notez où il hésite ou se trompe.
- Ajoutez des points de contrôle où l’agent doit s’arrêter et demander avant de faire quoi que ce soit qui ne peut pas être annulé.
- Enregistrez chaque exécution : tâche, durée, résultat et corrections nécessaires.
L’injection de prompt est le principal risque de sécurité
Un agent qui lit des pages Web peut être trompé par du texte écrit pour lui, comme des instructions cachées sur une page lui disant de télécharger un fichier ou de révéler des données. Les fournisseurs construisent des défenses, mais aucune n’est parfaite. Gardez l’agent à l’écart des comptes sensibles et ne le laissez jamais agir sur des instructions trouvées sur les pages qu’il visite.
Comment devriez-vous examiner la sortie de l’agent ?
L’examen dépend de ce que l’agent a produit. La collecte de données nécessite des contrôles ponctuels par rapport à la source : ouvrez cinq lignes au hasard et comparez. Les audits nécessitent un second regard sur chaque problème signalé, car les agents signalent parfois des problèmes qui n’existent pas. Tout changement apporté dans un outil doit apparaître dans l’historique des modifications de cet outil afin qu’une personne puisse le confirmer.
Une règle simple aide : l’agent prépare, une personne approuve. Cela maintient la responsabilité là où elle doit être et détecte les erreurs avant qu’elles n’atteignent un client ou un prospect.
Combien cela coûte-t-il et comment mesurer la valeur ?
Les coûts proviennent de l’utilisation du modèle, qui est plus élevée que pour le chat car chaque étape envoie des captures d’écran, et du temps passé à superviser. Pour de nombreuses tâches au moment de la rédaction, un agent fonctionne toujours plus lentement qu’une personne qualifiée, mais peut travailler sans surveillance pendant que cette personne fait autre chose.
Mesurez quatre choses pendant le projet pilote :
- Minutes de temps humain par tâche terminée, y compris la supervision et la correction.
- Taux de réussite : part des exécutions terminées sans sauvetage manuel.
- Taux d’erreur trouvé lors de l’examen.
- Coût du modèle par exécution.
Si le temps humain diminue clairement et que le taux d’erreur reste faible, passez la tâche à l’échelle. Si vous passez autant de temps à regarder l’agent qu’à faire le travail, la tâche n’est pas prête, ou l’outil ne l’est pas.
Quand un agent d’utilisation d’ordinateur est-il le mauvais choix ?
Lorsqu’une intégration appropriée existe, utilisez-la. Extraire des données Google Ads via le connecteur officiel dans Looker Studio est plus rapide, moins cher et plus fiable qu’un agent cliquant à travers l’interface. Les agents ont également du mal avec les CAPTCHA, les invites à deux facteurs et les sites qui bloquent l’accès automatisé, et contourner ces protections n’est ni approprié ni autorisé par de nombreuses conditions d’utilisation.
Vérifiez les conditions de chaque plateforme avant de laisser un agent l’utiliser. Certaines interdisent purement et simplement l’accès automatisé.
Comment Alien Road applique les agents d’utilisation d’ordinateur
Dans un engagement typique, la découverte est un inventaire des tâches. Nous nous asseyons avec l’équipe marketing du client, listons les tâches de navigateur qui prennent du temps chaque semaine et marquons celles qui ont déjà une route API. Seuls les autres sont des candidats pour un agent.
La configuration se fait dans un environnement isolé avec des comptes dédiés et limités. Nous écrivons les instructions de tâche sous forme de listes d’étapes avec des points d’arrêt explicites, effectuons des essais supervisés et documentons où l’approbation humaine est requise. Rien de ce qui est orienté client ou lié au budget ne fonctionne sans qu’une personne ne le confirme.
La mesure suit les quatre métriques pilotes. Les rapports mensuels montrent quelles tâches ont été transférées à l’agent, combien de supervision elles nécessitent encore et lesquelles sont revenues aux personnes ou à une intégration régulière parce que l’agent n’était pas assez fiable.
Par où commencer cette semaine
Listez chaque tâche que votre équipe effectue dans un navigateur plus de deux fois par semaine et qui implique de copier des informations d’un écran à un autre. Rayez celles qui ont une intégration utilisable. Choisissez la tâche restante la plus sûre, comme la collecte d’informations publiques sur les concurrents, et exécutez un agent supervisé dessus dans un profil de navigateur séparé pendant cinq jours.
Continuez à lire : Agence de marketing IA · Marketing IA