Los agentes de uso de computadora son sistemas de IA que operan software de la misma manera que una persona, leyendo la pantalla, moviendo un cursor, haciendo clic y escribiendo. Su valor se refleja en la tasa de éxito de la tarea, la tasa de intervención humana, el tiempo ahorrado por tarea, el costo por tarea completada y los incidentes de seguridad. Mida los cinco frente al proceso manual, porque un agente que termina las tareas lentamente con ayuda frecuente puede costar más de lo que ahorra.
Los ejemplos incluyen la capacidad de uso de computadora de Anthropic para Claude, las funciones de agente de OpenAI en ChatGPT, el modelo de uso de computadora Gemini de Google y los agentes de navegador creados en marcos como Browser Use o Playwright con un modelo de lenguaje en control. Son útiles donde no existe una API: paneles heredados, portales de proveedores, formularios web y tareas de varios pasos en varias herramientas. En el momento de escribir este artículo, siguen siendo más lentos y menos fiables que las integraciones de API, lo que hace que la medición sea más importante.
¿Dónde encajan los agentes de uso de computadora en el trabajo de marketing?
La mayoría de los equipos de marketing tienen trabajos de pantalla repetitivos que nunca se automatizaron porque a las herramientas les faltan buenas API o la tarea cruza varios sistemas.
- Extraer informes de plataformas publicitarias o mercados que no ofrecen exportaciones convenientes.
- Comprobar páginas de la competencia, precios o bibliotecas de anuncios según un horario.
- Completar listados de directorios y perfiles de citas en muchos sitios.
- Controles de calidad en páginas de destino: formularios, enlaces, etiquetas de seguimiento y diseño móvil.
- Actualización de información de productos en portales de vendedores de mercado.
- Recopilación de capturas de pantalla de campañas en vivo para informes de clientes.
Cada uno de estos tiene una línea de base manual clara, lo que hace que medir el valor sea sencillo.
¿Qué KPI demuestran valor?
Métricas de fiabilidad
- Tasa de éxito de la tarea: tareas completadas correctamente sin ayuda humana, divididas por las tareas intentadas. Defina “correctamente” por tipo de tarea.
- Tasa de éxito parcial: tareas completadas con errores menores que una persona corrigió.
- Tasa de intervención humana: proporción de ejecuciones en las que una persona tuvo que intervenir, aprobar o hacerse cargo.
- Modos de fallo: razones categorizadas para el fallo, como muros de inicio de sesión, cambios de diseño, ventanas emergentes, CAPTCHA o elementos mal leídos.
Métricas de eficiencia
- Tiempo por tarea para el agente frente a la línea de base manual.
- Minutos humanos por tarea, incluida la configuración, la supervisión y la comprobación.
- Costo por tarea completada: uso del modelo, infraestructura y tiempo humano combinados.
- Rendimiento: tareas completadas por día.
Métricas de seguridad y calidad
- Acciones no deseadas: clics o envíos que el agente realizó fuera del alcance de la tarea.
- Incidentes de exposición de datos: cualquier caso en el que se ingresaron o mostraron datos confidenciales donde no deberían estar.
- Precisión de salida en una muestra verificada por una persona.
¿Por qué la tasa de intervención es el número clave?
Un agente que necesita supervisión para cada ejecución no está ahorrando mucho. Los minutos humanos por tarea capturan esto honestamente. Si una persona pasa diez minutos haciendo una tarea manualmente y ocho minutos supervisando al agente, la ganancia es pequeña, independientemente de la tasa de éxito del agente.
Realice un seguimiento de las intervenciones por motivo. Algunas son por diseño, como las aprobaciones antes de enviar un formulario, lo cual es una buena práctica para cualquier cosa irreversible. Otras revelan debilidades que mejores instrucciones o configuración del entorno pueden solucionar, por ejemplo, cerrar banners de cookies de antemano o proporcionar URL directas.
¿Cómo debe organizarse el panel?
Tres vistas cubren a las audiencias.
- Vista de negocio: tareas completadas este mes, horas humanas ahorradas frente a la línea de base, costo por tarea completada y tendencia a lo largo del tiempo.
- Vista de operaciones: tasas de éxito, parciales y de fallo por tipo de tarea, razones de intervención y las tareas más lentas.
- Vista de riesgo: acciones no deseadas, incidentes de datos, aprobaciones solicitadas y aprobaciones denegadas.
Los datos provienen de los registros de ejecución del agente: hora de inicio y finalización, pasos dados, capturas de pantalla, intervenciones y resultados. Almacene los registros en una base de datos u hoja de cálculo con un ID de ejecución, luego conecte Looker Studio, Power BI o un cuaderno simple. Guarde capturas de pantalla para las ejecuciones fallidas; explican los fallos más rápido que cualquier línea de registro.
¿Qué barandillas deben existir antes de medir?
La medición no tiene sentido si el agente funciona de forma insegura. Establezca estos primero:
- Ejecute agentes en un perfil de navegador aislado o una máquina virtual con solo el acceso que necesita la tarea.
- Utilice cuentas dedicadas con permisos limitados, nunca el inicio de sesión personal de un administrador.
- Requiera aprobación humana antes de realizar compras, enviar mensajes, publicar, eliminar o enviar formularios con datos personales.
- Trate el contenido de la página como no confiable: las instrucciones encontradas en los sitios web no deben anular la tarea.
- Mantenga un registro de auditoría de cada acción.
Errores de medición comunes
- Informar la tasa de éxito en tareas de demostración fáciles en lugar de la combinación de tareas reales.
- Ignorar el tiempo que las personas pasan escribiendo instrucciones y verificando resultados.
- Medir una vez y asumir que los resultados se mantienen; los cambios en el diseño del sitio web rompen los agentes sin previo aviso.
- Comparar el tiempo del agente con una estimación manual inflada en lugar de una línea de base cronometrada.
¿Cómo se construye una línea de base manual justa?
Las líneas de base a menudo se adivinan, y las conjeturas suelen ser generosas con el agente. Cronometre la tarea manual con un cronómetro, de tres a cinco veces, por la persona que normalmente la hace. Incluya los pequeños pasos que la gente olvida: iniciar sesión, encontrar el rango de fechas correcto, cambiar el nombre del archivo de exportación, pegar los resultados en el informe.
Registre también la tasa de error del proceso manual. Las personas cometen errores en el trabajo de pantalla repetitivo, y un agente con una tasa de éxito ligeramente menor aún puede producir menos errores en general si es consistente. Comparar los errores del agente con un humano perfecto imaginario es tan engañoso como comparar la velocidad del agente con uno lento imaginario.
Repita la línea de base una vez por trimestre. El personal se vuelve más rápido en una tarea con el tiempo, y las herramientas cambian sus interfaces, por lo que una línea de base de un año de antigüedad ya no describe la alternativa real.
Cómo aplica Alien Road los agentes de uso de computadora
En un compromiso típico, el descubrimiento enumera las tareas de pantalla repetitivas en las operaciones de marketing del cliente y mide cuánto tiempo lleva cada una manualmente. Elegimos tareas donde no hay una buena API, los pasos son estables y los errores son reversibles, como recopilar informes o verificar páginas de destino.
La configuración ejecuta al agente en un entorno aislado con cuentas limitadas, instrucciones de tarea escritas y pasos de aprobación antes de cualquier acción irreversible. Cada ejecución se registra con el resultado, las razones de la intervención y las capturas de pantalla de los fallos.
La medición compara los minutos humanos por tarea antes y después, las tasas de éxito e intervención, y el costo por tarea completada. Los informes mensuales muestran qué tareas ganaron un lugar permanente, cuáles se trasladaron de nuevo al trabajo manual o a una integración de API, y qué fallos se solucionaron.
Por dónde empezar esta semana
Elija una tarea de pantalla que su equipo repita semanalmente y cronométrela manualmente tres veces. Escriba la tarea como instrucciones paso a paso con el resultado esperado, ejecútela con un agente de uso de computadora cinco veces en un navegador en sandbox, y registre el éxito, las intervenciones y el total de minutos humanos. Compare los números antes de decidir si automatizarla más.
Siga leyendo: Agencia de marketing de IA · Marketing de IA