Medir a los agentes de AI significa realizar un seguimiento de si cada tarea se terminó correctamente, con qué frecuencia tuvo que intervenir una persona, cuánto costó cada tarea y qué resultado empresarial impulsó. Un panel útil muestra esas cuatro capas una al lado de la otra: tasa de éxito de la tarea, tasa de escalada, coste por tarea completada y una métrica de resultado como clientes potenciales calificados, tickets resueltos u horas ahorradas, en comparación con el mismo trabajo realizado sin el agente.
Un agente de AI es un software que utiliza un modelo de lenguaje para planificar pasos y llamar a herramientas, como un CRM, una función de búsqueda o un sistema de correo electrónico, para completar un objetivo. Los equipos los construyen con plataformas como Salesforce Agentforce, Microsoft Copilot Studio, los agentes Breeze de HubSpot, el SDK de agentes de OpenAI, LangGraph o el nodo de agente de AI de n8n. Debido a que el agente decide sus propios pasos, es más difícil de medir que una automatización fija.
Muchos pilotos se juzgan por las impresiones de una demostración. Eso rara vez sobrevive a una revisión presupuestaria. La estructura a continuación proporciona a finanzas y marketing los mismos números sobre los que discutir.
¿Por qué no son suficientes las métricas de automatización estándar?
Un flujo de trabajo fijo se ejecuta o falla. Un agente puede ejecutarse, tomar un camino que parece razonable y aun así producir el resultado incorrecto: reservar una reunión con el contacto equivocado, resumir una llamada incorrectamente o responder a un cliente con una política desactualizada. “Ejecuciones completadas” cuenta esto como éxitos.
Los agentes también varían su esfuerzo. Una tarea puede requerir dos llamadas a herramientas y otra veinte, por lo que el coste por tarea puede oscilar ampliamente. Un panel que solo muestra el gasto total oculta qué tareas son costosas.
¿Qué KPIs pertenecen al panel?
Agrupe las métricas en cuatro capas. Cada una responde a una pregunta diferente.
Capa 1: Calidad de la tarea
- Tasa de éxito de la tarea: proporción de tareas completadas correctamente, juzgadas según un estándar definido.
- Precisión en un conjunto de prueba: un conjunto fijo de tareas de ejemplo que se vuelven a ejecutar después de cada cambio de prompt o modelo.
- Tipos de error: datos incorrectos, acción incorrecta, tarea incompleta, incumplimiento de políticas.
El éxito de la tarea necesita un juez. Para un agente de soporte, podría ser “el cliente no volvió a abrir el ticket dentro de los siete días”. Para un agente de investigación de clientes potenciales, podría ser una muestra semanal calificada por un representante de ventas.
Capa 2: Participación humana
- Tasa de escalada: proporción de tareas entregadas a una persona.
- Tasa de anulación: proporción de acciones del agente que un revisor cambió o revirtió.
- Tiempo de revisión por tarea: minutos que una persona pasó verificando.
Una tasa de escalada decreciente es buena solo si el éxito de la tarea se mantiene estable. Si ambos caen, el agente está adivinando más y preguntando menos.
Capa 3: Eficiencia y coste
- Coste por tarea completada: tokens del modelo más tarifas de herramientas y plataforma, divididos por tareas exitosas.
- Tiempo de finalización: desde el disparador hasta el resultado final.
- Pasos por tarea: llamadas a herramientas o turnos de modelo, para detectar tareas donde el agente entra en bucles.
Capa 4: Resultado empresarial
- La métrica que el agente fue construido para mover, como clientes potenciales calificados por semana, tiempo de primera respuesta, tickets resueltos o páginas publicadas.
- Un grupo de comparación: el mismo trabajo realizado sin el agente, durante el mismo período cuando sea posible.
¿Cómo se establece una línea base justa?
Mida el proceso actual durante dos a cuatro semanas antes del lanzamiento. Registre el volumen, el tiempo por tarea, la tasa de error y el coste. Sin esto, cada número posterior carece de contexto.
Durante el piloto, divida el trabajo si puede. Dirija la mitad de las conversaciones de chat entrantes al agente y la mitad al flujo existente, o deje que el agente maneje una región o una línea de productos. Una comparación dividida es mucho más convincente que los números de antes y después, que se mezclan con la estacionalidad y las campañas.
¿Cómo debería verse el panel?
Manténgalo en una pantalla. Un diseño que funciona para la mayoría de los equipos tiene cuatro filas que coinciden con las capas anteriores, cada una con la semana actual, la semana anterior y la línea base. Looker Studio, Power BI o una hoja de cálculo simple funcionan; los datos generalmente provienen de los registros de la plataforma del agente más el CRM o el servicio de asistencia.
- Fila superior: resultado empresarial frente a la línea base.
- Segunda fila: éxito de la tarea y tipos de error.
- Tercera fila: escalada, anulación y tiempo de revisión.
- Fila inferior: coste por tarea completada y pasos por tarea.
Agregue una muestra semanal de cinco transcripciones reales, vinculadas desde el panel. Los números explican las tendencias; las transcripciones explican las causas.
Cómo aplica Alien Road la medición de agentes de AI
En un compromiso típico, la medición se diseña antes de construir el agente. El descubrimiento define la tarea en una oración, el estándar de éxito y la métrica empresarial que debe mover. También acordamos con el cliente quién califica las muestras, porque la calificación es el paso que más a menudo se omite.
La configuración conecta los registros del agente con la pila de informes. Para los agentes construidos en n8n o con el SDK de agentes de OpenAI, cada ejecución escribe una fila con ID de tarea, pasos, tokens, resultado y bandera de escalada. Para los agentes dentro de plataformas CRM, exportamos los propios datos de actividad de la plataforma. Esa fila se une con los resultados del CRM o del servicio de asistencia en Looker Studio.
Los informes mensuales comparan al agente con el grupo de referencia, muestran la tendencia del coste por tarea completada e incluyen transcripciones de ejecuciones buenas y malas. Cuando un agente no alcanza su objetivo durante dos meses, el informe recomienda reducir su alcance o retirarlo en lugar de agregar más prompts.
¿Qué errores hacen que las métricas del agente sean engañosas?
El más común es calificar solo las ejecuciones que terminaron. Las tareas que el agente abandonó o que agotaron el tiempo deben contar como fallas, de lo contrario, la tasa de éxito parece mejor cada vez que el agente se rinde con más frecuencia.
Un segundo error es cambiar el prompt, el modelo y el alcance de la tarea en la misma semana. Cuando los números se mueven, nadie puede decir por qué. Cambie una cosa a la vez y vuelva a ejecutar el conjunto de prueba fijo después de cada cambio.
Un tercero es informar tokens en lugar de dinero. Los recuentos de tokens significan poco para un equipo financiero; conviértalos a coste por tarea completada utilizando el precio actual del proveedor y anote la fecha de ese precio en el informe.
Por dónde empezar esta semana
Escriba la definición de la tarea de una oración y el estándar de éxito para su agente, incluso si ya se está ejecutando. Luego, extraiga los registros del mes pasado y calcule solo dos números: éxito de la tarea en una muestra de veinte ejecuciones y coste por tarea completada.
Esos dos números generalmente cambian la conversación. Si el éxito es alto y el coste es bajo, construya el panel completo. Si no, sabe qué arreglar antes de medir cualquier otra cosa.
Siga leyendo: Agencia de Marketing de AI · Marketing de AI