Microsoft Copilot Studio demuestra su valor cuando mides la resolución, la desviación, la satisfacción y el coste por conversación frente al proceso que el agente reemplazó. La pestaña de Analítica integrada te ofrece resultados de sesiones, rendimiento de temas y puntuaciones de satisfacción, pero esos números solo significan algo una vez que se vinculan a una línea base de tu servicio de asistencia, CRM o pipeline de ventas antes de que el agente entrara en funcionamiento.
Copilot Studio es la plataforma de bajo código de Microsoft para crear agentes conversacionales. Los equipos la utilizan para crear agentes que responden preguntas de SharePoint o sitios web públicos, llaman a flujos de Power Automate, transfieren al personal humano en Dynamics 365 u otros sistemas, y publican en Teams, sitios web o Microsoft 365 Copilot. Debido a que se encuentra dentro de Power Platform, los datos de medición están repartidos en varios lugares, y ahí es donde la mayoría de los informes fallan.
¿Por qué los proyectos de Copilot Studio tienen dificultades para mostrar el ROI?
El problema habitual no es la falta de datos. Es que el equipo comenzó sin decidir cómo era el éxito. Un agente entra en funcionamiento en la intranet, la gente empieza a usarlo y, tres meses después, alguien pregunta si ahorró dinero. Nadie registró cuántos tickets manejaba el servicio de TI por semana antes del lanzamiento, por lo que la respuesta se convierte en una suposición.
Un segundo problema son las métricas de vanidad. El total de sesiones aumenta rápidamente después del lanzamiento porque la gente tiene curiosidad. Ese número no dice nada sobre si se respondieron las preguntas. Un recuento de sesiones creciente junto con una tasa de resolución decreciente es una señal de advertencia, no una victoria.
El tercero es la atribución. Si un cliente chatea con el agente, obtiene una respuesta parcial y luego envía un correo electrónico al soporte, ¿el agente ayudó o añadió un paso? Sin vincular los IDs de conversación con los tickets posteriores, no puedes saberlo.
Los KPIs que realmente importan
Copilot Studio agrupa las sesiones por resultado: resueltas, escaladas, abandonadas y no comprometidas. Esos cuatro resultados son la columna vertebral de cualquier panel. Alrededor de ellos, añade las medidas de negocio que se supone que los resultados deben mover.
- Tasa de resolución: sesiones resueltas divididas por sesiones comprometidas. Este es el KPI operativo principal.
- Tasa de escalación: proporción de sesiones transferidas a un humano. Algo de escalación es saludable; un salto repentino suele significar un tema roto o una fuente de conocimiento faltante.
- Tasa de abandono: usuarios que se van a mitad de la conversación. Un abandono alto en un tema específico apunta a preguntas confusas o flujos lentos.
- CSAT: la puntuación de la encuesta al final de la conversación. Trata los recuentos de respuestas bajos con precaución.
- Desviación: tickets, llamadas o correos electrónicos que no ocurrieron porque el agente los manejó. Esto necesita una línea base previa al lanzamiento.
- Coste por conversación resuelta: consumo de mensajes o capacidad dividido por sesiones resueltas, comparado con el coste de un ticket manejado por un humano.
- Tiempo de resolución: para agentes internos, cuánto más rápido obtiene una respuesta un empleado que enviando un ticket.
Para agentes de marketing y ventas, cambia la desviación por medidas de pipeline: leads cualificados capturados, reuniones reservadas y conversión de chat a envío de formulario.
Métricas a nivel de tema
Los números generales ocultan problemas. La vista de analítica de temas muestra qué temas se activan con más frecuencia y cuáles terminan en escalación o abandono. Un solo tema con una tasa de abandono del 40 por ciento puede arrastrar a un agente que por lo demás es saludable. Revisa los cinco peores temas cada semana y arréglalos antes de añadir otros nuevos.
¿Dónde viven los datos?
La página de Analítica dentro de Copilot Studio cubre lo esencial para cada agente: gráficos de resumen, resultados, uso de temas, satisfacción y consumo de facturación. Está bien para el constructor, pero es incómodo para los ejecutivos, porque es por agente y tiene un corte personalizado limitado.
Para informes más profundos, las transcripciones de conversación se almacenan en Dataverse en la tabla ConversationTranscript. Puedes conectar Power BI a Dataverse y modelar las transcripciones tú mismo. Microsoft también ha publicado una plantilla de Power BI para la analítica de Copilot Studio, que es un punto de partida razonable en el momento de escribir este artículo.
Application Insights es la tercera fuente. Cuando conectas un agente a un recurso de Azure Application Insights, obtienes eventos de telemetría con marcas de tiempo, lo que ayuda con el análisis de latencia y los eventos personalizados que emites desde los temas. Si tus flujos llaman a APIs externas, aquí es donde verás respuestas lentas.
Finalmente, los sistemas de negocio: ServiceNow, Dynamics 365 Customer Service, Zendesk, HubSpot o Salesforce. Estos mantienen la línea base y el resultado posterior. Un panel útil une al menos dos de estas fuentes.
Cómo construir un panel en el que la dirección confíe
Comienza con tres capas en lugar de una página abarrotada. Cada capa responde a una audiencia diferente.
- Vista ejecutiva: conversaciones resueltas mensuales, tickets desviados, horas estimadas ahorradas y coste por resolución frente a la línea base humana. Cuatro mosaicos y una línea de tendencia.
- Vista de operaciones: desglose de resultados, razones de escalación, tendencia de CSAT y los temas con peor rendimiento. Esto es para el propietario del agente y el líder de soporte.
- Vista de constructor: disparadores de temas, frases no reconocidas, fallos de flujo y latencia de Application Insights. De aquí vienen las correcciones.
Mantén las definiciones escritas en el propio panel. Si “resuelto” significa que el usuario confirmó que la respuesta ayudó, dilo. Si una sesión no comprometida se excluye del denominador, indícalo. La mayoría de las discusiones sobre los números de los chatbots provienen de diferentes personas que usan diferentes definiciones.
La cadencia de actualización también importa. La actualización diaria es suficiente para la mayoría de los equipos. Las vistas en tiempo real parecen impresionantes pero invitan a reaccionar exageradamente a muestras pequeñas.
Establecer una línea base antes del lanzamiento
Toma de cuatro a ocho semanas de datos de tickets antes del lanzamiento. Clasifica los tickets en los mismos cubos que cubrirán tus temas de agente, como restablecimientos de contraseña, estado de pedidos o preguntas de precios. Después del lanzamiento, compara los volúmenes de categorías. Si los tickets de restablecimiento de contraseña caen mientras el tema de contraseña del agente muestra una alta tasa de resolución, tienes una historia de desviación creíble.
Cómo aplica Alien Road Microsoft Copilot Studio
En un compromiso típico, el trabajo comienza con el descubrimiento en lugar de la construcción. Enumeramos las preguntas que los clientes o el personal hacen con más frecuencia, generalmente exportando unos meses de tickets, registros de chat o consultas de ventas y agrupándolos. Esa lista se convierte en el mapa de temas y, al mismo tiempo, en la línea base de medición.
Durante la configuración, conectamos fuentes de conocimiento, construimos los temas que necesitan respuestas estructuradas y conectamos la escalación a la herramienta de soporte o CRM existente del cliente. Cada tema obtiene una definición de éxito clara antes del lanzamiento. También conectamos Application Insights y acordamos qué eventos personalizados registrar, por ejemplo, cuando se completa un formulario de lead dentro del chat.
La medición se ejecuta en un informe de Power BI que une las transcripciones de Copilot Studio con los datos de tickets o leads del cliente. Por ejemplo, un cliente B2B podría ver leads semanales obtenidos por chat junto a leads de formularios web, con el coste por lead para ambos. Los informes son mensuales, con una lista corta de temas para arreglar y temas para añadir, por lo que el agente mejora basándose en evidencia en lugar de opinión.
Errores de medición comunes a evitar
- Contar todas las sesiones en lugar de las sesiones comprometidas en la tasa de resolución.
- Leer el CSAT de un puñado de respuestas como si fuera representativo.
- Ignorar las frases de usuario no reconocidas, que a menudo son el camino más rápido hacia una mejor cobertura.
- Informar horas ahorradas sin indicar la suposición detrás de la cifra de minutos por ticket.
- Comparar el mes uno, cuando los usuarios tenían curiosidad, con el mes cuatro, cuando el uso se estabilizó.
Por dónde empezar esta semana
Abre la pestaña de Analítica de tu agente más ocupado y anota las tasas de resolución, escalación y abandono de los últimos 30 días. Luego, extrae el mismo período de volúmenes de tickets de tu herramienta de soporte para las categorías que cubre el agente. Pon ambos en una página, incluso una hoja de cálculo, y escribe la definición de cada número. Esa única página es la primera versión de un panel, y te dirá qué tema arreglar a continuación.
Sigue leyendo: Agencia de Marketing AI · Marketing AI