Mides la generación aumentada por recuperación en dos niveles. La calidad técnica cubre si el sistema recupera los documentos correctos y si las respuestas se mantienen fieles a ellos. El valor de negocio cubre si los usuarios obtienen respuestas correctas más rápido, si los tickets de soporte disminuyen y cuánto cuesta cada respuesta. Un dashboard debe mostrar ambos, porque una respuesta fluida del documento equivocado sigue siendo una respuesta incorrecta.
RAG es un patrón para construir asistentes de IA que responden desde su propio contenido. Cuando un usuario hace una pregunta, el sistema busca en una base de conocimiento, generalmente con incrustaciones vectoriales y a menudo también con búsqueda por palabras clave, recupera los pasajes más relevantes y los entrega a un modelo de lenguaje para escribir una respuesta, idealmente con citas. Es común en bots de soporte, asistentes de conocimiento internos y búsqueda de productos. Frameworks como LangChain y LlamaIndex, y servicios gestionados de OpenAI, Google, AWS y otros, facilitan su construcción.
¿Por qué los proyectos RAG necesitan una medición dedicada?
Un sistema RAG puede fallar en varios lugares: los documentos pueden faltar o estar desactualizados, la búsqueda puede recuperar los pasajes incorrectos, o el modelo puede ignorar los pasajes e improvisar. Desde fuera, todos estos errores parecen iguales: una respuesta segura que es incorrecta.
Sin medición en cada etapa, los equipos intentan arreglar la parte equivocada. Cambian a un modelo más grande cuando el problema real era un artículo de ayuda obsoleto, o reescriben prompts cuando la búsqueda devuelve fragmentos irrelevantes.
¿Qué KPIs de recuperación importan?
Construya un conjunto de prueba de 50 a 200 preguntas reales, cada una con el documento o pasaje que contiene la respuesta correcta. Úselo para medir la recuperación regularmente.
- Recall at k: proporción de preguntas donde el pasaje correcto aparece en los primeros k resultados, por ejemplo, los 5 primeros.
- Precision at k: proporción de los primeros k resultados que son realmente relevantes.
- Mean reciprocal rank: qué tan alto aparece el primer resultado relevante en promedio.
- Cobertura: proporción de preguntas reales de usuarios para las cuales existe un documento relevante en absoluto.
La cobertura es la métrica de negocio oculta en las técnicas. Si muchas preguntas no tienen un documento coincidente, la solución es escribir contenido, no ajustar la búsqueda.
¿Cómo se mide la calidad de la respuesta?
Fidelidad y corrección
La fidelidad pregunta si cada afirmación en la respuesta está respaldada por los pasajes recuperados. La corrección pregunta si la respuesta coincide con la respuesta correcta conocida. Ambos pueden ser calificados por revisores humanos en una muestra, y por una configuración de LLM-as-a-judge donde un segundo modelo califica las respuestas contra las fuentes, lo cual herramientas de código abierto como Ragas soportan. Verifique las calificaciones automatizadas contra las humanas antes de confiar en ellas.
Citas y rechazos
Rastree la proporción de respuestas con al menos una cita, y la proporción donde el sistema dice correctamente que no sabe. Un sistema que nunca rechaza probablemente está inventando respuestas para preguntas fuera de su conocimiento.
¿Qué KPIs de negocio demuestran valor?
- Tasa de resolución o deflexión: proporción de conversaciones resueltas sin un agente humano, confirmado por comentarios del usuario o sin ticket de seguimiento.
- Calidad de escalación: cuando el bot transfiere, ¿el agente recibe un resumen útil?
- Comentarios del usuario: pulgar arriba o abajo por respuesta, con comentarios opcionales.
- Tiempo de respuesta para usuarios internos, comparado con buscar documentos manualmente.
- Coste por pregunta respondida: tokens de modelo, costos de incrustación y base de datos vectorial divididos por respuestas.
- Latencia: mediana y percentil 95 del tiempo de respuesta.
¿Cómo debería verse el dashboard?
Use tres secciones. La superior muestra resultados de negocio para gerentes: preguntas respondidas, tasa de deflexión, satisfacción y coste por respuesta, con tendencias. La media muestra calidad: puntuaciones de fidelidad y corrección de la última ejecución de evaluación, tasa de rechazo y tasa de citas. La inferior muestra operaciones: latencia, tasa de error y las preguntas sin respuesta más frecuentes.
La lista de preguntas sin respuesta es a menudo la parte más útil. Le dice al equipo de contenido exactamente qué artículos escribir a continuación.
¿Con qué frecuencia debe evaluar?
Ejecute el conjunto de prueba de recuperación y respuesta después de cada cambio significativo: nuevos documentos, un nuevo modelo de incrustación, un tamaño de fragmento diferente, un nuevo modelo de lenguaje o prompt. También ejecútelo en un horario fijo, mensualmente por ejemplo, porque el contenido cambia con el tiempo.
Muestree conversaciones en vivo semanalmente para revisión humana. Los conjuntos de prueba se alejan de lo que los usuarios realmente preguntan; las muestras en vivo lo mantienen honesto y dan nuevas preguntas para agregar al conjunto.
¿Qué cambios suelen mejorar más los números?
Las correcciones de contenido a menudo superan a las actualizaciones de modelos. Eliminar documentos duplicados y obsoletos, dividir páginas largas en secciones enfocadas y agregar respuestas faltantes tienden a elevar tanto el recall de recuperación como la corrección de la respuesta.
En el lado técnico, la búsqueda híbrida que combina coincidencia de palabras clave y vectorial ayuda con nombres de productos, códigos y frases exactas, que las incrustaciones por sí solas pueden perder. Un paso de reranking que reordena los resultados principales antes de que lleguen al modelo es otra mejora común. Mida cada cambio en el conjunto de prueba antes de mantenerlo.
Mantenga un registro de cambios junto al dashboard, para que cada salto o caída en una puntuación pueda rastrearse a un cambio específico.
Cómo Alien Road aplica la medición RAG
En un compromiso típico de optimización de IA, comenzamos auditando la base de conocimiento que usará el sistema RAG: duplicados, páginas obsoletas, temas faltantes. Luego construimos el conjunto de prueba de preguntas con el equipo de soporte o ventas del cliente a partir de tickets reales y registros de chat.
Durante la configuración medimos la calidad de recuperación y respuesta en cada cambio, y después del lanzamiento ejecutamos evaluaciones mensuales y muestras en vivo semanales. El cliente recibe un dashboard con vistas de negocio, calidad y operaciones, y una lista mensual de brechas de contenido extraídas de preguntas sin respuesta.
Por dónde empezar esta semana
Exporte las últimas 200 preguntas que los clientes hicieron a su equipo de soporte o chatbot. Agrúpelas por tema y, para cada una de las 30 más comunes, encuentre el artículo de ayuda que la responde, o note que no existe ninguna.
Esa hoja de cálculo es el inicio de su conjunto de prueba y su métrica de cobertura a la vez. Incluso antes de que se construya cualquier sistema RAG, muestra cuánto de su contenido está listo para ser usado por uno.
Comparta la lista con las personas que poseen el contenido de ayuda. Las brechas encontradas de esta manera son concretas y fáciles de abordar, lo que justifica el trabajo de medición antes de que exista cualquier dashboard.
Siga leyendo: Optimización con IA · Optimización con IA