Las métricas de rendimiento de RAG proporcionan una forma estandarizada de evaluar la eficacia de los sistemas de Generación Aumentada por Recuperación (RAG) midiendo tanto la precisión de los datos recuperados como la calidad de la respuesta generada. Estas mediciones ayudan a los equipos de marketing y a los desarrolladores a identificar dónde puede estar fallando un sistema de AI, ya sea porque está extrayendo la información incorrecta o malinterpretando los datos correctos. Al utilizar marcos de evaluación específicos, las organizaciones pueden garantizar que sus herramientas de AI sigan siendo fiables y útiles para los usuarios finales, manteniendo al mismo tiempo un alto estándar de integridad de datos en todos los puntos de contacto digitales.
Evaluar un sistema RAG requiere un enfoque doble porque el sistema consta de dos partes distintas: el recuperador y el generador. El recuperador es responsable de encontrar documentos relevantes en una base de datos grande, mientras que el generador utiliza esos documentos para redactar una respuesta similar a la humana. Si el recuperador falla, el generador no tiene una base fáctica sobre la cual trabajar. Si el generador falla, incluso los mejores datos darán como resultado una respuesta confusa o incorrecta. Es por esto que el seguimiento de métricas separadas para cada etapa es una práctica estándar para cualquier empresa que busque mantener resultados de AI de alta calidad.
¿Cuáles son los componentes principales del marco RAGAS?
Los marcos de evaluación como RAGAS se centran en métricas como la fidelidad, la relevancia de la respuesta y la precisión del contexto para proporcionar una imagen clara de la salud del sistema. La fidelidad mide qué tan bien la respuesta generada se mantiene fiel al contexto recuperado. Una puntuación de fidelidad alta sugiere que la AI no está inventando cosas ni añadiendo información externa que no estaba presente en los documentos fuente. Esta es una defensa primaria contra las alucinaciones, que pueden dañar la confianza en la marca si una AI proporciona información falsa a un cliente o a un miembro del equipo.
La relevancia de la respuesta se centra en qué tan bien la respuesta final aborda la pregunta real hecha por el usuario. Una AI podría proporcionar una respuesta fácticamente correcta basada en el contexto, pero si no resuelve directamente el problema del usuario, la puntuación de relevancia será baja. Por ejemplo, si un usuario pregunta sobre los tiempos de envío y la AI proporciona un historial detallado del departamento de logística de la empresa, la respuesta es relevante para el tema pero no para la consulta específica. La precisión del contexto, por otro lado, evalúa la calidad del proceso de recuperación comprobando si la información más útil está clasificada en la parte superior de los resultados de búsqueda.
¿Cómo medir el éxito de la recuperación en sistemas RAG?
El éxito de la recuperación a menudo se mide observando cuántos documentos relevantes se encontraron y dónde aparecieron en la lista de resultados. Las métricas comunes utilizadas aquí incluyen Precision@K y Recall@K. Precision@K analiza los ‘K’ mejores resultados y determina qué porcentaje de ellos son realmente útiles para la consulta. Si establece K en 5 y solo un resultado es útil, su precisión es del 20%. Esta métrica es útil para sistemas donde desea proporcionar un conjunto conciso de fuentes al generador sin abrumarlo con ruido.
Recall@K es diferente porque mide cuántos de los documentos relevantes totales disponibles se capturaron con éxito en los mejores resultados. Si hay cinco documentos en su base de datos que podrían responder a una pregunta, y su recuperador solo encuentra dos de ellos, su recall es menor. Un recall alto es importante cuando una pregunta requiere una respuesta integral que sintetice información de múltiples fuentes diferentes. En una cuenta típica, equilibrar estas dos métricas es necesario para garantizar que la AI tenga suficiente información para ser exhaustiva, pero no tanta que se confunda con puntos de datos irrelevantes.
- Mean Reciprocal Rank (MRR): Esto mide qué tan abajo en la lista aparece el primer documento relevante. Una puntuación de 1.0 significa que el mejor documento fue el primer resultado.
- Hit Rate: Una métrica simple que rastrea si la respuesta correcta se encontró en algún lugar de los mejores resultados.
- Normalized Discounted Cumulative Gain (NDCG): Esto evalúa la calidad de la clasificación, dando más peso a los documentos altamente relevantes que aparecen antes en la lista.
- Context Recall: Una métrica específica de RAGAS que verifica si el contexto recuperado contiene todas las partes necesarias para responder a la verdad fundamental.
¿Por qué la calidad de la generación es diferente de la calidad de la recuperación?
La calidad de la generación se centra en el resultado final que ve el usuario, que es independiente del proceso de búsqueda. Incluso si el recuperador encuentra el documento perfecto, el modelo de lenguaje podría tener dificultades para resumirlo o podría ignorar instrucciones específicas. Es por esto que observamos métricas como la similitud de respuesta y la corrección de respuesta. La similitud de respuesta compara la respuesta de la AI con una respuesta correcta conocida (verdad fundamental) utilizando análisis semántico. Comprueba si el significado es el mismo, incluso si las palabras utilizadas son diferentes. Esto es más efectivo que la simple coincidencia de palabras clave.
La corrección de respuesta va un paso más allá al comparar los hechos en la respuesta generada con los hechos en la verdad fundamental. Esta es una medida más objetiva que la similitud porque se centra en la precisión de los datos en lugar del estilo de escritura. Para las empresas en industrias reguladas, como las finanzas o la atención médica, la corrección de respuesta es la métrica más importante a seguir. Un pequeño error en un número o una fecha puede tener consecuencias significativas, por lo que estos sistemas a menudo requieren umbrales estrictos de corrección antes de que se les permita interactuar directamente con los clientes.
| Categoría de métrica | Métrica clave | Lo que mide |
|---|---|---|
| Recuperación | Precisión del contexto | Qué tan relevantes son los mejores resultados de búsqueda para la consulta. |
| Recuperación | Context Recall | Si se encontró toda la información necesaria en la base de datos. |
| Generación | Fidelidad | Si la respuesta se deriva estrictamente de los datos recuperados. |
| Generación | Relevancia de la respuesta | Qué tan bien aborda la respuesta la intención del usuario. |
| Operaciones | Latencia | El tiempo que tarda el sistema en proporcionar una respuesta completa. |
Cómo aplica Alien Road las métricas de rendimiento de RAG
Alien Road aplica las métricas de rendimiento de RAG integrando tuberías de evaluación automatizadas en cada proyecto de AI que gestionamos. Cuando creamos un asistente de conocimiento personalizado para un cliente, comenzamos creando un conjunto de consultas de referencia que representan las interacciones de usuario más comunes. Las utilizamos para ejecutar pruebas automatizadas que miden la fidelidad y la precisión del contexto diariamente. Si vemos una caída en estas puntuaciones, nuestro equipo puede investigar rápidamente si el problema radica en la configuración de la base de datos vectorial o en la ingeniería de prompts del modelo de lenguaje.
En un compromiso típico, también monitoreamos métricas operativas como el costo por consulta y la latencia. Por ejemplo, un cliente que utiliza un sistema RAG para atención al cliente en tiempo real podría necesitar respuestas en menos de dos segundos. Rastreamos la latencia tanto del paso de recuperación como del paso de generación para identificar cuellos de botella. Al optimizar el proceso de recuperación, a menudo podemos reducir la cantidad de tokens enviados al modelo, lo que reduce los costos mientras mejora la velocidad de la respuesta. Este monitoreo exhaustivo garantiza que la AI siga siendo un activo confiable para el negocio a largo plazo.
¿Se puede automatizar la evaluación de sistemas RAG?
La automatización es una forma común de manejar el alto volumen de consultas que procesa un sistema RAG moderno. ‘LLM-as-a-judge’ es una técnica popular donde se utiliza un modelo más potente, como GPT-4, para calificar las respuestas de un modelo más pequeño o rápido. El modelo juez observa el contexto recuperado y la respuesta generada, luego asigna una puntuación basada en el marco RAGAS. Esto permite un monitoreo continuo sin necesidad de que un humano verifique manualmente cada interacción, lo cual sería imposible a escala.
Sin embargo, la automatización no debería reemplazar completamente la supervisión humana. Es una buena práctica que un experto humano revise un pequeño porcentaje de las consultas calificadas para garantizar que el juez automatizado sea justo y preciso. Este enfoque híbrido permite un escalado rápido mientras se mantiene un bucle de retroalimentación confiable. Puede utilizar estos datos para ajustar sus modelos o ajustar su lógica de recuperación con el tiempo. Configurar un panel automatizado que visualice estas métricas ayuda a las partes interesadas a comprender el rendimiento actual y el ROI de sus inversiones en AI.
Gestión de la latencia y los costos operativos
Más allá de la precisión, el éxito de un sistema RAG depende de su eficiencia operativa. La latencia es el tiempo que tarda un usuario en recibir una respuesta. Si el proceso de recuperación implica buscar en millones de documentos o si el generador utiliza un modelo muy lento, la experiencia del usuario se verá afectada. Para mejorar esto, puede observar la métrica de tiempo hasta el primer token, que mide qué tan rápido comienza la AI a escribir la respuesta. Reducir la latencia a menudo implica optimizar la búsqueda vectorial o utilizar un modelo más pequeño para consultas más simples.
El costo es otro factor importante en la estrategia de AI a largo plazo. Cada vez que el sistema recupera datos y genera una respuesta, utiliza recursos informáticos y tokens. Al medir el costo promedio por consulta, los equipos pueden tomar decisiones informadas sobre qué modelos utilizar. Por ejemplo, si un tipo específico de consulta siempre obtiene una puntuación de fidelidad alta con un modelo más barato, puede enrutar esas consultas a ese modelo para ahorrar dinero. El seguimiento de estas métricas operativas junto con las métricas de precisión proporciona una visión completa del valor del sistema para la empresa.
Por dónde empezar con la evaluación de RAG esta semana
Para comenzar a mejorar su sistema, primero debe identificar las preguntas más comunes que hacen sus usuarios. Cree un pequeño conjunto de prueba de 20 a 50 consultas y sus respuestas ideales. Ejecútelas a través de su tubería RAG actual y califíquelas manualmente por fidelidad y relevancia. Este paso manual le dará una comprensión básica de dónde se encuentra su sistema antes de avanzar hacia herramientas automatizadas más complejas. Una vez que tenga una línea de base, puede comenzar a probar diferentes métodos de recuperación para ver cuáles mejoran sus puntuaciones de precisión de contexto.
- Identifique 50 preguntas principales de los usuarios para que sirvan como su conjunto de datos de verdad fundamental.
- Ejecute una prueba inicial para calcular sus puntuaciones actuales de fidelidad y relevancia de respuesta.
- Verifique su latencia de recuperación para ver si cumple con sus requisitos de experiencia de usuario.
- Configure un panel de monitoreo básico para realizar un seguimiento de estos números durante el próximo mes.
Preguntas frecuentes
¿Qué es el marco RAGAS?
RAGAS es un marco de evaluación diseñado específicamente para sistemas de Generación Aumentada por Recuperación. Proporciona un conjunto de métricas que miden la calidad de la recuperación y la generación sin necesidad de un gran conjunto de datos anotado por humanos. Se centra en la fidelidad, la relevancia de la respuesta y la precisión del contexto para ayudar a los desarrolladores a encontrar y corregir errores en sus tuberías de AI.
¿Cómo se mide la alucinación en RAG?
Las alucinaciones se miden principalmente utilizando la métrica de fidelidad. Esto verifica si cada afirmación hecha en la respuesta de la AI puede rastrearse hasta los documentos fuente recuperados. Si la AI incluye información que no está en el contexto, la puntuación de fidelidad cae, lo que indica un alto riesgo de alucinación o interferencia de conocimiento externo.
¿Cuál es la diferencia entre precisión y recall en la recuperación?
La precisión mide el porcentaje de documentos recuperados que son realmente relevantes para la consulta. El recall mide qué porcentaje de todos los documentos relevantes en la base de datos se encontraron con éxito. Una alta precisión significa menos ruido para el modelo, mientras que un alto recall significa que el modelo tiene todos los hechos que necesita para una respuesta completa.
¿Por qué es importante la precisión del contexto?
La precisión del contexto es importante porque evalúa si la información más relevante está clasificada altamente en los resultados de búsqueda. La mayoría de los modelos de lenguaje tienen una ventana de contexto limitada y pueden confundirse si los hechos más importantes están enterrados profundamente en una lista de documentos irrelevantes. Una alta precisión garantiza que los mejores datos se procesen primero.
¿Se puede automatizar la evaluación de RAG para grandes conjuntos de datos?
Sí, la automatización es posible mediante el uso de técnicas de LLM-as-a-judge. Al utilizar un modelo altamente capaz para evaluar los resultados de su sistema RAG, puede calificar miles de consultas rápidamente. Esto permite la integración y el despliegue continuos de mejoras de AI mientras se mantiene un estándar consistente de calidad y precisión.
Siga leyendo: Optimización de AI · Optimización de AI