La generación aumentada por recuperación (RAG) es un método en el que un modelo de IA primero busca en sus propios documentos pasajes relevantes y luego escribe una respuesta utilizando esos pasajes como contexto. Pasar un piloto de RAG a producción requiere un inventario de fuentes limpio, una fragmentación sensata, una capa de recuperación probada, un conjunto de evaluación con respuestas conocidas, controles de acceso y monitoreo. Omitir la evaluación es la razón más común por la que los pilotos se ven bien en las demostraciones y fallan con usuarios reales.
RAG se convirtió en la forma predeterminada de hacer que los modelos de lenguaje respondan a partir del conocimiento de la empresa sin tener que volver a entrenarlos. Un asistente de soporte que lee el centro de ayuda, una herramienta de ventas que cita la lista de precios actual, una búsqueda interna sobre documentos de políticas: todos estos son sistemas RAG. El modelo sigue siendo general; el conocimiento proviene de la recuperación en el momento de la consulta, por lo que actualizar un documento actualiza la respuesta.
¿En qué consiste un sistema RAG?
Cada configuración de RAG tiene las mismas partes básicas, independientemente del marco que utilice.
- Fuentes: los documentos, páginas, feeds de productos o tablas de bases de datos desde los que desea que el sistema responda.
- Ingesta: cargar, limpiar y dividir esas fuentes en fragmentos.
- Incrustaciones (Embeddings): convertir fragmentos en vectores con un modelo de incrustación, de modo que los significados similares se sitúen cerca unos de otros.
- Índice: una base de datos vectorial o motor de búsqueda, como pgvector, Pinecone, Weaviate, Elasticsearch u OpenSearch, a menudo combinado con búsqueda por palabras clave.
- Recuperador (Retriever): la lógica que encuentra los mejores fragmentos para una pregunta, a veces seguida de un reordenador.
- Generador: el modelo de lenguaje que escribe la respuesta a partir de los fragmentos recuperados.
- Capa de aplicación: la interfaz, el registro, los permisos y los comentarios.
Marcos como LangChain y LlamaIndex, y opciones administradas en Azure AI Search, Google Vertex AI y Amazon Bedrock, empaquetan muchas de estas piezas.
Fase 1: lista de verificación piloto
El piloto debe responder a una pregunta: ¿puede la recuperación encontrar la información correcta para preguntas reales?
- Elija un caso de uso limitado con un propietario claro, como responder preguntas sobre envíos y devoluciones.
- Recopile de 50 a 100 preguntas reales de tickets, chats o registros de búsqueda.
- Escriba la respuesta correcta y el documento fuente para cada una. Este se convierte en su conjunto de evaluación.
- Inventario de fuentes: enumere cada documento, su propietario, la frecuencia de actualización y si sigue siendo preciso.
- Elimine documentos obsoletos, duplicados y contradictorios antes de la ingesta.
- Comience con una fragmentación simple, como por encabezado o unas pocas cientos de palabras con algo de superposición.
- Pruebe la recuperación sola: para cada pregunta, ¿está la fuente correcta en los mejores resultados?
- Solo entonces conecte el generador y pruebe las respuestas completas.
¿Cómo debe fragmentar e indexar el contenido?
La fragmentación decide lo que el modelo puede ver. Los fragmentos que son demasiado pequeños pierden contexto; los fragmentos que son demasiado grandes diluyen la relevancia y desperdician tokens.
Reglas prácticas de fragmentación
- Divida primero según la estructura del documento: encabezados, secciones, pares de preguntas frecuentes, filas de tablas.
- Mantenga el título del documento y el encabezado de la sección adjuntos a cada fragmento como metadatos.
- Almacene la URL de origen, la fecha de última actualización y el nivel de acceso con cada fragmento.
- Trate las tablas y las especificaciones de productos con cuidado; aplanar una tabla en prosa a menudo la rompe.
La búsqueda híbrida, que combina la coincidencia de palabras clave con la similitud vectorial, suele funcionar mejor que cualquiera de las dos por sí sola, especialmente para códigos de productos, nombres y frases exactas que las incrustaciones manejan mal.
Fase 2: endurecimiento para la producción
Una vez que la recuperación funciona, la lista de verificación cambia a confiabilidad y seguridad.
- Instrucciones de fundamentación: dígale al modelo que responda solo a partir del contexto proporcionado y que diga cuándo la respuesta no está allí.
- Citas: muestre el enlace de origen para cada respuesta para que los usuarios y revisores puedan verificarlo.
- Control de acceso: filtre la recuperación según los permisos del usuario, para que un cliente nunca vea documentos solo internos.
- Defensa contra inyección de prompts: trate el texto recuperado como datos. Un documento que contenga “ignore las instrucciones anteriores” no debe cambiar el comportamiento.
- Datos personales: excluya o enmascare campos confidenciales en la ingesta.
- Frescura: programe la reingesta cuando las fuentes cambien y elimine fragmentos de documentos eliminados.
- Alternativas (Fallbacks): dirija las preguntas sin respuesta a un humano o a un formulario de contacto.
¿Cómo sabe si el sistema es lo suficientemente bueno?
Mida la recuperación y la generación por separado. Si una respuesta es incorrecta, necesita saber qué parte falló.
- Tasa de aciertos de recuperación: proporción de preguntas de evaluación donde la fuente correcta aparece en los mejores resultados.
- Fidelidad: proporción de respuestas totalmente respaldadas por el contexto recuperado.
- Corrección de la respuesta: proporción de respuestas que coinciden con la respuesta de referencia.
- Precisión de rechazo: cuando la respuesta no está en las fuentes, ¿el sistema lo dice?
- Latencia y costo por respuesta.
Herramientas como Ragas, TruLens y las funciones de evaluación en las principales plataformas en la nube pueden automatizar partes de esto, pero haga que los humanos revisen una muestra en cada lanzamiento. Establezca un objetivo para cada métrica antes del lanzamiento y no entre en funcionamiento hasta que lo cumpla.
Fase 3: monitoreo después del lanzamiento
- Registre cada pregunta, los ID de los fragmentos recuperados y la respuesta.
- Recopile comentarios de pulgar hacia arriba y pulgar hacia abajo con un comentario opcional.
- Revise semanalmente las preguntas sin respuesta y con baja calificación; revelan contenido faltante.
- Vuelva a ejecutar el conjunto de evaluación después de cualquier cambio en la fragmentación, el modelo de incrustación, el prompt o el modelo generador.
- Realice un seguimiento de qué fuentes se recuperan más; asegúrese de que sus propietarios sepan que son críticas para el negocio.
Cómo aplica Alien Road la generación aumentada por recuperación
En un compromiso típico, el descubrimiento es principalmente trabajo de contenido. Recopilamos preguntas reales de la bandeja de entrada de soporte, la búsqueda en el sitio y el equipo de ventas del cliente, y luego las asignamos a páginas y documentos existentes. Esto generalmente muestra brechas y contradicciones que deben corregirse antes de que se involucre cualquier IA.
La configuración sigue la lista de verificación anterior: fuentes limpias, fragmentación basada en estructura con metadatos, búsqueda híbrida y un prompt fundamentado con citas. Los permisos se diseñan con el contacto de TI del cliente, y el conjunto de evaluación se acuerda con el propietario del negocio para que todos usen la misma definición de una respuesta correcta.
La medición utiliza el conjunto de evaluación en cada lanzamiento más comentarios en vivo una vez que el sistema está en uso. Los informes mensuales enumeran la tasa de aciertos de recuperación, la fidelidad, los temas de preguntas sin respuesta y las actualizaciones de contenido que provocaron. Las mismas mejoras de contenido a menudo ayudan también a la búsqueda orgánica, porque las páginas más claras responden mejor a las preguntas tanto para las personas como para los motores de búsqueda.
Por dónde empezar esta semana
Exporte las últimas 100 preguntas de clientes o empleados de un canal. Para cada una, encuentre la página o el documento que contiene la respuesta y marque aquellas para las que no existe una buena fuente. Esa hoja de cálculo es su conjunto de evaluación y su lista de brechas de contenido al mismo tiempo, y es la base de cualquier piloto de RAG que valga la pena ejecutar.
Siga leyendo: Optimización con IA · Optimización con IA