Los errores más comunes de retrieval-augmented generation (RAG) son alimentar el sistema con contenido fuente desordenado, dividir mal los documentos, confiar en la recuperación sin probarla y lanzar sin una forma de medir la calidad de las respuestas. La mayoría de los fallos de RAG parecen problemas del modelo, pero comienzan en las capas de datos y recuperación. Las agencias que crean asistentes RAG fiables dedican más tiempo a la preparación y evaluación del contenido que a elegir el modelo de lenguaje.
¿Qué es retrieval-augmented generation?
RAG es una forma de hacer que un modelo de lenguaje responda a partir de su propia información. Cuando un usuario hace una pregunta, el sistema busca en una base de conocimientos, generalmente con incrustaciones almacenadas en una base de datos vectorial, recupera los pasajes más relevantes y se los entrega al modelo con instrucciones para que responda a partir de ellos. El modelo escribe la respuesta; el paso de recuperación decide qué sabe.
Las herramientas comunes incluyen marcos como LangChain y LlamaIndex, bases de datos vectoriales como Pinecone, Weaviate, Qdrant o pgvector, y opciones gestionadas como la búsqueda de archivos de OpenAI, Google Vertex AI Search y Amazon Bedrock Knowledge Bases. Los errores a continuación se aplican independientemente de la pila que elija.
Error 1: Indexar contenido que nadie ha limpiado
Los equipos a menudo apuntan un sistema RAG a toda una unidad compartida o sitio web y esperan buenas respuestas. El resultado es una base de conocimientos llena de listas de precios antiguas, borradores de documentos, páginas duplicadas y contradicciones. El modelo recupera lo que mejor coincide, incluso si está desactualizado.
- Elija las fuentes deliberadamente y enumérelas, con un propietario para cada una.
- Elimine borradores, versiones obsoletas y duplicados antes de indexar.
- Resuelva las contradicciones, como dos políticas de devolución diferentes, en la fuente.
- Agregue metadatos como fecha, producto y región para que la recuperación pueda filtrar.
Error 2: Fragmentar mal los documentos
Los documentos se dividen en fragmentos antes de ser incrustados. Los fragmentos que son demasiado pequeños pierden contexto; una oración sobre “la tarifa” no significa nada sin el párrafo que nombra el servicio. Los fragmentos que son demasiado grandes mezclan varios temas y diluyen la recuperación.
Qué funciona mejor
Divida a lo largo de la propia estructura del documento: encabezados, secciones y elementos de lista. Mantenga un encabezado con su contenido. Agregue un poco de superposición entre los fragmentos y almacene el título del documento y la ruta de la sección con cada fragmento. Pruebe varios tamaños de fragmentos con preguntas reales en lugar de elegir un número de un tutorial.
Error 3: Confiar únicamente en la búsqueda vectorial
La búsqueda semántica encuentra significado, pero puede pasar por alto términos exactos como códigos de producto, nombres y números de error. Un usuario que pregunta sobre el modelo “X200-B” puede obtener pasajes sobre un producto similar.
La búsqueda híbrida combina la búsqueda por palabras clave, como BM25, con la búsqueda vectorial, y ahora es compatible con la mayoría de las bases de datos vectoriales y plataformas de búsqueda. Agregar un paso de reordenamiento (reranking), donde un modelo separado reordena los mejores resultados por relevancia, a menudo mejora aún más las respuestas. Ambos son cambios de bajo esfuerzo con beneficios claros en muchos proyectos.
Error 4: Instrucciones débiles para el modelo
Si el prompt no le dice al modelo que responda solo a partir del contenido recuperado, llenará los vacíos con conocimiento general, lo cual puede ser incorrecto para su negocio. Si no dice qué hacer cuando falta la respuesta, adivinará.
Instruya al modelo para que cite qué pasajes utilizó, para decir claramente cuándo la información no está disponible y para sugerir contactar a una persona en esos casos. Mantenga las reglas de tono y formato en el mismo prompt del sistema para que cada respuesta se vea consistente.
Error 5: Sin conjunto de evaluación
Muchos equipos prueban un asistente RAG haciéndole algunas preguntas que se les ocurrieron ese día. Eso pasa por alto los casos difíciles. Sin un conjunto de prueba fijo, nadie puede decir si un cambio ayudó o perjudicó.
- Recopile de cincuenta a doscientas preguntas reales de tickets de soporte, correos electrónicos de ventas o registros de búsqueda.
- Escriba la respuesta correcta y el documento fuente para cada una.
- Califique la recuperación por separado: ¿apareció el pasaje correcto en los mejores resultados?
- Califique las respuestas según la precisión, la integridad y si se mantuvieron dentro de las fuentes.
- Vuelva a ejecutar el conjunto completo después de cada cambio en el contenido, la fragmentación, los prompts o los modelos.
Marcos como Ragas y herramientas dentro de LangSmith, Langfuse o plataformas de proveedores pueden automatizar partes de esto, incluida la calificación basada en modelos. Mantenga una revisión humana de una muestra, porque los jueces automatizados también cometen errores.
Error 6: Ignorar los permisos y la privacidad
Un asistente interno que recupera de cada documento puede revelar salarios, contratos o datos de clientes a cualquiera que pregunte. La recuperación debe respetar los mismos derechos de acceso que los archivos originales. Los asistentes orientados al cliente nunca deben indexar datos personales o notas internas.
Verifique los términos de procesamiento de datos para cada servicio en la tubería y siga las regulaciones como GDPR o KVKK cuando se involucren datos personales.
Error 7: Lanzar y olvidar
El contenido cambia. Los precios se actualizan, los productos se lanzan, las políticas se reescriben. Si el índice no se actualiza, el asistente queda desactualizado mientras sigue sonando seguro. Programe la reindexación, rastree qué documentos cambiaron y revise una muestra de conversaciones en vivo cada semana, especialmente aquellas en las que los usuarios pidieron hablar con una persona o calificaron mal la respuesta.
Cómo aplica Alien Road retrieval-augmented generation
En un compromiso típico, Alien Road comienza con una auditoría de fuentes: qué documentos y páginas debe conocer el asistente, quién es su propietario y dónde entran en conflicto. Primero limpiamos y reestructuramos el contenido prioritario, a menudo reescribiendo páginas largas en secciones de un solo tema que tanto las personas como la recuperación manejan mejor.
La configuración sigue las prácticas anteriores: fragmentación basada en la estructura, búsqueda híbrida con reordenamiento donde la plataforma lo permite, instrucciones claras del sistema y recuperación consciente de los permisos. Antes del lanzamiento, creamos un conjunto de evaluación a partir de las preguntas reales del cliente y acordamos un umbral de calidad.
Después del lanzamiento, informamos sobre la precisión de la recuperación, las puntuaciones de calidad de las respuestas, las tasas de transferencia y las principales preguntas sin respuesta cada mes. Las preguntas sin respuesta se convierten en tareas de contenido para el equipo del cliente, que a menudo es donde provienen las mayores ganancias.
Por dónde empezar esta semana
Si ya ejecuta un asistente RAG, recopile cincuenta preguntas reales que haya recibido y verifique, para cada una, si se recuperó el documento correcto. Si fueron menos que la mayoría, arregle el contenido y la fragmentación antes de tocar el modelo. Si está planeando uno, primero enumere sus fuentes y propietarios; esa lista determinará la calidad del proyecto más que cualquier elección de herramienta.
Siga leyendo: Optimización con IA · Optimización con IA