Los costes de la generación aumentada por recuperación (RAG) provienen de cuatro lugares: preparar sus documentos, almacenarlos como incrustaciones vectoriales, ejecutar la recuperación en cada pregunta y pagar a un modelo de lenguaje para que escriba la respuesta. Para la mayoría de los casos de uso de marketing y soporte, los tokens del modelo y las personas que mantienen el contenido cuestan mucho más que la base de datos. El ROI depende de cuántas preguntas repetitivas responde el sistema correctamente sin un humano.
¿Qué es RAG, en términos sencillos?
RAG es un patrón, no un producto. Un usuario hace una pregunta, el sistema busca en una base de conocimientos privada los pasajes más relevantes, y esos pasajes se entregan a un modelo de lenguaje grande como contexto. El modelo responde entonces utilizando ese material en lugar de confiar solo en lo que aprendió durante el entrenamiento.
El patrón existe porque los modelos no conocen su lista de precios, su política de devoluciones o el resumen de la campaña de la semana pasada. Ajustar un modelo con esos datos es lento y se vuelve obsoleto. La recuperación mantiene los hechos fuera del modelo, por lo que actualizar una respuesta significa actualizar un documento.
Los bloques de construcción comunes en el momento de escribir este artículo incluyen modelos de incrustación de OpenAI, Cohere o Google, almacenes vectoriales como Pinecone, Weaviate, Qdrant o pgvector dentro de PostgreSQL, y bibliotecas de orquestación como LangChain o LlamaIndex. También existen opciones gestionadas: la búsqueda de archivos de OpenAI, Google Vertex AI Search y Amazon Bedrock Knowledge Bases agrupan la mayor parte de la pila.
¿A dónde va realmente el dinero?
Los equipos a menudo presupuestan para la base de datos vectorial y olvidan todo lo que la rodea. Una hoja de costes realista tiene cinco líneas, y el orden a continuación coincide aproximadamente con la atención que merece cada una.
- Tokens de generación: cada respuesta envía la pregunta más los pasajes recuperados a un modelo. Las ventanas de contexto largas hacen que este sea el mayor coste variable.
- Preparación de contenido: limpieza de PDF, división de documentos en fragmentos, eliminación de páginas obsoletas y etiquetado de metadatos. Esto es principalmente tiempo del personal.
- Incrustaciones (Embeddings): un coste único para incrustar el corpus, luego pequeños costes recurrentes para documentos nuevos o modificados y para cada consulta entrante.
- Almacenamiento y alojamiento vectorial: modesto para unos pocos miles de documentos, más notable cuando indexas millones de fragmentos o necesitas baja latencia entre regiones.
- Evaluación y mantenimiento: conjuntos de prueba, paneles de monitoreo y alguien que revisa las respuestas incorrectas cada semana.
Los precios de cada uno de estos cambian a menudo, así que consulte las páginas de los proveedores actuales antes de comprometerse. Lo que permanece estable es la forma: la generación y la mano de obra dominan, el almacenamiento rara vez decide el proyecto.
Por qué el tamaño del fragmento cambia la factura
Si cada fragmento recuperado es de 800 tokens y pasas cinco de ellos, cada pregunta conlleva unos 4.000 tokens de contexto antes de que el modelo escriba una palabra. Reducir a la mitad el tamaño del fragmento o recuperar tres pasajes en lugar de cinco reduce ese coste directamente. También puede perjudicar la precisión, por lo que pruebas ambos ajustes contra el mismo conjunto de preguntas.
¿Cómo se construye un presupuesto para el primer año?
Empiece por el volumen, no por la tecnología. Cuente cuántas preguntas verá el sistema por mes, estime el tamaño promedio del contexto y multiplíquelo por la tarifa publicada por token del modelo. Luego agregue los costes fijos.
- Paso 1: Extraiga tres meses de tickets de soporte, registros de chat o consultas de ventas y cuente los tipos de preguntas repetidas.
- Paso 2: Elija un alcance piloto, por ejemplo, solo envíos y devoluciones, y estime el volumen mensual de consultas para ese alcance.
- Paso 3: Ponga precio a dos modelos, uno pequeño y rápido y otro más grande, utilizando su longitud de prompt promedio.
- Paso 4: Agregue la mano de obra de configuración para la limpieza de contenido, generalmente el elemento único más grande.
- Paso 5: Reserve un bloque de mantenimiento mensual para revisar las respuestas fallidas y actualizar los documentos.
Por ejemplo, un minorista de muebles en línea que responde preguntas de entrega y montaje podría encontrar que un modelo pequeño maneja bien el 90 por ciento de las consultas, con el modelo más grande reservado para escalaciones. Esa elección de enrutamiento a menudo importa más que cualquier decisión de base de datos.
¿Qué métricas demuestran que RAG es rentable?
Los argumentos de ROI se desmoronan cuando el único número es “preguntas respondidas”. Un bot puede responder miles de preguntas mal. Realice un seguimiento de los resultados que un equipo financiero ya reconoce.
- Tasa de deflexión: porcentaje de conversaciones cerradas sin un agente humano, verificado contra contactos repetidos dentro de las 48 horas.
- Precisión de la respuesta: calificada en un conjunto de prueba fijo de preguntas reales, ejecutado nuevamente después de cada cambio de contenido o modelo.
- Coste por consulta resuelta: gasto mensual total de RAG dividido por conversaciones resueltas correctamente.
- Tiempo ahorrado para el personal: minutos por ticket antes y después, muestreados en lugar de adivinados.
- Señales de ingresos: para asistentes de preventa, tasa de conversión asistida en comparación con un grupo de control.
Compare el coste por consulta resuelta con su coste actual por ticket manejado por humanos. Si la brecha es pequeña, el proyecto aún puede valer la pena por la velocidad o la cobertura de 24 horas, pero dígalo honestamente en el caso de negocio.
¿Qué suele inflar los costes de RAG?
Tres hábitos aumentan los presupuestos. El primero es indexar todo: mazos de campañas antiguas, PDF duplicados y páginas de borrador añaden ruido, aumentan los errores de recuperación y elevan el almacenamiento. El segundo es usar el modelo más grande por defecto para cada pregunta. El tercero es saltarse la evaluación, por lo que nadie nota que un cambio de contenido rompió veinte respuestas hasta que los clientes se quejan.
El almacenamiento en caché ayuda. Muchos proveedores ahora ofrecen almacenamiento en caché de prompts o tarifas más baratas para contextos repetidos, y las preguntas frecuentes pueden ser atendidas desde una respuesta almacenada que se actualiza según un horario.
Cómo aplica Alien Road RAG para los clientes
En un compromiso típico, comenzamos con el descubrimiento: exportamos preguntas reales de los clientes desde el servicio de asistencia, CRM o búsqueda en el sitio y las agrupamos por intención. Esa lista se convierte tanto en el alcance piloto como en el conjunto de evaluación, por lo que el éxito se define antes de que se construya nada.
La configuración sigue a un primer lanzamiento estrecho. Limpiamos los documentos fuente, acordamos las reglas de fragmentación y metadatos con el propietario del contenido del cliente y conectamos la recuperación a un modelo que se ajuste al presupuesto. La medición se ejecuta desde el primer día: cada respuesta se registra con los pasajes utilizados, y una revisión semanal marca las respuestas incorrectas o no compatibles. Los informes se envían al cliente como una hoja mensual corta con deflexión, precisión, coste por consulta resuelta y la lista de documentos que necesitan actualización.
Por dónde empezar esta semana
Exporte las 200 preguntas de clientes más comunes del último trimestre y escriba la respuesta correcta para 50 de ellas. Ese pequeño archivo es su conjunto de prueba, su documento de alcance y su primera línea base de ROI. Ponga precio a un modelo pequeño y a uno grande contra él antes de elegir cualquier proveedor, y guarde la hoja de cálculo: se convertirá en el presupuesto que defenderá más tarde.
Siga leyendo: Optimización con IA · Optimización con IA