La mayoría de las pequeñas empresas deberían empezar con buenos prompts y, si es necesario, con la recuperación de sus propios documentos, no con el fine-tuning. El fine-tuning y LoRA valen la pena cuando tiene cientos de ejemplos de alta calidad de una tarea repetida y un prompt por sí solo no puede obtener el estilo o el formato correctamente de manera consistente, por ejemplo, clasificando consultas o escribiendo descripciones de productos en un estilo de casa fijo.
El fine-tuning significa continuar entrenando un modelo de lenguaje o imagen existente con sus propios ejemplos para que aprenda un patrón. El fine-tuning completo actualiza todos los pesos de un modelo, lo cual es costoso. LoRA, abreviatura de low-rank adaptation, es una técnica introducida por investigadores de Microsoft que entrena un pequeño conjunto de parámetros adicionales sobre un modelo congelado. El resultado es un archivo adaptador ligero que cambia el comportamiento del modelo a una fracción del costo. LoRA se usa ampliamente con modelos abiertos como Llama, Mistral y Stable Diffusion, y los servicios de fine-tuning alojados de OpenAI, Google y otros ofrecen resultados similares sin gestionar hardware.
¿Qué problema resuelve realmente el fine-tuning?
El fine-tuning enseña forma, no hechos. Es bueno para hacer que un modelo siga un formato, adopte un tono o clasifique las entradas de la forma en que lo hace su equipo. Es una mala forma de enseñar información cambiante como precios, niveles de stock u horarios de apertura, porque esos cambian más rápido de lo que puede volver a entrenar.
Para los hechos, la generación aumentada por recuperación (RAG) suele ser mejor: el modelo busca documentos actuales en el momento de la pregunta. Muchas empresas que creen que necesitan fine-tuning en realidad necesitan un FAQ bien organizado y una configuración de recuperación.
¿Necesita fine-tuning o un mejor prompt?
Hágase tres preguntas antes de gastar dinero:
- ¿Ha probado un prompt detallado con cinco o más buenos ejemplos? El few-shot prompting resuelve muchos problemas de estilo.
- ¿La tarea se repite al menos cientos de veces al mes? Si no, editar las salidas a mano es más barato.
- ¿Tiene al menos unos cientos de pares de entrada y salida limpios que estaría feliz de que un modelo copiara?
Si las respuestas son no, sí y no, el siguiente paso honesto es recopilar ejemplos, no entrenar.
¿Qué tareas de pequeñas empresas se adaptan al fine-tuning?
Los buenos candidatos tienen una entrada clara, una salida clara y un estándar consistente. Una tienda de muebles con 3.000 productos podría ajustar un modelo para convertir hojas de cálculo de proveedores en descripciones de productos con su propia voz. Una clínica podría entrenar un clasificador que ordene las consultas web en cita, pregunta de precio, queja u otro, para que el personal responda primero a las correctas.
Los LoRA de imagen se adaptan a las empresas que necesitan muchas imágenes en un estilo consistente, como publicaciones sociales ilustradas. Nunca deben entrenarse con imágenes de las que no tenga derechos, y el entrenamiento con la cara de una persona real necesita el consentimiento de esa persona.
¿Qué datos necesita?
La calidad importa más que la cantidad. Unos pocos cientos de ejemplos cuidadosamente revisados a menudo superan a miles de inconsistentes, porque el modelo copia los errores tan fielmente como el buen trabajo.
Preparación de un conjunto de entrenamiento
- Recopile ejemplos reales de su propio trabajo: descripciones aprobadas, consultas etiquetadas correctamente, respuestas que escribieron sus mejores empleados.
- Elimine datos personales como nombres, números de teléfono y direcciones a menos que tenga una base legal clara.
- Haga que el formato sea idéntico en todos los ejemplos, generalmente un archivo JSONL con campos de entrada y salida.
- Reserve del 10 al 20 por ciento de los ejemplos para pruebas; nunca entrene con ellos.
- Escriba un estándar de una página que describa cómo se ve una buena salida, para que pueda calificar los resultados.
¿Cuánto cuesta y qué tan difícil es?
Hay dos rutas generales. El fine-tuning alojado de un proveedor de modelos significa subir un archivo, pagar por token de entrenamiento y luego por uso. No necesita hardware y poco código. El LoRA autoalojado en un modelo abierto necesita una GPU, ya sea alquilada en la nube o local, además de alguien cómodo con herramientas como la biblioteca PEFT de Hugging Face.
Los precios cambian a menudo, así que consulte las páginas de precios actuales. Para una pequeña empresa, el mayor costo suele ser el tiempo del personal para preparar y verificar los datos, y el trabajo continuo de reentrenamiento cuando cambia su estándar.
¿Cómo sabe si funcionó?
Compare el modelo ajustado con su mejor prompt en los ejemplos retenidos. Califique ambos contra su estándar de una página. Si la versión ajustada no es claramente mejor, mantenga el prompt; es más fácil de cambiar mañana.
Para los clasificadores, mida la precisión por categoría, no en general. Un modelo que acierta el 90 por ciento de las veces pero pierde la mayoría de las quejas es un problema.
¿Cuáles son los riesgos del fine-tuning?
Un modelo ajustado copia sus datos, incluidos sus defectos. Si sus descripciones de productos anteriores contienen afirmaciones obsoletas o ortografía inconsistente, el modelo las repetirá con confianza. Los ejemplos limpios no son opcionales.
También existe un riesgo de mantenimiento. Cuando el modelo base se retira o actualiza, es posible que su fine-tuning deba rehacerse. Mantenga el archivo de entrenamiento, el conjunto de prueba y las puntuaciones en una carpeta para que el reentrenamiento sea un trabajo rutinario en lugar de un proyecto nuevo.
Cómo aplica Alien Road el fine-tuning y LoRA
En un compromiso típico, el primer entregable suele ser una recomendación de no hacer fine-tuning todavía. Revisamos la tarea del cliente, probamos un prompt estructurado con ejemplos y solo avanzamos si la brecha es real.
Cuando el fine-tuning tiene sentido, ayudamos a construir y limpiar el conjunto de entrenamiento a partir del trabajo aprobado del propio cliente, ejecutamos un fine-tuning alojado o un LoRA en un modelo abierto, y lo comparamos con la línea base del prompt en los datos retenidos. El cliente recibe un informe breve con puntuaciones, costo por mil salidas y un plan de reentrenamiento, y mantiene la propiedad del conjunto de datos.
Por dónde empezar esta semana
Elija la tarea de texto única que su equipo repite más. Escriba el estándar de una página para ella, luego inicie una carpeta compartida de ejemplos aprobados, agregando cada uno bueno que su equipo produzca.
En paralelo, cree un prompt con cinco de esos ejemplos y pruébelo en diez entradas nuevas. Si el prompt ya lo lleva la mayor parte del camino, se ha ahorrado un proyecto de entrenamiento. Si no, su carpeta ya se está convirtiendo en el conjunto de datos.
Establezca una fecha de revisión dentro de un mes. Para entonces sabrá si la brecha entre la salida del prompt y su estándar se está cerrando por sí sola o si el entrenamiento es realmente el siguiente paso.
Siga leyendo: Optimización con IA · Optimización con IA