El ajuste fino adapta un modelo de lenguaje o imagen preentrenado a una tarea específica entrenándolo más a fondo con sus propios ejemplos. LoRA, abreviatura de Low-Rank Adaptation, es un método que entrena pesos de adaptador pequeños en lugar de todo el modelo, lo que reduce el coste de computación y el almacenamiento. Una lista de verificación de implementación cubre cuándo realizar el ajuste fino, cómo preparar los datos, cómo evaluar y cómo desplegar de forma segura.
LoRA fue introducido por investigadores de Microsoft en 2021 y se ha convertido en el estándar para adaptar modelos de pesos abiertos como Llama, Mistral y Qwen, así como modelos de imagen como Stable Diffusion. Los proveedores alojados, incluidos OpenAI y Google, ofrecen su propio ajuste fino gestionado para algunos modelos, a menudo utilizando métodos similares de eficiencia de parámetros en segundo plano.
¿Debería realizar un ajuste fino?
A menudo no. Muchas tareas de marketing se resuelven mejor con buenos prompts, ejemplos en el prompt o generación aumentada por recuperación (RAG) que alimenta al modelo con sus documentos en el momento de la respuesta. El ajuste fino vale la pena cuando la misma tarea limitada se repite en gran volumen y los prompts por sí solos dan resultados inconsistentes.
Buenas razones para realizar un ajuste fino
- Un formato de salida fijo que el modelo sigue rompiendo, como atributos de producto estructurados
- Una voz de marca que los prompts no pueden mantener a través de miles de salidas
- Tareas de clasificación, como clasificar tickets de soporte o reseñas en categorías
- Reducir costes trasladando una tarea de un modelo grande a uno más pequeño y ajustado
- Un estilo visual consistente para la generación de imágenes, utilizando un LoRA de imagen
Malas razones
- Enseñar al modelo hechos que cambian a menudo, como precios o niveles de stock
- Arreglar una tarea que aún no ha definido claramente
- Tener menos de unos pocos cientos de buenos ejemplos
Paso 1: definir la tarea y los criterios de éxito
Anote la entrada, la salida esperada y lo que significa “bueno” en términos medibles. Los objetivos vagos como “mejor copia” no se pueden probar, y una tarea que no se puede probar no se puede ajustar. Para una tarea de descripción de producto, “bueno” podría significar atributos correctos, un rango de longitud establecido, sin afirmaciones prohibidas y una calificación de estilo por parte de un revisor.
Luego, cree un conjunto de evaluación antes de cualquier entrenamiento. Tome de 100 a 300 entradas reales, escriba o apruebe salidas ideales y manténgalas a un lado. Este conjunto nunca entra en el entrenamiento. Cada versión del modelo será puntuada contra él.
Paso 2: preparar los datos de entrenamiento
La calidad supera a la cantidad. Unos pocos cientos de ejemplos cuidadosamente revisados a menudo superan a miles de ejemplos ruidosos para tareas limitadas. Elimine duplicados, corrija errores de formato y asegúrese de que los ejemplos cubran casos extremos, como entradas muy cortas o campos faltantes.
Verifique los derechos de datos y la privacidad. Los correos electrónicos de los clientes, los chats de soporte y las reseñas pueden contener datos personales. Elimine nombres, correos electrónicos y números de teléfono, y confirme que tiene una base legal para usar los datos para el entrenamiento bajo GDPR o KVKK, dependiendo de dónde se encuentren sus clientes.
Paso 3: ¿cómo elige el modelo base y la configuración?
Elija el modelo más pequeño que pueda realizar bien la tarea, ya que los modelos más pequeños son más baratos de ejecutar. Pruebe primero el modelo base no ajustado en su conjunto de evaluación; la brecha entre esa puntuación y su objetivo le dice cuánto tiene que ofrecer el ajuste fino.
Para LoRA, la configuración principal es el rango (a menudo de 8 a 64), la tasa de aprendizaje, el número de épocas y qué capas reciben adaptadores. Bibliotecas como Hugging Face PEFT, Axolotl y Unsloth manejan la mecánica. QLoRA, una variante que carga el modelo base en precisión de 4 bits, le permite ajustar modelos de tamaño mediano en una sola GPU.
Paso 4: evaluar honestamente
Puntúe cada versión entrenada en el conjunto de evaluación reservado. Utilice comprobaciones automáticas siempre que sea posible, como la validez del formato, los campos requeridos y la longitud, y la revisión humana para el tono y la precisión en una muestra.
Esté atento al sobreajuste: la pérdida de entrenamiento cae mientras que las puntuaciones de evaluación se estancan o caen. Si eso sucede, reduzca las épocas, baje la tasa de aprendizaje o agregue ejemplos más variados antes de intentar un rango mayor. También pruebe el comportamiento general. Un modelo ajustado con fuerza en una tarea puede empeorar en seguir instrucciones básicas o comenzar a repetir frases de entrenamiento palabra por palabra.
Paso 5: planificar el despliegue en producción
Las opciones de despliegue dependen del modelo. Los ajustes finos alojados se ejecutan en el endpoint del proveedor. Los modelos de pesos abiertos con adaptadores LoRA pueden ejecutarse en servidores de inferencia como vLLM o Text Generation Inference, y algunas configuraciones cargan varios adaptadores en un modelo base, lo que mantiene los costes bajos cuando tiene adaptadores para diferentes clientes o tareas.
Lista de verificación de producción
- Versionar cada adaptador y registrar sus datos de entrenamiento y puntuación de evaluación
- Mantener la versión anterior lista para una reversión rápida
- Registrar entradas y salidas, con datos personales eliminados, para su revisión posterior
- Dirigir una parte del tráfico a la nueva versión primero y comparar
- Establecer un ciclo de revisión, como mensual, para volver a entrenar con nuevos ejemplos aprobados
Control de costes
Los costes de entrenamiento suelen ser pequeños en comparación con la inferencia a escala. Estime las solicitudes mensuales, los tokens promedio por solicitud y el precio por token u hora de GPU, luego compare el modelo pequeño ajustado contra el modelo grande no ajustado. La opción ajustada a menudo gana en costes operativos incluso cuando el modelo grande puntúa ligeramente mejor. Incluya también los costes ocultos: las horas dedicadas a preparar datos, revisar salidas y volver a entrenar cuando la tarea cambia. Un piloto que ignora el tiempo del personal parecerá más barato en papel de lo que es.
Cómo aplica Alien Road el ajuste fino y LoRA
En un compromiso típico, el descubrimiento comienza probando si el prompting o la recuperación ya resuelven el problema. Muchas solicitudes terminan ahí, lo que ahorra al cliente un proyecto de entrenamiento. Cuando el volumen y las necesidades de consistencia lo justifican, definimos la tarea, construimos el conjunto de evaluación con el equipo del cliente y verificamos los datos en busca de información personal y derechos.
La configuración cubre la selección del modelo base, las ejecuciones de entrenamiento de LoRA y la puntuación lado a lado contra el modelo base. La medición continúa después del lanzamiento a través de muestras registradas revisadas contra los mismos criterios, y los informes muestran puntuaciones de calidad, coste por mil salidas y cualquier desviación. Cada versión del adaptador está documentada para que el cliente pueda auditar o revertir.
Por dónde empezar esta semana
Elija una tarea repetitiva y anote veinte entradas reales con salidas ideales. Ejecútelas a través de su modelo actual con su mejor prompt y puntúe los resultados.
Si menos de ocho de cada diez cumplen con el estándar después de las mejoras en el prompt, recopile unos cientos de ejemplos más. Ese es el punto donde un piloto de LoRA comienza a tener sentido.
Seguir leyendo: Optimización con IA · Optimización con IA