El fine-tuning es el proceso de entrenar aún más un modelo de AI existente con sus propios ejemplos para que aprenda un estilo, formato o tarea específicos. LoRA, abreviatura de low-rank adaptation, es una forma más económica de hacerlo: entrena una pequeña capa adicional en lugar de cambiar todo el modelo. Para los profesionales del marketing, ambos solo deben considerarse después de haber probado buenos prompts y métodos de recuperación y haber comprobado que no son suficientes.
¿Qué cambia el fine-tuning en un modelo?
Un modelo base ya conoce el lenguaje, la gramática y muchos hechos generales. El fine-tuning le muestra cientos o miles de pares de entrada y salida, como una especificación de producto y la descripción que su equipo escribió para él, de modo que el modelo aprenda a producir ese tipo de salida de forma predeterminada.
Es bueno para enseñar comportamiento: tono, estructura, longitud, etiquetas y formato. Es deficiente para enseñar hechos que cambian. Si realiza un fine-tuning con los precios de esta temporada, el modelo los repetirá mucho después de que sean incorrectos.
OpenAI ofrece fine-tuning para varios de sus modelos a través de la API, Google ofrece ajuste en Vertex AI y Amazon Bedrock admite la personalización para modelos seleccionados. Los modelos de pesos abiertos como Llama, Mistral y Qwen pueden ajustarse en su propio hardware o a través de servicios como Hugging Face.
¿En qué se diferencia LoRA del fine-tuning completo?
El fine-tuning completo actualiza todos los parámetros de un modelo, lo que requiere mucha memoria de GPU y produce una copia completa del modelo para cada versión. LoRA congela los pesos originales y entrena pequeñas matrices que se sitúan junto a ellos. El resultado es un archivo de adaptador que a menudo es una pequeña fracción del tamaño del modelo.
Eso tiene beneficios prácticos. Puede mantener un modelo base e intercambiar adaptadores por marca o por tarea. El entrenamiento es más rápido y económico. QLoRA, un método relacionado, entrena en una versión comprimida del modelo y hace posible el ajuste en una sola GPU potente.
LoRA también se utiliza ampliamente para modelos de imagen. Los diseñadores entrenan adaptadores LoRA en Stable Diffusion o Flux para reproducir un producto, un personaje o un estilo de ilustración de forma consistente, algo que los prompts por sí solos tienen dificultades para hacer.
¿Cuándo deberían los profesionales del marketing usar prompting, RAG o fine-tuning?
La mayoría de los problemas se resuelven con la opción más barata. Avance en la lista solo cuando el paso anterior se haya probado correctamente y falle.
- Prompting con ejemplos: corrige el tono y el formato para la mayoría de las tareas, no cuesta nada cambiarlo.
- Retrieval-augmented generation (RAG): proporciona al modelo sus documentos actuales en el momento de la respuesta, ideal para hechos que cambian.
- Fine-tuning o LoRA: enseña un comportamiento consistente en un volumen muy alto, o un estilo que los ejemplos en un prompt no pueden capturar.
- Entrenar un modelo desde cero: casi nunca es sensato para un equipo de marketing.
Una pregunta de prueba útil: ¿el problema implica saber algo o hacer algo? Saber apunta a RAG. Hacer, de la misma manera miles de veces, puede apuntar a fine-tuning.
¿Qué tareas de marketing son buenas candidatas?
Las buenas candidatas son estrechas, repetitivas y bien documentadas, con una respuesta correcta clara o un estilo de casa estable. También necesita ejemplos limpios; el modelo copiará cada error en el conjunto de entrenamiento.
- Clasificar tickets de soporte o términos de búsqueda en su propia lista de categorías.
- Escribir descripciones de productos en un formato fijo en un catálogo grande.
- Producir variantes de textos publicitarios que sigan reglas estrictas de marca y legales.
- Generar imágenes de marca de un producto o mascota con un LoRA de imagen.
- Extraer datos estructurados de documentos de proveedores.
¿Qué necesita un proyecto de fine-tuning?
Datos
Recopile de unos cientos a unos pocos miles de ejemplos de alta calidad, según la tarea. Elimine datos personales, afirmaciones obsoletas y cualquier cosa que no quiera que se repita. Separe un conjunto de prueba que el modelo nunca vea durante el entrenamiento.
Evaluación
Decida cómo juzgará el éxito antes de entrenar. Para la clasificación, utilice la precisión en el conjunto de prueba. Para la escritura, utilice una revisión a ciegas donde los editores comparen la salida ajustada con la salida con prompt sin saber cuál es cuál.
Mantenimiento
Cuando el modelo base obtenga una nueva versión, es posible que su adaptador necesite volver a entrenarse. Presupueste eso y mantenga los datos de entrenamiento y la configuración en el control de versiones.
¿Cuáles son los riesgos?
Los modelos ajustados pueden volverse más estrechos. Un modelo ajustado intensamente en descripciones de productos puede empeorar en instrucciones generales. El ajuste también puede debilitar algunos comportamientos de seguridad, por lo que los proveedores alojados realizan comprobaciones en los datos de entrenamiento.
La licencia es importante para los modelos de pesos abiertos y para los LoRA de imagen entrenados con fotos o ilustraciones. Entrene solo con material que posea o tenga derechos de uso, y registre de dónde provino cada archivo de entrenamiento.
Cómo aplica Alien Road el fine-tuning y LoRA
Nuestro equipo de optimización de AI trata el fine-tuning como un paso posterior. El descubrimiento comienza probando la tarea con prompts sólidos y, donde los hechos importan, una configuración de recuperación. Solo si estos no alcanzan la calidad o el costo en gran volumen, proponemos el ajuste.
Cuando lo hacemos, construimos el conjunto de entrenamiento con los editores del cliente, eliminamos contenido personal y obsoleto, y reservamos un conjunto de prueba. Los LoRA de imagen se entrenan solo con fotografías de productos que posee el cliente.
Los informes comparan el modelo ajustado con la línea base con prompt en cuanto a precisión, tiempo de edición y costo por mil salidas. Si la ganancia es pequeña, recomendamos quedarse con los prompts, ya que son más fáciles de mantener.
¿Cuánto cuesta?
El fine-tuning alojado generalmente cobra por token de entrenamiento más una tarifa más alta por token cuando usa el modelo ajustado. LoRA en pesos abiertos cuesta horas de GPU, lo que puede ser modesto para modelos pequeños. El mayor costo son las personas: preparar datos, evaluar resultados y volver a entrenar cuando las cosas cambian. Calcule esas horas antes de comparar con el prompting.
Mantenga la decisión simple para las partes interesadas. Muestre la línea base, el resultado ajustado y el costo de mantenimiento anual en una diapositiva. Si el modelo ajustado gana claramente en una tarea que la empresa repite todos los días, el caso se explica por sí solo; si la diferencia necesita una larga explicación, probablemente no valga la pena el mantenimiento.
Por dónde empezar esta semana
Elija una tarea repetida donde la calidad de la salida sea inconsistente. Escriba el mejor prompt que pueda con tres ejemplos y ejecútelo en cincuenta entradas reales. Califique los resultados. Si más de unos pocos necesitan una edición intensa, recopile las versiones editadas a medida que lleguen; eso se convierte en el núcleo de un futuro conjunto de entrenamiento, y sabrá exactamente lo que el modelo ajustado tiene que superar.
Seguir leyendo: Optimización con IA · Optimización con IA