Los pequeños modelos de lenguaje son modelos de IA compactos, generalmente con unos pocos miles de millones de parámetros o menos, que funcionan de forma rápida y económica, a veces directamente en un portátil o teléfono. Para los especialistas en marketing, se adaptan a trabajos estrechos y repetitivos, como etiquetar contenido, clasificar clientes potenciales, redactar variantes cortas de textos y resumir reseñas, donde el razonamiento adicional de un modelo grande aumenta los costos sin aportar mucho valor.
¿Qué cuenta como un pequeño modelo de lenguaje?
No existe un límite oficial, pero el término suele cubrir modelos desde menos de mil millones hasta aproximadamente diez mil millones de parámetros. Los ejemplos incluyen la familia Phi de Microsoft, Gemma de Google, las variantes más pequeñas de Llama de Meta, los modelos compactos de Mistral y los pequeños lanzamientos de Qwen. Apple y Google también ofrecen modelos en el dispositivo en sus sistemas operativos.
Los grandes modelos de frontera, por el contrario, son mucho más grandes y generalmente solo se ejecutan en el centro de datos de un proveedor. La brecha entre ambos se ha reducido. Los modelos pequeños bien entrenados ahora manejan bien muchas tareas lingüísticas cotidianas, aunque todavía se quedan atrás en razonamientos largos, conocimiento general amplio e instrucciones complejas.
¿Por qué debería importarle a un equipo de marketing?
Tres razones: costo, velocidad y privacidad. Un modelo pequeño cuesta una fracción por solicitud, responde en un abrir y cerrar de ojos y puede ejecutarse en hardware que usted controla, por lo que los datos del cliente no necesitan salir de sus sistemas.
Eso importa cuando el volumen es alto. Etiquetar 50.000 comentarios de blogs o correos electrónicos de soporte con un modelo grande es posible, pero es lento y la factura crece rápidamente. Un modelo pequeño entrenado o con prompts para ese trabajo a menudo lo hace lo suficientemente bien.
¿Qué tareas de marketing se adaptan a los modelos pequeños?
El patrón es simple: entrada corta, formato de salida claro, dominio estrecho. Si puede describir la respuesta correcta en una oración, vale la pena probar un modelo pequeño.
- Clasificar los clientes potenciales entrantes en categorías como rango de presupuesto, interés en el servicio o idioma
- Etiquetar reseñas por tema y sentimiento para un equipo de producto
- Escribir muchas variantes cortas de un titular de anuncio a partir de un brief fijo
- Extraer atributos de productos como color, tamaño y material del texto del proveedor
- Resumir transcripciones de llamadas en tres puntos clave para una nota de CRM
- Detectar el idioma de un mensaje y dirigirlo al equipo correcto
Tareas para mantener en modelos más grandes: artículos de formato largo, documentos de estrategia, investigación de varios pasos y cualquier cosa que necesite hechos actualizados o un razonamiento cuidadoso en muchas fuentes.
¿Cómo fallan los modelos pequeños?
Fallan silenciosamente. Un modelo pequeño a menudo producirá un texto seguro que es incorrecto, especialmente cuando se le pregunta sobre hechos que nunca aprendió. También puede ignorar partes de una instrucción larga o romper un formato de salida requerido.
Signos comunes de falla
- Inventar detalles del producto que no están en el texto fuente
- Eliminar un campo de una salida JSON cuando la entrada es inusual
- Cambiar de idioma a mitad de la respuesta en entradas multilingües
- Rendimiento débil en turco, azerbaiyano u otros idiomas con menos datos de entrenamiento
La solución es reducir aún más la tarea, dar dos o tres ejemplos en el prompt y validar las salidas con código. Si un campo debe ser uno de cinco valores, verifíquelo automáticamente y envíe los fallos a una persona.
¿Debería ajustar (fine-tune) un modelo pequeño?
El ajuste fino significa entrenar el modelo un poco más con sus propios ejemplos. Para los modelos pequeños es asequible y a menudo es el paso que convierte un resultado débil en uno bueno. Unos pocos cientos a unos pocos miles de ejemplos limpios pueden enseñar a un modelo sus categorías y tono.
Antes de realizar el ajuste fino, pruebe primero un buen prompt con ejemplos. Si la precisión aún no es la que necesita, recopile datos reales etiquetados del trabajo pasado de su equipo. Técnicas como LoRA hacen que el ajuste fino sea lo suficientemente barato como para ejecutarlo en una sola GPU alquilada. Mantenga un conjunto de prueba reservado para que pueda demostrar que el modelo ajustado es mejor.
¿Cómo elegir entre la nube y el dispositivo?
Ejecutar un modelo pequeño en la nube a través de un proveedor como Hugging Face Inference, Amazon Bedrock o Google Vertex AI es el comienzo más fácil. Ejecutarlo en su propio servidor o portátil con herramientas como Ollama o LM Studio brinda control total y sin tarifas por solicitud.
- Nube: rápido de iniciar, escala bajo demanda, los datos van al proveedor bajo sus términos
- Servidor propio: costo fijo, los datos permanecen dentro, necesita a alguien para mantenerlo
- En el dispositivo en una aplicación: costo de servidor cero y uso sin conexión, pero limitado por el hardware del usuario
Para la mayoría de los equipos de marketing, la ruta de la nube es el primer paso correcto. Pase al autoalojamiento solo cuando el volumen o las reglas de datos lo justifiquen.
Cómo aplica Alien Road los pequeños modelos de lenguaje
En un compromiso típico, auditamos dónde el equipo del cliente ya utiliza modelos grandes y marcamos las tareas repetitivas que podrían trasladarse a uno más pequeño. El etiquetado de clientes potenciales y la clasificación de reseñas son los que aparecen con más frecuencia.
Construimos un conjunto de prueba etiquetado a partir de los propios datos del cliente, probamos dos o tres modelos pequeños contra el modelo grande actual y comparamos la precisión y el costo por solicitud. Si un modelo pequeño cumple con el estándar, lo implementamos detrás de una capa de validación simple que verifica los formatos y dirige los casos poco claros a un humano o a un modelo más grande.
Los informes cubren la precisión en una muestra mensual, la proporción de casos enviados a respaldo y el costo por mil solicitudes. El cliente ve exactamente dónde ayuda el modelo pequeño y dónde no.
¿Cuánto cuesta ejecutar un modelo pequeño?
Los precios exactos cambian a menudo, así que trate cualquier cifra como una instantánea. Sin embargo, el patrón general se mantiene: las tarifas por token para modelos pequeños alojados suelen ser una pequeña fracción de las tarifas de los modelos de frontera, y un portátil que ejecuta un modelo local no cuesta nada por solicitud una vez configurado.
El costo oculto son las personas. Alguien tiene que escribir el prompt, construir el conjunto de prueba, verificar los resultados y actualizar la configuración cuando la tarea cambia. Presupueste unos días de trabajo para un primer piloto y unas pocas horas al mes después de eso. Si una tarea no se ejecuta con la frecuencia suficiente para recuperar ese tiempo, déjela en el modelo grande que ya utiliza.
Por dónde empezar esta semana
Elija una tarea de clasificación o etiquetado que su equipo haga a mano. Exporte 200 ejemplos pasados con las etiquetas correctas. Instale Ollama en un portátil, cargue un modelo pequeño como una variante de Gemma o Phi, y pruébelo con un prompt corto y tres ejemplos. Mida cuántos acierta. Si supera el 85 al 90 por ciento en sus propios datos, planifique un pequeño piloto; si no, ha aprendido de forma económica que la tarea necesita un modelo más grande.
Siga leyendo: Optimización con IA · Optimización con IA