Los modelos de lenguaje pequeños son modelos de IA compactos, generalmente con unos pocos miles de millones de parámetros o menos, que pueden ejecutarse en una computadora portátil, un teléfono o un servidor modesto. Sus principales riesgos para un equipo de marketing son una menor precisión en tareas complejas, errores seguros en hechos e idiomas que manejan mal, y copias no gestionadas que se propagan por los dispositivos. La gobernanza debe limitarlos a tareas estrechas y comprobables, requerir una evaluación antes de su uso y realizar un seguimiento de dónde se ejecuta cada modelo.
Los ejemplos incluyen la familia Phi de Microsoft, Gemma de Google, las variantes más pequeñas de Llama de Meta, los modelos pequeños de Mistral, las versiones pequeñas de Qwen de Alibaba y los modelos que se ejecutan dentro de los teléfonos, como Gemini Nano y el modelo base en el dispositivo de Apple. Herramientas como Ollama, LM Studio y llama.cpp facilitan su descarga y ejecución en una computadora personal.
Su atractivo es claro: bajo costo por tarea, respuestas rápidas, la opción de mantener los datos completamente internos y la capacidad de ajustarlos de forma económica para un trabajo específico. Estas ventajas son reales. También lo son los límites.
¿Dónde son fuertes los modelos pequeños?
Los modelos pequeños funcionan bien en tareas que son estrechas y están bien definidas. Clasificar mensajes de soporte en categorías, extraer campos de formularios, etiquetar reseñas de productos por tema, reescribir textos cortos con un estilo fijo y decisiones de enrutamiento simples son buenos ejemplos.
También funcionan bien cuando se ajustan. Un modelo pequeño entrenado en unos pocos miles de ejemplos de una tarea específica puede igualar o superar a un modelo general grande en esa tarea, a una fracción del costo operativo.
¿Cuáles son sus límites?
Razonamiento y contexto largo
Los modelos pequeños tienen dificultades con el razonamiento de varios pasos, los documentos largos y las tareas que requieren mantener muchos hechos a la vez. Pedirle a uno que analice un informe de campaña y recomiende cambios presupuestarios suele producir consejos superficiales o incorrectos.
Conocimiento y hechos
Con menos parámetros, almacenan menos conocimiento del mundo. Es más probable que inventen hechos, nombres y cifras, especialmente sobre temas de nicho, y que lo hagan con fluidez.
Idiomas
Muchos modelos pequeños están entrenados principalmente en inglés. La calidad en turco, azerbaiyano u otros idiomas puede ser notablemente inferior, con errores gramaticales o traducciones literales. Pruebe cada idioma por separado.
Ajuste de seguridad
Los modelos pequeños pueden tener un ajuste de seguridad y rechazo más débil que los grandes modelos comerciales. Pueden producir contenido inapropiado más fácilmente si se les solicita mal o por parte de un usuario malintencionado.
¿Qué riesgos requieren gobernanza?
Despliegues en la sombra
Debido a que cualquiera puede descargar un modelo y ejecutarlo en una computadora portátil, los equipos pueden comenzar a usarlos sin que TI lo sepa. Los datos del cliente pegados en un modelo local pueden permanecer privados, pero las salidas pueden usarse sin revisión, y nadie sabe qué versión del modelo produjo qué.
Términos de licencia
Los modelos pequeños vienen bajo diferentes licencias. Algunas son permisivas como Apache 2.0, otras tienen términos personalizados con restricciones de uso. Usar un modelo comercialmente sin verificar su licencia es un riesgo legal.
Salidas no validadas
Un modelo pequeño que clasifica clientes potenciales o tickets de soporte puede desviar una parte de ellos silenciosamente. Sin un conjunto de evaluación y monitoreo, los errores solo aparecen como quejas.
Cadena de suministro de modelos
Los modelos descargados de centros públicos pueden ser versiones modificadas. Utilice fuentes oficiales y verifique a los editores. Los archivos de modelo en algunos formatos antiguos pueden incluso transportar código ejecutable, por lo que se prefieren formatos más seguros como safetensors.
¿Qué reglas de gobernanza deberían ser lo primero?
- Lista aprobada: nombre los modelos permitidos para uso comercial, su fuente oficial y licencia.
- Aprobación de casos de uso: cada nuevo caso de uso se describe en un párrafo y es aprobado por un propietario.
- Evaluación antes del uso: pruebe cada modelo en al menos cincuenta ejemplos reales por tarea e idioma, con un umbral de aceptación.
- Sin salidas no revisadas orientadas al cliente: todo lo que ve un cliente es revisado o limitado a plantillas seguras.
- Reglas de datos: qué datos se pueden procesar, dónde se ejecuta el modelo y cómo se mantienen los registros.
- Seguimiento de versiones: registre el nombre del modelo y la versión utilizada para cada flujo de trabajo.
- Volver a probar tras cambios: cuando un modelo se actualiza o reemplaza, vuelva a ejecutar el conjunto de evaluación.
¿Cuándo debería elegir un modelo más grande en su lugar?
Elija un modelo más grande cuando la tarea implique razonamiento, documentos largos, escritura abierta que los clientes leerán o muchos idiomas de alta calidad. Un diseño común utiliza ambos: un modelo pequeño para una clasificación y enrutamiento rápidos, y un modelo más grande para los casos que el pequeño marca como inciertos.
El costo por sí solo es una razón débil para elegir un modelo pequeño si los errores crean retrabajo. Compare el costo total, incluida la revisión y la corrección, no solo el precio del token.
Cómo aplica Alien Road los modelos de lenguaje pequeños
En un compromiso típico, los modelos pequeños aparecen en tareas de datos y operaciones en lugar de en la redacción de contenido. El descubrimiento identifica tareas estrechas y de alto volumen, como etiquetar reseñas, clasificar mensajes entrantes o extraer campos de formularios de clientes potenciales, y verifica los idiomas involucrados.
La configuración utiliza un modelo aprobado de una fuente oficial, ejecutado a través de un host gestionado o en la infraestructura del cliente con Ollama o vLLM. Creamos un conjunto de evaluación a partir de los propios datos del cliente, comparamos el modelo pequeño con uno más grande y registramos los resultados. Si el modelo pequeño alcanza la precisión acordada, entra en el flujo de trabajo con una alternativa a un modelo más grande o a una persona para casos inciertos.
La medición rastrea la precisión en una muestra semanal, la tasa de alternativa y el costo por tarea. Los informes muestran esto a lo largo del tiempo y marcan cualquier desviación, como una caída en la precisión después de un cambio en los datos entrantes.
¿Cómo monitorea un modelo pequeño después del lanzamiento?
La evaluación antes del lanzamiento no es suficiente, porque los datos entrantes cambian. Una nueva gama de productos, una campaña en un nuevo idioma o un cambio estacional en las preguntas de los clientes pueden empujar a un modelo pequeño fuera de lo que maneja bien. Tome una muestra de salidas cada semana y haga que una persona las califique según el mismo estándar utilizado en la evaluación original.
Observe también la tasa de alternativa. Si se están pasando más casos a un modelo más grande o a una persona, el modelo pequeño está teniendo dificultades, incluso si la muestra calificada parece estar bien.
Por dónde empezar esta semana
Enumere todos los lugares donde su equipo utiliza actualmente IA y anote qué modelos hay detrás, incluido todo lo que se ejecuta localmente en computadoras portátiles. Es posible que encuentre modelos pequeños ya en uso sin aprobación.
Luego, elija una tarea estrecha y de alto volumen y cree un conjunto de prueba de cincuenta ejemplos a partir de datos reales. Ejecute un modelo pequeño y uno grande en él y compare la precisión y el costo. Esa comparación única le dice si un modelo pequeño pertenece a su flujo de trabajo.
Siga leyendo: Optimización con IA · Optimización con IA