Los pequeños modelos de lenguaje son modelos de IA con muchos menos parámetros que los sistemas de vanguardia, normalmente unos pocos miles de millones en lugar de cientos de miles de millones, lo que les permite ejecutarse rápidamente en servidores modestos, portátiles o incluso teléfonos. Los ejemplos incluyen la familia Phi de Microsoft, Gemma de Google, los modelos Llama más pequeños de Meta, los modelos pequeños de Mistral y Qwen. Para las marcas de comercio electrónico, son adecuados para trabajos de gran volumen y tareas específicas donde la velocidad, el costo y la privacidad de los datos importan más que el conocimiento amplio.
¿Qué cuenta como un pequeño modelo de lenguaje?
No existe un límite oficial, pero el término suele cubrir modelos de menos de unos diez a quince mil millones de parámetros. Muchos se lanzan con pesos abiertos, por lo que puede alojarlos usted mismo. Algunos, como Gemini Nano y los modelos en el dispositivo de Apple, se ejecutan directamente en los teléfonos.
Los modelos más pequeños saben menos sobre el mundo y manejan peor el razonamiento largo y complejo. Lo compensan con velocidad y costo. Un modelo pequeño puede responder en una fracción de segundo en hardware que cuesta poco ejecutar, lo cual es importante cuando procesa millones de consultas de búsqueda o registros de productos.
¿Qué tareas de comercio electrónico se adaptan a los modelos pequeños?
El patrón es el mismo en la mayoría de los buenos usos: entrada clara, conjunto limitado de posibles salidas y volumen muy alto. Cuando la tarea necesita escritura creativa o un amplio conocimiento general, un modelo más grande suele ser la mejor opción.
- Comprensión de consultas en la búsqueda del sitio: mapear “zapatillas negras baratas talla 42” a filtros de color, precio y talla.
- Etiquetado de productos: asignación de categorías y atributos a partir de títulos y descripciones.
- Moderación de reseñas: marcar spam, abuso o datos personales antes de publicar.
- Enrutamiento de soporte: clasificación de mensajes entrantes por tema y urgencia.
- Generación de texto corto dentro de plantillas estrictas, como etiquetas de filtro o texto de fragmentos.
- Corrección ortográfica y manejo de sinónimos para idiomas locales.
¿Por qué elegir un modelo pequeño en lugar de uno grande?
Costo a escala
Los grandes modelos alojados cobran por token. Para una tarea que se ejecuta en cada búsqueda o cada nuevo producto, eso se suma rápidamente. Un modelo pequeño autohospedado tiene un costo de servidor fijo sin importar cuántas veces se ejecute.
Velocidad
La búsqueda y el autocompletado necesitan respuestas en milisegundos. Un modelo pequeño en un servidor cercano puede responder lo suficientemente rápido como para estar dentro del cuadro de búsqueda. Un modelo grande llamado a través de Internet a menudo no puede.
Privacidad
Los mensajes de los clientes y los datos de los pedidos pueden permanecer en su propia infraestructura. Para las marcas que manejan datos bajo el RGPD o la KVKK de Turquía, esto simplifica los acuerdos de procesamiento de datos y las preguntas de transferencia.
¿Cómo hacer que un modelo pequeño sea bueno en su tarea?
Listo para usar, un modelo pequeño puede ser mediocre en su trabajo exacto. Tres técnicas cierran la mayor parte de la brecha y se pueden combinar.
- Prompts claros con ejemplos y un formato de salida fijo, como JSON con valores permitidos.
- Ajuste fino (fine-tuning) o LoRA en unos pocos miles de sus propios ejemplos etiquetados.
- Destilación: usar un modelo grande para etiquetar datos, luego entrenar al modelo pequeño con esas etiquetas.
- Recuperación (Retrieval): dar al modelo sus datos de producto o artículos de ayuda en el momento de la respuesta.
- Decodificación restringida, donde el motor de inferencia solo permite salidas de su lista.
La destilación es especialmente práctica. Usted paga a un modelo grande una vez para etiquetar un conjunto de entrenamiento, verifica una muestra a mano y luego ejecuta el modelo pequeño barato para siempre.
¿Cuáles son los límites?
Los modelos pequeños cometen más errores fácticos y son más sensibles a cómo se redacta un prompt. Pueden tener dificultades con idiomas que eran raros en sus datos de entrenamiento; pruebe cuidadosamente en turco, azerbaiyano o ruso antes de confiar en ellos.
El autohospedaje también significa que usted es dueño del tiempo de actividad, las actualizaciones y la seguridad. Si nadie en el equipo puede mantener un servidor, utilice un host gestionado que ofrezca modelos abiertos pequeños a través de una API, lo que sigue costando mucho menos que los modelos de vanguardia para el mismo volumen.
Cómo aplica Alien Road los pequeños modelos de lenguaje
Nuestro equipo de optimización de IA busca trabajos donde el volumen es alto y la salida es una etiqueta o una respuesta corta estructurada. El análisis de consultas de búsqueda y el etiquetado de productos son los puntos de partida más comunes.
La configuración suele seguir una ruta de destilación: un modelo grande etiqueta una muestra, los comerciantes del cliente la corrigen y un modelo pequeño se ajusta en el conjunto corregido. Lo alojamos donde las reglas de datos del cliente lo requieran, a menudo en un servidor de la UE o local.
La medición compara el modelo pequeño con el método actual en precisión, tiempo de respuesta y costo mensual. Para la búsqueda, también rastreamos la tasa de cero resultados y la tasa de salida de búsqueda antes y después.
¿Cómo probar un modelo pequeño antes de comprometerse?
Cree un conjunto de prueba de unos pocos cientos de ejemplos reales con respuestas correctas, escritas o verificadas por alguien que conozca el catálogo. Ejecute dos o tres modelos pequeños y un modelo grande en el mismo conjunto. Registre la precisión, la velocidad por solicitud y el costo mensual estimado en su volumen real.
Si el mejor modelo pequeño está a pocos puntos del grande, la ventaja de costo y velocidad suele decidirlo. Si la brecha es amplia, intente ajustar antes de rendirse, ya que un modelo pequeño ajustado a menudo supera a uno grande no ajustado en una tarea estrecha.
¿Pueden los modelos pequeños ejecutarse dentro del dispositivo del comprador?
Sí, y esto está creciendo. Los navegadores están agregando funciones de IA integradas, y los teléfonos de Apple, Google y Samsung ejecutan modelos pequeños localmente. Para las marcas con aplicaciones móviles, los modelos en el dispositivo pueden potenciar funciones como sugerencias de búsqueda sin conexión o chat privado sin enviar datos a un servidor.
La compensación es el control. No siempre puede elegir qué modelo se ejecuta en el dispositivo, y es posible que los teléfonos más antiguos no admitan estas funciones. Trate la IA en el dispositivo como una capa adicional, con una alternativa del lado del servidor para todos los demás.
Planifique también la brecha entre el piloto y la producción. Un modelo que funciona en un cuaderno todavía necesita monitoreo, una alternativa cuando el servidor está caído y una forma de volver a la versión anterior. El registro simple de entradas, salidas y tiempos de respuesta suele ser suficiente para comenzar.
Por dónde empezar esta semana
Exporte una semana de consultas de búsqueda del sitio y elija las cien más comunes que devolvieron cero o malos resultados. Escriba los filtros correctos para cada una a mano. Luego, ejecute un modelo pequeño como Gemma o Phi en las mismas consultas con un prompt que devuelva filtros en JSON, y cuente cuántos acierta. La puntuación le dice si vale la pena configurar un piloto.
Siga leyendo: Optimización con IA · Optimización con IA