Los modelos de lenguaje pequeños son modelos de IA con muchos menos parámetros que los sistemas de frontera, típicamente desde menos de mil millones hasta unas pocas decenas de miles de millones, que pueden ejecutarse de forma económica en la nube o en una sola máquina. En el trabajo de marketing, son mejores para tareas estrechas y repetitivas como clasificar términos de búsqueda, etiquetar contenido, limpiar datos y enrutar mensajes, donde la velocidad, el costo y el control de datos importan más que el razonamiento amplio.
Las familias conocidas incluyen los modelos Phi de Microsoft, Gemma de Google, las variantes más pequeñas de Llama de Meta, los modelos compactos de Mistral y la línea Qwen de Alibaba, junto con los niveles “mini”, “flash” o “haiku” que los principales proveedores ofrecen a través de sus API. Muchos modelos de pesos abiertos pueden descargarse y ejecutarse localmente con herramientas como Ollama, llama.cpp o LM Studio, por lo que los datos nunca salen del propio hardware de la empresa.
¿Cuál es la diferencia entre un modelo pequeño y uno grande?
El tamaño afecta lo que sabe un modelo y qué tan bien razona a través de muchos pasos. Un modelo de frontera grande puede redactar una estrategia, seguir instrucciones largas y manejar solicitudes inusuales. Un modelo pequeño es más estrecho: maneja una tarea clara y bien definida rápidamente, pero es más probable que tropiece con instrucciones ambiguas o preguntas fuera de su entrenamiento.
Las diferencias prácticas son el costo y la velocidad. Un modelo pequeño puede procesar miles de elementos cortos en el tiempo que un modelo grande maneja una fracción de ellos, a un precio mucho más bajo por elemento. Cuando el trabajo es “etiquetar estos 50,000 términos de búsqueda en doce grupos de intención”, esa diferencia decide si el proyecto es asequible.
¿Qué tareas de marketing se adaptan a los modelos pequeños?
El hilo conductor es el alto volumen, las entradas cortas y un conjunto fijo de posibles salidas.
- Clasificación de términos de búsqueda: clasificar términos de búsqueda de Google Ads en grupos de intención o candidatos a palabras clave negativas.
- Etiquetado de contenido: asignar categorías, temas o tipos de productos a miles de páginas o publicaciones.
- Etiquetado de sentimiento y temas para reseñas, comentarios sociales y respuestas a encuestas.
- Limpieza de datos: normalizar nombres de empresas, títulos de trabajo o direcciones en exportaciones de CRM.
- Enrutamiento: decidir qué equipo debe manejar un formulario o mensaje entrante.
- Detección de idioma y comprobaciones de traducción simples en contenido multilingüe.
Las tareas que necesitan juicio, creatividad o documentos largos suelen quedarse con modelos más grandes o personas.
¿Por qué importa ejecutar un modelo localmente?
Algunos datos no deberían ir a una API de terceros en absoluto: listas de clientes, planes de campaña no publicados, detalles de salud o financieros. Un modelo pequeño de pesos abiertos que se ejecuta en el propio servidor del cliente o en una instancia de nube privada mantiene esos datos en su lugar, lo que simplifica el cumplimiento bajo GDPR y la KVKK de Turquía.
Los modelos locales también ofrecen costos predecibles. Una vez que existe el hardware, procesar otras cien mil filas cuesta electricidad en lugar de tarifas de API. La compensación es el mantenimiento: alguien tiene que actualizar, monitorear y asegurar la configuración.
Cómo aplica Alien Road los modelos de lenguaje pequeños
En un compromiso típico, nuestro equipo de optimización de IA utiliza modelos pequeños como trabajadores dentro de tuberías más grandes en lugar de como herramientas de chat. El descubrimiento comienza con la lista de tareas: buscamos trabajos repetidos de clasificación o limpieza que las personas realizan actualmente en hojas de cálculo, y estimamos el volumen por mes.
Construya primero una muestra etiquetada
Antes de elegir un modelo, hacemos que los especialistas del cliente etiqueten unos cientos de ejemplos reales, como términos de búsqueda o reseñas, con las categorías que realmente usan. Esa muestra se convierte en el conjunto de prueba para cada modelo que probamos.
Compare modelos en esa muestra
Ejecutamos dos o tres candidatos, generalmente un modelo pequeño de pesos abiertos, un modelo de API pequeño y un modelo grande como referencia, contra la muestra etiquetada. Si el modelo pequeño está de acuerdo con las etiquetas humanas casi tan a menudo como el grande, gana en costo y velocidad. Si no, ajustamos el prompt, agregamos ejemplos o mantenemos el modelo grande para esa tarea.
Ponga a las personas en los bordes
Los elementos de baja confianza van a una cola de revisión humana. Para las cuentas de anuncios, el modelo sugiere palabras clave negativas; un especialista las aprueba antes de que lleguen a Google Ads o Microsoft Advertising.
Para la medición, rastreamos la concordancia con las etiquetas humanas a lo largo del tiempo, el tamaño de la cola de revisión, el costo de procesamiento por mil elementos y las horas liberadas. Los informes mensuales notan cualquier deriva, por ejemplo, cuando una nueva línea de productos produce términos de búsqueda que el modelo clasifica erróneamente.
¿Cuáles son los límites y riesgos?
Los modelos pequeños cometen errores diferentes a los grandes, y los cometen más a menudo en casos límite.
- Siguen las instrucciones de formato de manera menos confiable; valide las salidas contra las etiquetas permitidas en el código.
- El conocimiento es más delgado, por lo que es posible que no reconozcan marcas de nicho o nombres de productos sin ejemplos.
- El rendimiento en turco y otros idiomas que no sean inglés varía según el modelo; pruebe con datos locales reales.
- Las licencias difieren entre los modelos de pesos abiertos, y algunas restringen el uso comercial; verifique antes de implementar.
- Una configuración local todavía necesita parches de seguridad y control de acceso como cualquier servidor.
¿Cómo decide entre el ajuste fino (fine-tuning) y el prompting?
Comience con el prompting y un puñado de ejemplos en el prompt. Es barato de cambiar y a menudo lo suficientemente bueno. Ajustar un modelo pequeño en unos pocos miles de ejemplos etiquetados puede aumentar la precisión en una tarea estrecha, pero agrega trabajo de entrenamiento y una versión de modelo para mantener. Lo consideramos solo cuando el prompting se estanca por debajo del nivel de acuerdo requerido y el volumen de la tarea justifica el esfuerzo.
¿Cuánto cuesta ejecutar un modelo pequeño?
Los costos dependen de la ruta. A través de una API, los niveles de modelos pequeños tienen un precio por token y suelen ser una fracción del nivel grande; verifique las páginas de precios actuales, ya que cambian a menudo. Al ejecutar localmente, una computadora portátil reciente con suficiente memoria puede manejar modelos de unos pocos miles de millones de parámetros para pruebas, mientras que los volúmenes de producción suelen justificar un servidor dedicado o una instancia de GPU en la nube. El costo oculto son las personas: configuración, monitoreo y re-prueba periódica contra la muestra etiquetada.
Una lista de verificación simple antes de comenzar
- Defina la tarea como un conjunto cerrado de salidas, no como una pregunta abierta.
- Recopile y etiquete al menos de 200 a 300 ejemplos reales.
- Decida qué datos pueden salir de sus sistemas y cuáles no.
- Pruebe al menos un modelo pequeño y uno grande en la misma muestra.
- Establezca un umbral de confianza y una ruta de revisión humana para los elementos por debajo de él.
- Registre las entradas y salidas para que los errores puedan ser rastreados.
Por dónde empezar esta semana
Exporte el informe de términos de búsqueda del mes pasado desde una cuenta de Google Ads. Tome 300 filas al azar y etiquete cada una usted mismo con tres o cuatro grupos de intención, más “irrelevante”. Luego ejecute las mismas filas a través de un modelo pequeño con un prompt corto que enumere esos grupos, y cuente dónde está de acuerdo con usted. Esa tarde le dice si automatizar la revisión semanal de términos de búsqueda es realista.
Siga leyendo: Optimización con IA · Optimización con IA