Medir modelos de pesos abiertos y DeepSeek: KPIs

Un modelo de pesos abiertos es aquel cuyos parámetros entrenados se publican para su descarga, generalmente bajo una licencia que establece condiciones de uso. Los ejemplos incluyen la familia Llama de Meta, los modelos abiertos de Mistral, Qwen de Alibaba, Gemma de Google y los modelos de DeepSeek, un laboratorio de IA chino. Los pesos abiertos no siempre son de código abierto en el sentido estricto: los datos de entrenamiento y el código completo pueden permanecer privados.

DeepSeek atrajo mucha atención a principios de 2025 cuando su modelo de razonamiento, DeepSeek-R1, tuvo un rendimiento cercano a los modelos cerrados líderes en varios puntos de referencia públicos, mientras que la empresa describió costes de entrenamiento relativamente bajos. Sus modelos se lanzan bajo licencias permisivas, que permiten a las empresas ejecutarlos en su propio hardware o a través de hosts de terceros.

Para los equipos de marketing, el atractivo es el control y el coste. Las preguntas son si la calidad se mantiene en tareas reales y qué costes ocultos conlleva ejecutar los modelos usted mismo.

Los puntos de referencia públicos miden matemáticas, codificación y conocimientos generales. Sus campañas se preocupan por cosas diferentes. Cree una tarjeta de puntuación con cuatro grupos.

Calidad

• Tasa de aceptación: porcentaje de resultados aprobados sin ediciones importantes.
• Tiempo de edición: minutos que un revisor dedica por resultado antes de la aprobación.
• Tasa de error factual: errores encontrados por cada 100 resultados en comprobaciones puntuales.
• Adherencia a las instrucciones: porcentaje de resultados que respetan las reglas de formato, longitud y palabras prohibidas, que un script puede verificar.

Coste

• Coste por artículo terminado, incluidos tokens o hardware, y tiempo del revisor.
• Coste mensual de infraestructura si se aloja usted mismo, incluido el tiempo de inactividad.

Velocidad

• Tiempo hasta el primer token y tiempo total de respuesta para usos interactivos.
• Rendimiento para trabajos por lotes, como artículos procesados por hora.

Riesgo

• Exposición de datos: dónde se procesan y almacenan las indicaciones y los resultados.
• Ajuste de licencia para su uso comercial previsto.
• Incidentes de seguridad de contenido, como resultados inapropiados o fuera de marca.

Una comparación solo es justa si cada modelo ve las mismas entradas en las mismas condiciones. Reúna un conjunto de prueba de 50 a 200 tareas reales de su trabajo, como descripciones de productos, variantes de anuncios, líneas de asunto de correo electrónico y resúmenes de informes. Escriba una indicación por tipo de tarea y manténgala fija.

Ejecute el modelo abierto y su modelo cerrado actual en todo el conjunto. Oculte qué modelo produjo qué resultado y luego haga que los revisores los califiquen. La calificación a ciegas es importante porque las personas tienden a favorecer la marca que esperan que sea mejor.

Repita la prueba cada vez que cambie la versión del modelo, el nivel de cuantificación o la indicación. Un modelo fuertemente cuantificado que cabe en una GPU más pequeña puede perder calidad en tareas que requieren precisión.

Ejecutar un modelo usted mismo reemplaza una factura por token con un conjunto de otras responsabilidades:

• Hardware de GPU o instancias en la nube, que cuestan dinero incluso cuando están inactivas.
• Software de servicio, como vLLM u Ollama, y alguien para mantenerlo.
• Monitoreo, registro y parches de seguridad.
• Actualizaciones de modelos y pruebas de regresión.
• Tiempo de ingeniería cuando las cosas se rompen.

Para volúmenes bajos o desiguales, las API alojadas para modelos abiertos, ofrecidas por varios proveedores de inferencia, suelen ser más baratas que poseer hardware. El autoalojamiento tiende a valer la pena con un volumen alto constante o requisitos estrictos de control de datos.

Dos problemas surgen repetidamente. Primero, la aplicación y la API alojadas de DeepSeek procesan datos en servidores sujetos a la ley china, y varios gobiernos y organizaciones han restringido su uso por esa razón. Ejecutar los pesos abiertos en su propia infraestructura o en la de un proveedor de confianza evita enviar datos a los servidores de DeepSeek.

Segundo, investigadores y periodistas han informado que los resultados del modelo reflejan restricciones de contenido sobre ciertos temas políticos. Eso rara vez afecta a la copia del producto, pero es importante para el trabajo relacionado con noticias o relaciones públicas. Pruebe los temas que importan a su marca antes de confiar en cualquier modelo.

Manténgalo en una pantalla. Un diseño simple que funciona:

• Fila superior: coste por artículo terminado y tasa de aceptación para cada modelo, este mes frente al anterior.
• Medio: distribución del tiempo de edición por tipo de tarea.
• Inferior: incidentes y notas de manejo de datos, además de la versión del modelo y la fecha de la última ejecución de prueba.

Herramientas como Looker Studio, Power BI o una hoja de cálculo compartida son suficientes. El punto es mostrar tendencias a las personas que deciden los presupuestos, no impresionarlos con gráficos.

Los modelos de pesos abiertos se mueven rápido. Aparecen nuevas versiones cada pocos meses, y los proveedores de alojamiento a veces cambian la configuración predeterminada o la cuantificación sin previo aviso. Una nueva prueba trimestral en el conjunto de prueba fijo es un ritmo razonable para la mayoría de los equipos, con una ejecución adicional cada vez que cambia de proveedor o versión de modelo.

Guarde cada ejecución de prueba: fecha, nombre y versión del modelo, host, versión de la indicación y puntuaciones. Durante un año, ese historial muestra si un modelo está mejorando para sus tareas o si un modelo cerrado se ha adelantado de nuevo. También lo protege de una trampa común, que es adoptar un modelo más nuevo porque lidera las tablas de clasificación públicas, solo para descubrir que funciona peor en su contenido particular.

Cuando los resultados son cercanos, elija por motivos operativos. Un modelo que es ligeramente más débil pero más barato, más rápido y más fácil de ejecutar dentro de sus reglas de datos suele ser la mejor opción comercial.