Mistral AI es una empresa con sede en París que construye modelos de lenguaje grandes, algunos lanzados con pesos abiertos y otros ofrecidos a través de su plataforma API y el asistente Le Chat. Medir un despliegue de Mistral significa realizar un seguimiento de tres capas: rendimiento técnico como latencia, costes y tasas de error; calidad de salida frente a un conjunto de pruebas fijo; y resultados empresariales como horas ahorradas, tickets resueltos o contenido enviado. Un panel que combine los tres es lo que convence a la dirección.
¿Qué ofrece Mistral AI?
Fundada en 2023 por antiguos investigadores de Google DeepMind y Meta, Mistral se convirtió rápidamente en la empresa de modelos de IA más conocida de Europa. Su línea en el momento de escribir este artículo incluye modelos generales de diferentes tamaños, modelos de codificación como Codestral, modelos de documentos y OCR, y modelos más pequeños adecuados para dispositivos periféricos. Varios modelos se lanzan bajo licencias permisivas, por lo que las empresas pueden ejecutarlos en sus propios servidores.
Las empresas utilizan Mistral de tres maneras. A través de La Plateforme, su API, al igual que otros proveedores de modelos. A través de Le Chat, su asistente para individuos y equipos, con opciones empresariales. O mediante el autoalojamiento de modelos de pesos abiertos en su propia infraestructura o a través de socios en la nube como Azure, AWS y Google Cloud.
El atractivo para muchas empresas europeas y turcas es una mezcla de costes, opciones de ubicación de datos y la opción de ejecutar modelos de forma privada.
¿Por qué se suele omitir la medición?
Los proyectos de IA a menudo comienzan como experimentos. Alguien conecta la API a un chatbot o herramienta de contenido, parece útil y se extiende. Meses después, nadie puede decir si ahorra dinero o qué calidad ofrece. Cuando llega una revisión presupuestaria, el proyecto es difícil de defender.
La medición también se omite porque las salidas del modelo son texto, y la calidad del texto parece subjetiva. Es menos subjetiva una vez que define lo que significa “bueno” para cada tarea y califica una muestra regularmente.
¿Qué KPIs técnicos debería seguir?
Los KPIs técnicos le dicen si el sistema funciona y cuánto cuesta. La mayoría provienen directamente de los registros de la API.
- Solicitudes por día y por caso de uso, para ver dónde crece el uso.
- Tokens de entrada y salida por solicitud, que impulsan el coste.
- Coste por tarea, como el coste por ticket resumido o por descripción de producto, no solo el gasto mensual total.
- Latencia: tiempos de respuesta medianos y lentos, ya que los usuarios notan las respuestas lentas.
- Tasa de error y tiempo de espera, incluidos los errores de límite de tasa.
- Para modelos autoalojados: utilización de GPU y coste por mil solicitudes.
Registre el nombre del modelo con cada solicitud. Cuando cambia entre, por ejemplo, un modelo Mistral pequeño y uno grande, desea ver el cambio de coste y calidad claramente.
¿Cómo mide la calidad de salida?
La calidad necesita un conjunto de pruebas. Recopile de 50 a 200 ejemplos reales para cada caso de uso, como correos electrónicos de clientes, registros de datos de productos o preguntas de soporte, con una buena respuesta acordada o una guía de puntuación.
Califique las salidas según algunos criterios que importan para la tarea:
- Precisión: ¿son correctos los hechos y extraídos del contexto proporcionado?
- Integridad: ¿cubre la respuesta lo que el usuario preguntó?
- Formato: ¿sigue la estructura, longitud y tono requeridos?
- Calidad del lenguaje: especialmente para salidas en turco y otros idiomas que no sean inglés, ¿es natural la gramática?
- Seguridad: ¿evita cosas que no debe decir, como precios que no se le dieron?
Los revisores humanos pueden calificar una muestra cada mes. Algunos equipos también utilizan un modelo más fuerte como juez para precalificar las salidas, luego verifican un conjunto más pequeño a mano. Ejecute el mismo conjunto de pruebas cada vez que cambie de modelo, prompt o configuración.
¿Qué KPIs empresariales demuestran valor?
A la dirección le importan los resultados. Vincule cada caso de uso a una o dos métricas empresariales y registre una línea base antes del despliegue.
Para atención al cliente, realice un seguimiento del tiempo de primera respuesta, la proporción de tickets resueltos sin escalada y las puntuaciones de satisfacción del cliente. Para contenido y marketing, realice un seguimiento del tiempo por activo, el número de activos publicados y el tiempo de edición en borradores de IA. Para asistentes de conocimiento interno, realice un seguimiento del tiempo de búsqueda ahorrado a través de encuestas breves y el número de preguntas respondidas sin un experto humano.
Convierta el tiempo ahorrado en dinero con cuidado. Utilice costes horarios reales y sea conservador; la dirección descontará los ahorros inflados.
¿Qué debería incluir el panel?
Construya un panel con tres secciones, que coincidan con las tres capas. Looker Studio, Power BI, Grafana o Metabase funcionan, dependiendo de dónde vivan sus registros.
- Arriba: KPIs empresariales por caso de uso frente a la línea base, mensualmente.
- Medio: puntuaciones de calidad de la última ejecución del conjunto de pruebas, con líneas de tendencia.
- Abajo: métricas técnicas, incluidos el coste por tarea, latencia y errores.
- Panel lateral: notas sobre cambios como nuevos modelos, prompts o fuentes de datos.
Manténgalo en una página. Si el panel necesita una guía, es demasiado complicado.
¿Con qué frecuencia debería revisar los números?
Mensualmente es un buen valor predeterminado. Las métricas técnicas pueden ser revisadas semanalmente por quien ejecute el sistema, ya que los picos de costes y los estallidos de errores necesitan una acción rápida. Las puntuaciones de calidad necesitan un ciclo mensual para que los revisores no se sobrecarguen. Los KPIs empresariales se mueven lentamente y es mejor revisarlos trimestralmente con la dirección. Vuelva a ejecutar el conjunto de pruebas completo inmediatamente después de cualquier cambio de modelo o prompt, por pequeño que sea; un ajuste de prompt que mejora una tarea puede dañar silenciosamente otra.
Cómo aplica Alien Road la medición de Mistral AI
En un compromiso típico, nuestro equipo de IA comienza con el descubrimiento: qué tareas quiere automatizar el cliente, qué datos están involucrados, si se requiere autoalojamiento y cómo se define el éxito hoy. A menudo comparamos un modelo Mistral con una o dos alternativas en el mismo conjunto de pruebas antes de elegir.
La configuración incluye el registro de solicitudes con etiquetas de modelo y caso de uso, la creación de los conjuntos de pruebas con el equipo del cliente y la redacción de una guía de puntuación. Luego conectamos los registros y las puntuaciones a un único panel.
La medición se realiza mensualmente: el conjunto de pruebas se vuelve a calificar, se revisan los costes y se actualizan los KPIs empresariales. El informe explica qué cambió, si un modelo más pequeño o más grande daría un mejor equilibrio de coste y calidad, y qué caso de uso ampliar a continuación.
Por dónde empezar esta semana
Elija un caso de uso de Mistral ya implementado, o el primero que planee. Recopile 50 entradas reales, escriba cómo se ve una buena salida para cada una y ejecútelas a través del modelo. Califique los resultados en precisión, integridad y formato, y anote el coste por tarea desde la página de uso de la API. Esos tres números son las primeras filas de su panel.
Siga leyendo: Optimización con IA · Optimización con IA