Mistral AI ist ein in Paris ansässiges Unternehmen, das große Sprachmodelle entwickelt, von denen einige mit offenen Gewichten veröffentlicht und andere über seine API-Plattform und den Le Chat-Assistenten angeboten werden. Die Messung eines Mistral-Rollouts bedeutet, drei Ebenen zu verfolgen: technische Leistung wie Latenz, Kosten und Fehlerraten; Ausgabequalität anhand eines festen Testdatensatzes; und Geschäftsergebnisse wie eingesparte Stunden, gelöste Tickets oder bereitgestellte Inhalte. Ein Dashboard, das alle drei kombiniert, überzeugt die Führungsebene.
Was bietet Mistral AI?
Mistral wurde 2023 von ehemaligen Forschern von Google DeepMind und Meta gegründet und entwickelte sich schnell zu Europas bekanntestem KI-Modellunternehmen. Zum Zeitpunkt der Erstellung dieses Artikels umfasst das Angebot allgemeine Modelle unterschiedlicher Größe, Codierungsmodelle wie Codestral, Dokumenten- und OCR-Modelle sowie kleinere Modelle, die für Edge-Geräte geeignet sind. Mehrere Modelle werden unter permissiven Lizenzen veröffentlicht, sodass Unternehmen sie auf ihren eigenen Servern ausführen können.
Unternehmen nutzen Mistral auf drei Arten. Über La Plateforme, seine API, ähnlich wie bei anderen Modellanbietern. Über Le Chat, seinen Assistenten für Einzelpersonen und Teams, mit Unternehmensoptionen. Oder durch das Selbst-Hosting von Modellen mit offenen Gewichten auf der eigenen Infrastruktur oder über Cloud-Partner wie Azure, AWS und Google Cloud.
Der Reiz für viele europäische und türkische Unternehmen ist eine Mischung aus Kosten, Wahlmöglichkeiten beim Datenstandort und der Option, Modelle privat zu betreiben.
Warum wird die Messung oft übersprungen?
KI-Projekte beginnen oft als Experimente. Jemand verbindet die API mit einem Chatbot oder einem Content-Tool, es scheint nützlich zu sein, und es verbreitet sich. Monate später kann niemand sagen, ob es Geld spart oder welche Qualität es liefert. Wenn eine Budgetüberprüfung ansteht, ist das Projekt schwer zu verteidigen.
Die Messung wird auch deshalb übersprungen, weil Modellausgaben Text sind und Textqualität subjektiv erscheint. Es ist weniger subjektiv, wenn Sie definieren, was „gut“ für jede Aufgabe bedeutet, und regelmäßig eine Stichprobe bewerten.
Welche technischen KPIs sollten Sie verfolgen?
Technische KPIs sagen Ihnen, ob das System funktioniert und was es kostet. Die meisten stammen direkt aus den API-Logs.
- Anfragen pro Tag und pro Anwendungsfall, um zu sehen, wo die Nutzung wächst.
- Eingabe- und Ausgabetoken pro Anfrage, die die Kosten treiben.
- Kosten pro Aufgabe, wie Kosten pro zusammengefasstem Ticket oder pro Produktbeschreibung, nicht nur die monatlichen Gesamtausgaben.
- Latenz: mittlere und langsame Antwortzeiten, da Benutzer langsame Antworten bemerken.
- Fehler- und Timeout-Rate, einschließlich Ratenbegrenzungsfehlern.
- Für selbst gehostete Modelle: GPU-Auslastung und Kosten pro tausend Anfragen.
Protokollieren Sie den Modellnamen bei jeder Anfrage. Wenn Sie beispielsweise zwischen einem kleinen und einem großen Mistral-Modell wechseln, möchten Sie die Kosten- und Qualitätsänderung klar sehen.
Wie messen Sie die Ausgabequalität?
Qualität erfordert einen Testdatensatz. Sammeln Sie 50 bis 200 echte Beispiele für jeden Anwendungsfall, wie z. B. Kunden-E-Mails, Produktdatensätze oder Support-Fragen, mit einer vereinbarten guten Antwort oder einem Bewertungsleitfaden.
Bewerten Sie die Ausgaben anhand einiger Kriterien, die für die Aufgabe wichtig sind:
- Genauigkeit: Sind die Fakten korrekt und aus dem bereitgestellten Kontext gezogen?
- Vollständigkeit: Deckt die Antwort das ab, wonach der Benutzer gefragt hat?
- Format: Hält es sich an die erforderliche Struktur, Länge und den Ton?
- Sprachqualität: Ist die Grammatik natürlich, insbesondere bei türkischen und anderen nicht-englischen Ausgaben?
- Sicherheit: Vermeidet es Dinge, die es nicht sagen darf, wie z. B. Preise, die ihm nicht gegeben wurden?
Menschliche Prüfer können jeden Monat eine Stichprobe bewerten. Einige Teams verwenden auch ein stärkeres Modell als Richter, um Ausgaben vorzubewerten, und prüfen dann einen kleineren Satz von Hand. Führen Sie denselben Testdatensatz aus, wann immer Sie das Modell, den Prompt oder die Einstellungen ändern.
Welche geschäftlichen KPIs belegen den Wert?
Die Führungsebene interessiert sich für Ergebnisse. Verknüpfen Sie jeden Anwendungsfall mit ein oder zwei Geschäftskennzahlen und erfassen Sie vor dem Rollout eine Baseline.
Verfolgen Sie für den Kundensupport die Erstantwortzeit, den Anteil der ohne Eskalation gelösten Tickets und die Kundenzufriedenheitswerte. Verfolgen Sie für Inhalte und Marketing die Zeit pro Asset, die Anzahl der veröffentlichten Assets und die Bearbeitungszeit für KI-Entwürfe. Verfolgen Sie für interne Wissensassistenten die durch kurze Umfragen eingesparte Suchzeit und die Anzahl der Fragen, die ohne einen menschlichen Experten beantwortet wurden.
Rechnen Sie eingesparte Zeit vorsichtig in Geld um. Verwenden Sie reale Stundensätze und seien Sie konservativ; die Führungsebene wird überhöhte Einsparungen abwerten.
Was sollte das Dashboard enthalten?
Erstellen Sie ein Dashboard mit drei Abschnitten, die den drei Ebenen entsprechen. Looker Studio, Power BI, Grafana oder Metabase funktionieren alle, je nachdem, wo Ihre Logs liegen.
- Oben: Geschäftliche KPIs pro Anwendungsfall gegenüber der Baseline, monatlich.
- Mitte: Qualitätsbewertungen aus dem neuesten Testdatensatzlauf mit Trendlinien.
- Unten: Technische Metriken, einschließlich Kosten pro Aufgabe, Latenz und Fehler.
- Seitenleiste: Notizen zu Änderungen wie neuen Modellen, Prompts oder Datenquellen.
Halten Sie es auf einer Seite. Wenn das Dashboard eine Anleitung benötigt, ist es zu kompliziert.
Wie oft sollten Sie die Zahlen überprüfen?
Monatlich ist ein guter Standard. Technische Metriken können wöchentlich von der Person überprüft werden, die das System betreibt, da Kostenspitzen und Fehlerausbrüche schnelles Handeln erfordern. Qualitätsbewertungen benötigen einen monatlichen Zyklus, damit die Prüfer nicht überlastet werden. Geschäftliche KPIs bewegen sich langsam und werden am besten vierteljährlich mit der Führungsebene überprüft. Führen Sie den vollständigen Testdatensatz sofort nach jeder Änderung des Modells oder Prompts erneut aus, egal wie klein; eine Prompt-Anpassung, die eine Aufgabe verbessert, kann eine andere unbemerkt verschlechtern.