Kleine Sprachmodelle zu messen bedeutet zu beweisen, dass ein billigeres, schnelleres Modell eine bestimmte Aufgabe gut genug erledigt, und die Einsparungen in Zahlen zu zeigen. Kleine Modelle wie Microsoft Phi, Google Gemma, Metas kleinere Llama-Varianten und Mistral Small können kostengünstig über eine API oder auf eigener Hardware ausgeführt werden. Die wichtigen KPIs sind Aufgabenqualität, Latenz, Kosten pro Aufgabe und das Geschäftsergebnis, das die Aufgabe unterstützt.
Warum brauchen kleine Sprachmodelle ihre eigene Messung?
Große Modelle werden oft aufgrund ihres Rufs gewählt. Kleine Modelle werden aufgrund eines Kompromisses gewählt: Sie akzeptieren einen gewissen Verlust an allgemeinen Fähigkeiten für Geschwindigkeit, Kosten und Kontrolle. Dieser Kompromiss ist nur sicher, wenn man ihn sehen kann. Ohne Messung zahlt ein Team entweder zu viel für ein großes Modell bei einfachen Aufgaben oder setzt stillschweigend ein kleines Modell ein, das bei jeder zehnten Antwort falsch liegt.
Kleine Modelle sind tendenziell auch spezialisierter. Ein Modell, das Support-Tickets gut taggt, schreibt möglicherweise schlechte Werbetexte. Die Messung muss pro Aufgabe erfolgen, nicht pro Modell.
Was sollten Sie zuerst messen?
Beginnen Sie mit vier Gruppen von Metriken. Jede beantwortet eine andere Frage von einer anderen Person im Unternehmen.
- Qualität: Entspricht das Ergebnis dem Standard? Gemessen an einem gelabelten Testset.
- Latenz: Wie lange dauert eine Antwort? Gemessen als Median und 95. Perzentil der Zeit.
- Kosten: Was kostet eine abgeschlossene Aufgabe, einschließlich Wiederholungen und menschlicher Korrekturen?
- Geschäftsauswirkung: Hat sich der nachgelagerte KPI bewegt, wie z. B. Reaktionszeit, Konversion oder eingesparte Stunden?
Qualität und Kosten sind für Marketingteams meist am wichtigsten. Latenz ist wichtig für alles, worauf ein Kunde wartet, wie Chat oder On-Site-Suche.
Qualitätsmetriken nach Aufgabentyp
Die Qualitätsmetrik hängt von der Aufgabe ab. Verwenden Sie für Klassifizierungsaufgaben wie Lead-Scoring, Intent-Tagging oder Sentiment Genauigkeit, Präzision und Recall anhand von menschlich zugewiesenen Labels. Zählen Sie bei Extraktionsaufgaben den Anteil der korrekt ausgefüllten Felder. Verwenden Sie für Schreibaufgaben eine Rubrik, die von Menschen oder einem stärkeren Modell als Richter bewertet wird, wobei eine Stichprobe von Menschen überprüft wird, um zu bestätigen, dass der Richter zustimmt.
Kosten pro Aufgabe, nicht Kosten pro Token
Token-Preise sehen winzig aus und täuschen. Berechnen Sie die Kosten pro abgeschlossener Aufgabe: Token pro Aufgabe multipliziert mit dem Preis, plus die Kosten für Wiederholungen, plus die Minuten, die eine Person damit verbringt, schlechte Ergebnisse zu korrigieren. Ein kleines Modell, das häufige Korrekturen erfordert, kann insgesamt mehr kosten als ein größeres Modell, das dies nicht tut.
Wie baut man ein Evaluierungsset auf?
Ein Evaluierungsset ist eine feste Sammlung echter Eingaben mit bekannten guten Ausgaben. Es ist das Fundament jeder Zahl auf Ihrem Dashboard.
- Sammeln Sie 100 bis 300 echte Beispiele aus der Aufgabe, keine erfundenen.
- Lassen Sie eine Person für jedes Beispiel die richtige Ausgabe labeln oder schreiben.
- Fügen Sie schwierige Fälle hinzu: Tippfehler, gemischte Sprachen, Randkategorien.
- Frieren Sie das Set ein und geben Sie ihm eine Versionsnummer.
- Führen Sie jedes Kandidatenmodell und jeden Prompt gegen dasselbe Set aus.
Behalten Sie ein separates kleines Set neuer Beispiele bei, die jeden Monat gesammelt werden. Wenn die Leistung bei frischen Daten sinkt, während das eingefrorene Set stabil bleibt, haben sich Ihre echten Eingaben geändert und das Modell oder der Prompt muss aktualisiert werden.
Wie sieht ein nützliches Dashboard aus?
Ein Dashboard für kleine Sprachmodelle sollte auf einen Bildschirm passen und drei Fragen beantworten: Funktioniert es, ist es billig und hilft es? Looker Studio, Power BI oder Grafana funktionieren alle; wichtig sind die Daten dahinter.
Obere Reihe: Gesundheit
Anfragen pro Tag, Fehlerrate, Median und 95. Perzentil der Latenz. Diese stammen direkt aus den Anwendungsprotokollen. Eine plötzliche Änderung hier bedeutet normalerweise ein technisches Problem und kein Modellproblem.
Mittlere Reihe: Qualität
Aktuellster Score auf dem eingefrorenen Evaluierungsset, Score auf der monatlichen frischen Stichprobe und die menschliche Überschreibungsrate, die den Anteil der Ausgaben darstellt, die eine Person vor der Verwendung geändert hat. Die Überschreibungsrate ist oft das ehrlichste Qualitätssignal, das Sie in der Produktion haben.
Untere Reihe: Wert
Kosten pro Aufgabe im Zeitverlauf, eingesparte Stunden pro Monat (Aufgaben multipliziert mit eingesparten Minuten pro Aufgabe, einmal gemessen durch Zeitmessung von Personen) und der mit der Aufgabe verknüpfte Business-KPI. Bei einem Lead-Tagging-Modell könnte das die Zeit von der Formulareingabe bis zum ersten Verkaufsgespräch sein.
Wie vergleicht man ein kleines Modell mit einem großen?
Führen Sie beide auf demselben Evaluierungsset mit derselben Prompt-Struktur aus. Plotten Sie Qualität gegen Kosten pro Aufgabe. Oft ist das Ergebnis klar: Das kleine Modell erreicht bei engen Aufgaben den Großteil des Scores des großen Modells zu einem Bruchteil der Kosten und fällt bei offenem Schreiben oder Denken stark zurück. Entscheiden Sie dann pro Aufgabe.
Ein Routing-Setup ist üblich: Das kleine Modell erledigt die Aufgabe zuerst, und Fälle, in denen es geringes Vertrauen meldet oder in denen eine einfache Regel Zweifel anmeldet, gehen an das größere Modell. Messen Sie den Anteil des nach oben geleiteten Datenverkehrs; wenn er wächst, ist das kleine Modell nicht mehr gut geeignet.
Wie Alien Road kleine Sprachmodelle anwendet und misst
In einem typischen Engagement listet unser AI Optimization-Team die AI-Aufgaben des Kunden und deren aktuelles Modell auf, wählt dann die hochvolumigen, engen Aufgaben als Kandidaten für ein kleines Modell aus, wie z. B. Produktattributextraktion, Review-Tagging oder Lead-Klassifizierung.
Wir bauen das Evaluierungsset mit den eigenen Daten des Kunden auf, testen zwei oder drei kleine Modelle gegen das aktuelle und richten Protokollierung für Latenz, Kosten und Überschreibungen ein. Das Dashboard wird im eigenen BI-Tool des Kunden bereitgestellt, sodass es nicht von uns abhängt.
Das Reporting erfolgt monatlich: Qualität auf eingefrorenen und frischen Sets, Kosten pro Aufgabe, Überschreibungsrate und der verknüpfte Business-KPI, mit einer kurzen Notiz zu jeder Modell- oder Prompt-Änderung, die in diesem Monat vorgenommen wurde.
Welche Fehler machen die Zahlen irreführend?
Der häufigste Fehler ist das Testen an erfundenen Beispielen, die sauberer sind als echte Daten und die Scores in die Höhe treiben. Der zweite ist das Ignorieren der menschlichen Korrekturzeit, was die echten Kosten verbirgt. Der dritte ist das gleichzeitige Ändern des Prompts und des Modells, sodass niemand weiß, welche Änderung geholfen hat. Ändern Sie pro Test nur eine Sache.
Eine weitere Falle ist es, ein Modell ein anderes ohne Überprüfung beurteilen zu lassen. Ein Richtermodell hat seine eigenen Vorurteile, einschließlich einer Vorliebe für längere Antworten. Überprüfen Sie jeden Monat eine Stichprobe seiner Scores von Hand.
Wo man diese Woche anfangen sollte
Wählen Sie eine Aufgabe mit hohem Volumen, die Ihr Team bereits über ein großes Modell ausführt. Ziehen Sie 100 echte Eingaben mit ihren akzeptierten Ausgaben, führen Sie ein kleines Modell mit demselben Prompt dagegen aus und vergleichen Sie Genauigkeit und Kosten pro Aufgabe in einer einfachen Tabelle. Dieser eine Vergleich sagt Ihnen, ob es sich lohnt, als Nächstes ein Dashboard zu bauen.
Weiterlesen: KI-Optimierung · KI-Optimierung