Kleine Sprachmodelle sind kompakte KI-Modelle, meist mit wenigen Milliarden Parametern oder weniger, die auf einem Laptop, Telefon oder einem bescheidenen Server laufen können. Ihre Hauptrisiken für ein Marketingteam sind eine geringere Genauigkeit bei komplexen Aufgaben, selbstbewusste Fehler bei Fakten und Sprachen, die sie schlecht beherrschen, sowie unkontrollierte Kopien, die sich auf Geräten verbreiten. Die Governance sollte sie auf enge, testbare Aufgaben beschränken, eine Evaluierung vor der Nutzung erfordern und nachverfolgen, wo jedes Modell läuft.
Beispiele sind die Phi-Familie von Microsoft, Gemma von Google, die kleineren Llama-Varianten von Meta, die kleinen Modelle von Mistral, die kleinen Qwen-Versionen von Alibaba und Modelle, die auf Telefonen laufen, wie Gemini Nano und das On-Device-Foundation-Modell von Apple. Tools wie Ollama, LM Studio und llama.cpp machen es einfach, sie herunterzuladen und auf einem persönlichen Computer auszuführen.
Ihr Reiz ist klar: niedrige Kosten pro Aufgabe, schnelle Antworten, die Option, Daten vollständig im Haus zu behalten, und die Fähigkeit, sie kostengünstig für eine spezifische Aufgabe feinabzustimmen. Diese Vorteile sind real. Die Grenzen sind es auch.
Wo sind kleine Modelle stark?
Kleine Modelle schneiden bei Aufgaben gut ab, die eng gefasst und klar definiert sind. Das Kategorisieren von Support-Nachrichten, das Extrahieren von Feldern aus Formularen, das Tagging von Produktbewertungen nach Themen, das Umschreiben kurzer Texte in einem festen Stil und einfache Routing-Entscheidungen sind alles gute Beispiele.
Sie schneiden auch gut ab, wenn sie feinabgestimmt sind. Ein kleines Modell, das auf ein paar tausend Beispielen einer spezifischen Aufgabe trainiert wurde, kann ein großes allgemeines Modell bei dieser Aufgabe erreichen oder übertreffen, und das zu einem Bruchteil der Betriebskosten.
Was sind ihre Grenzen?
Schlussfolgerung und langer Kontext
Kleine Modelle haben Schwierigkeiten mit mehrstufigem logischem Denken, langen Dokumenten und Aufgaben, die erfordern, viele Fakten gleichzeitig im Gedächtnis zu behalten. Wenn man sie bittet, einen Kampagnenbericht zu analysieren und Budgetänderungen zu empfehlen, führt dies meist zu oberflächlichen oder falschen Ratschlägen.
Wissen und Fakten
Mit weniger Parametern speichern sie weniger Weltwissen. Sie neigen eher dazu, Fakten, Namen und Zahlen zu erfinden, insbesondere bei Nischenthemen, und dies fließend zu tun.
Sprachen
Viele kleine Modelle sind hauptsächlich auf Englisch trainiert. Die Qualität in Türkisch, Aserbaidschanisch oder anderen Sprachen kann merklich geringer sein, mit Grammatikfehlern oder wörtlichen Übersetzungen. Testen Sie jede Sprache separat.
Sicherheitsabstimmung
Kleine Modelle haben möglicherweise eine schwächere Sicherheits- und Verweigerungsabstimmung als große kommerzielle Modelle. Sie können unangemessene Inhalte leichter produzieren, wenn sie schlecht oder von einem böswilligen Benutzer dazu aufgefordert werden.
Welche Risiken erfordern Governance?
Schatten-Deployments
Da jeder ein Modell herunterladen und auf einem Laptop ausführen kann, können Teams anfangen, sie zu nutzen, ohne dass die IT davon weiß. Kundendaten, die in ein lokales Modell eingefügt werden, bleiben zwar privat, aber die Ausgaben können ohne Überprüfung verwendet werden, und niemand weiß, welches Modell-Version was produziert hat.
Lizenzbedingungen
Kleine Modelle unterliegen unterschiedlichen Lizenzen. Einige sind freizügig wie Apache 2.0, andere haben benutzerdefinierte Bedingungen mit Nutzungseinschränkungen. Ein Modell kommerziell zu nutzen, ohne seine Lizenz zu prüfen, ist ein rechtliches Risiko.
Nicht validierte Ausgaben
Ein kleines Modell, das Leads oder Support-Tickets klassifiziert, kann einen Teil davon stillschweigend falsch routen. Ohne einen Evaluierungssatz und Überwachung zeigen sich Fehler nur als Beschwerden.
Modell-Lieferkette
Modelle, die von öffentlichen Hubs heruntergeladen werden, können modifizierte Versionen sein. Verwenden Sie offizielle Quellen und verifizieren Sie die Herausgeber. Modelldateien in einigen älteren Formaten können sogar ausführbaren Code enthalten, weshalb sicherere Formate wie safetensors bevorzugt werden.
Welche Governance-Regeln sollten zuerst kommen?
- Genehmigte Liste: Benennen Sie die Modelle, die für die geschäftliche Nutzung erlaubt sind, ihre offizielle Quelle und Lizenz.
- Anwendungsfall-Genehmigung: Jeder neue Anwendungsfall wird in einem Absatz beschrieben und von einem Eigentümer genehmigt.
- Evaluierung vor der Nutzung: Testen Sie jedes Modell mit mindestens fünfzig echten Beispielen pro Aufgabe und Sprache, mit einer Akzeptanzschwelle.
- Keine ungeprüfte kundenorientierte Ausgabe: Alles, was ein Kunde sieht, wird überprüft oder auf sichere Vorlagen beschränkt.
- Datenregeln: Welche Daten verarbeitet werden dürfen, wo das Modell läuft und wie Protokolle geführt werden.
- Versionsverfolgung: Zeichnen Sie den Modellnamen und die Version auf, die für jeden Workflow verwendet werden.
- Erneute Prüfung bei Änderung: Wenn ein Modell aktualisiert oder ersetzt wird, führen Sie den Evaluierungssatz erneut aus.
Wann sollten Sie stattdessen ein größeres Modell wählen?
Wählen Sie ein größeres Modell, wenn die Aufgabe logisches Denken, lange Dokumente, offenes Schreiben, das Kunden lesen werden, oder viele Sprachen in hoher Qualität beinhaltet. Ein gängiges Design nutzt beides: ein kleines Modell für schnelle Klassifizierung und Routing und ein größeres Modell für die Fälle, die das kleine als unsicher markiert.
Kosten allein sind ein schwacher Grund, ein kleines Modell zu wählen, wenn Fehler zu Nacharbeit führen. Vergleichen Sie die Gesamtkosten einschließlich Überprüfung und Korrektur, nicht nur den Token-Preis.
Wie Alien Road kleine Sprachmodelle anwendet
In einem typischen Engagement tauchen kleine Modelle eher bei Daten- und Betriebsaufgaben auf als beim Schreiben von Inhalten. Die Discovery identifiziert hochvolumige, enge Aufgaben wie das Tagging von Bewertungen, das Sortieren eingehender Nachrichten oder das Extrahieren von Feldern aus Lead-Formularen und prüft die beteiligten Sprachen.
Das Setup verwendet ein genehmigtes Modell aus einer offiziellen Quelle, das entweder über einen verwalteten Host oder auf der Infrastruktur des Kunden mit Ollama oder vLLM ausgeführt wird. Wir erstellen einen Evaluierungssatz aus den eigenen Daten des Kunden, vergleichen das kleine Modell mit einem größeren und zeichnen die Ergebnisse auf. Wenn das kleine Modell die vereinbarte Genauigkeit erreicht, geht es in den Workflow über, mit einem Fallback auf ein größeres Modell oder eine Person für unsichere Fälle.
Die Messung verfolgt die Genauigkeit anhand einer wöchentlichen Stichprobe, die Fallback-Rate und die Kosten pro Aufgabe. Berichte zeigen diese im Zeitverlauf und markieren jede Abweichung, wie z. B. einen Genauigkeitsabfall nach einer Änderung der eingehenden Daten.
Wie überwachen Sie ein kleines Modell nach dem Start?
Die Evaluierung vor dem Start reicht nicht aus, da sich eingehende Daten ändern. Eine neue Produktpalette, eine Kampagne in einer neuen Sprache oder eine saisonale Verschiebung der Kundenfragen kann ein kleines Modell aus dem Bereich dessen drängen, was es gut handhabt. Nehmen Sie jede Woche eine Stichprobe von Ausgaben und lassen Sie sie von einer Person anhand desselben Standards bewerten, der in der ursprünglichen Evaluierung verwendet wurde.
Beobachten Sie auch die Fallback-Rate. Wenn mehr Fälle an ein größeres Modell oder eine Person weitergeleitet werden, hat das kleine Modell Schwierigkeiten, selbst wenn die bewertete Stichprobe gut aussieht.
Wo man diese Woche anfangen sollte
Listen Sie jeden Ort auf, an dem Ihr Team derzeit KI verwendet, und notieren Sie, welche Modelle dahinter stehen, einschließlich allem, was lokal auf Laptops läuft. Sie könnten kleine Modelle finden, die bereits ohne Genehmigung verwendet werden.
Wählen Sie dann eine enge, hochvolumige Aufgabe und erstellen Sie einen Testdatensatz mit fünfzig Beispielen aus echten Daten. Lassen Sie ein kleines und ein großes Modell darauf laufen und vergleichen Sie Genauigkeit und Kosten. Dieser einzelne Vergleich sagt Ihnen, ob ein kleines Modell in Ihren Workflow gehört.
Weiterlesen: KI-Optimierung · KI-Optimierung