Kleine Sprachmodelle sind kompakte KI-Modelle, meist mit wenigen Milliarden Parametern oder weniger, die schnell und kostengünstig laufen, manchmal direkt auf einem Laptop oder Smartphone. Für Marketer eignen sie sich für eng begrenzte, wiederkehrende Aufgaben wie das Tagging von Inhalten, die Klassifizierung von Leads, das Entwerfen kurzer Textvarianten und das Zusammenfassen von Bewertungen, bei denen die zusätzliche Argumentationsfähigkeit eines großen Modells Kosten verursacht, ohne viel Mehrwert zu bieten.
Was gilt als kleines Sprachmodell?
Es gibt keine offizielle Grenze, aber der Begriff umfasst normalerweise Modelle von unter einer Milliarde bis zu etwa zehn Milliarden Parametern. Beispiele sind die Phi-Familie von Microsoft, Gemma von Google, die kleineren Llama-Varianten von Meta, die kompakten Modelle von Mistral und die kleinen Releases von Qwen. Apple und Google liefern ebenfalls On-Device-Modelle in ihren Betriebssystemen aus.
Große Frontier-Modelle hingegen sind viel umfangreicher und laufen meist nur im Rechenzentrum eines Anbieters. Die Lücke zwischen beiden hat sich verringert. Gut trainierte kleine Modelle bewältigen heute viele alltägliche Sprachaufgaben gut, hinken jedoch bei langwierigen Überlegungen, breitem Weltwissen und komplexen Anweisungen noch hinterher.
Warum sollte sich ein Marketingteam dafür interessieren?
Drei Gründe: Kosten, Geschwindigkeit und Datenschutz. Ein kleines Modell kostet nur einen Bruchteil pro Anfrage, antwortet in Sekundenbruchteilen und kann auf Hardware laufen, die Sie kontrollieren, sodass Kundendaten Ihre Systeme nicht verlassen müssen.
Das ist wichtig, wenn das Volumen hoch ist. Das Tagging von 50.000 Blog-Kommentaren oder Support-E-Mails mit einem großen Modell ist möglich, aber langsam und die Rechnung steigt schnell. Ein kleines Modell, das für diese eine Aufgabe trainiert oder gepromptet wurde, erledigt sie oft gut genug.
Welche Marketingaufgaben eignen sich für kleine Modelle?
Das Muster ist einfach: kurzer Input, klares Output-Format, enger Bereich. Wenn Sie die richtige Antwort in einem Satz beschreiben können, lohnt es sich, ein kleines Modell zu testen.
- Sortieren eingehender Leads in Kategorien wie Budgetbereich, Serviceinteresse oder Sprache
- Tagging von Bewertungen nach Thema und Stimmung für ein Produktteam
- Schreiben vieler kurzer Varianten einer Anzeigenüberschrift basierend auf einem festen Briefing
- Extrahieren von Produktattributen wie Farbe, Größe und Material aus Lieferantentexten
- Zusammenfassen von Anrufprotokollen in drei Stichpunkten für eine CRM-Notiz
- Erkennen der Sprache einer Nachricht und Weiterleitung an das richtige Team
Aufgaben, die bei größeren Modellen bleiben sollten: Langform-Artikel, Strategiedokumente, mehrstufige Recherchen und alles, was aktuelle Fakten oder sorgfältige Überlegungen über viele Quellen hinweg erfordert.
Wie scheitern kleine Modelle?
Sie scheitern leise. Ein kleines Modell erzeugt oft selbstbewusst Texte, die falsch sind, insbesondere wenn es nach Fakten gefragt wird, die es nie gelernt hat. Es kann auch Teile einer langen Anweisung ignorieren oder ein erforderliches Ausgabeformat verletzen.
Häufige Anzeichen für ein Scheitern
- Erfinden von Produktdetails, die nicht im Quelltext stehen
- Weglassen eines Feldes aus einer JSON-Ausgabe, wenn der Input ungewöhnlich ist
- Sprachwechsel mitten in der Antwort bei mehrsprachigem Input
- Schwache Leistung bei Türkisch, Aserbaidschanisch oder anderen Sprachen mit weniger Trainingsdaten
Die Lösung besteht darin, die Aufgabe weiter einzugrenzen, zwei oder drei Beispiele im Prompt zu geben und die Ausgaben mit Code zu validieren. Wenn ein Feld einen von fünf Werten haben muss, prüfen Sie dies automatisch und senden Sie Fehler an eine Person.
Sollten Sie ein kleines Modell feinabstimmen (Fine-Tuning)?
Fine-Tuning bedeutet, das Modell anhand Ihrer eigenen Beispiele etwas weiter zu trainieren. Bei kleinen Modellen ist dies erschwinglich und oft der Schritt, der ein schwaches Ergebnis in ein gutes verwandelt. Einige hundert bis einige tausend saubere Beispiele können einem Modell Ihre Kategorien und Ihren Ton beibringen.
Versuchen Sie vor dem Fine-Tuning zuerst einen guten Prompt mit Beispielen. Wenn die Genauigkeit immer noch nicht Ihren Anforderungen entspricht, sammeln Sie echte gelabelte Daten aus der vergangenen Arbeit Ihres Teams. Techniken wie LoRA machen Fine-Tuning so kostengünstig, dass es auf einer einzigen gemieteten GPU ausgeführt werden kann. Behalten Sie einen Testdatensatz zurück, damit Sie beweisen können, dass das abgestimmte Modell besser ist.
Wie wählen Sie zwischen Cloud und On-Device?
Das Ausführen eines kleinen Modells in der Cloud über einen Anbieter wie Hugging Face Inference, Amazon Bedrock oder Google Vertex AI ist der einfachste Start. Die Ausführung auf Ihrem eigenen Server oder Laptop mit Tools wie Ollama oder LM Studio bietet volle Kontrolle und keine Gebühr pro Anfrage.
- Cloud: schnell zu starten, skaliert bei Bedarf, Daten gehen unter den Bedingungen des Anbieters an diesen
- Eigener Server: Fixkosten, Daten bleiben intern, erfordert jemanden für die Wartung
- On-Device in einer App: keine Serverkosten und Offline-Nutzung, aber durch die Hardware des Benutzers begrenzt
Für die meisten Marketingteams ist der Cloud-Weg der richtige erste Schritt. Wechseln Sie nur dann zum Self-Hosting, wenn Volumen oder Datenrichtlinien dies rechtfertigen.
Wie Alien Road kleine Sprachmodelle anwendet
In einem typischen Engagement prüfen wir, wo das Team des Kunden bereits große Modelle verwendet, und identifizieren wiederkehrende Aufgaben, die auf ein kleineres Modell übertragen werden könnten. Lead-Tagging und Bewertungsklassifizierung kommen am häufigsten vor.
Wir erstellen einen gelabelten Testdatensatz aus den eigenen Daten des Kunden, testen zwei oder drei kleine Modelle gegen das aktuelle große Modell und vergleichen Genauigkeit und Kosten pro Anfrage. Wenn ein kleines Modell die Messlatte erreicht, setzen wir es hinter eine einfache Validierungsschicht, die Formate prüft und unklare Fälle an einen Menschen oder ein größeres Modell weiterleitet.
Das Reporting umfasst die Genauigkeit bei einer monatlichen Stichprobe, den Anteil der an das Fallback gesendeten Fälle und die Kosten pro tausend Anfragen. Der Kunde sieht genau, wo das kleine Modell hilft und wo nicht.
Was kostet der Betrieb eines kleinen Modells?
Die genauen Preise ändern sich häufig, betrachten Sie jede Zahl also als Momentaufnahme. Das allgemeine Muster bleibt jedoch bestehen: Token-Raten für kleine gehostete Modelle sind normalerweise ein kleiner Bruchteil der Raten für Frontier-Modelle, und ein Laptop, auf dem ein lokales Modell läuft, kostet nach der Einrichtung nichts pro Anfrage.
Die versteckten Kosten sind die Mitarbeiter. Jemand muss den Prompt schreiben, den Testdatensatz erstellen, Ergebnisse prüfen und das Setup aktualisieren, wenn sich die Aufgabe ändert. Planen Sie ein paar Arbeitstage für einen ersten Piloten und danach ein paar Stunden pro Monat ein. Wenn eine Aufgabe nicht oft genug ausgeführt wird, um diese Zeit zu amortisieren, lassen Sie sie auf dem großen Modell, das Sie bereits verwenden.
Wo Sie diese Woche anfangen können
Wählen Sie eine Sortier- oder Tagging-Aufgabe, die Ihr Team manuell erledigt. Exportieren Sie 200 vergangene Beispiele mit den korrekten Labels. Installieren Sie Ollama auf einem Laptop, laden Sie ein kleines Modell wie eine Gemma- oder Phi-Variante und testen Sie es mit einem kurzen Prompt und drei Beispielen. Messen Sie, wie viele es richtig macht. Wenn es 85 bis 90 Prozent bei Ihren eigenen Daten erreicht, planen Sie einen kleinen Piloten; wenn nicht, haben Sie kostengünstig gelernt, dass die Aufgabe ein größeres Modell erfordert.
Weiterlesen: KI-Optimierung · KI-Optimierung