Fine-Tuning und LoRA ermöglichen es B2B-Marketing-Teams, ein Sprachmodell an ihren eigenen Stil, ihre Formate und Klassifizierungsregeln anzupassen. Fine-Tuning trainiert ein Modell anhand von Beispielen weiter; LoRA (Low-Rank Adaptation) erreicht dies kostengünstig, indem kleine Adapter-Gewichte anstelle des gesamten Modells trainiert werden. Beides ist nur sinnvoll, nachdem Prompting und Retrieval ausprobiert wurden und nur, wenn Sie Hunderte guter Beispiele für die gewünschte Ausgabe haben.
Was ändern Fine-Tuning und LoRA eigentlich?
Ein Basismodell verfügt über allgemeine Fähigkeiten. Fine-Tuning verschiebt sein Verhalten in Richtung Ihrer Beispiele: Tonfall, Struktur, Label-Auswahl, Ausgabeformat. Es vermittelt nicht zuverlässig neue Fakten. Wenn das Ziel lautet „unsere neuesten Produktspezifikationen kennen“, ist Retrieval-Augmented Generation (RAG) das bessere Werkzeug, da sich Fakten ändern und RAG aktuelle Dokumente liest.
LoRA ist eine Technik aus einem Forschungspapier von Microsoft-Forschern aus dem Jahr 2021. Es friert das ursprüngliche Modell ein und trainiert kleine Matrizen, die einigen Schichten hinzugefügt werden. Der Adapter ist eine kleine Datei, kann pro Aufgabe ausgetauscht werden und benötigt weit weniger GPU-Speicher als vollständiges Fine-Tuning. QLoRA geht noch weiter, indem es auf einem quantisierten Modell arbeitet, was das Training auf einer einzigen leistungsstarken GPU für viele offene Modelle ermöglicht.
Wann sollte ein B2B-Team fine-tunen?
Verwenden Sie eine Entscheidungsreihenfolge. Die meisten Teams bleiben bei Schritt eins oder zwei stehen.
- Prompting mit klaren Anweisungen und ein paar Beispielen.
- Retrieval, wenn das Problem fehlendes Wissen ist.
- Fine-Tuning, wenn das Modell genug weiß, aber Ihr Format oder Ihren Stil nicht zuverlässig befolgt, oder wenn ein kleineres fine-getuntes Modell ein großes, teures ersetzen kann.
Gute B2B-Kandidaten: Klassifizierung eingehender Leads in Ihre eigenen Segmente, Tagging von Inhalten nach Ihrer Taxonomie, Schreiben kurzer Ausgaben in einem strengen internen Format wie Produkt-Release-Notes und Extrahieren von Feldern aus RFPs in eine feste Struktur. Schlechte Kandidaten: Langform-Thought-Leadership, alles, was aktuelle Fakten erfordert, und Aufgaben mit weniger als ein paar hundert Beispielen.
Wo können Sie fine-tunen?
Zu den gehosteten Optionen gehören die Fine-Tuning-API von OpenAI für ausgewählte GPT-Modelle, Google Vertex AI für Gemini und offene Modelle, Amazon Bedrock für mehrere Modellfamilien, Azure AI Foundry und die Plattform von Mistral. Diese verbergen die Infrastruktur; Sie laden Daten hoch und bezahlen für Training und Nutzung.
Für Modelle mit offenen Gewichten wie Llama, Mistral, Qwen oder Gemma führen Bibliotheken wie Hugging Face PEFT und TRL, Unsloth und Axolotl LoRA-Training auf Ihren eigenen oder gemieteten GPUs aus. Dieser Weg bietet mehr Kontrolle und hält Daten in Ihrer Umgebung, auf Kosten von Engineering-Zeit.
Wie bereiten Sie Trainingsdaten vor?
Datenqualität bestimmt das Ergebnis. Ein paar hundert saubere Beispiele schlagen Tausende von verrauschten.
Sammeln Sie echte Beispiele
Ziehen Sie Eingaben und die Ausgaben, die Ihr Team akzeptiert hat: Lead-Formulartexte mit dem vom Vertriebsteam zugewiesenen Segment, Produktnotizen mit der veröffentlichten Release-Note, RFP-Abschnitte mit den extrahierten Feldern. Entfernen Sie alles mit personenbezogenen Daten, die Sie nicht verwenden dürfen, oder anonymisieren Sie es.
Machen Sie Ausgaben konsistent
Wenn zwei Personen ähnliche Leads unterschiedlich gelabelt haben, lernt das Modell Verwirrung. Überprüfen Sie eine Stichprobe, schreiben Sie Labeling-Regeln und beheben Sie widersprüchliche Beispiele. Dieser Schritt dauert oft länger als das Training.
Teilen Sie die Daten auf
Behalten Sie einen Testdatensatz zurück, oft etwa 10 bis 20 Prozent, den das Modell während des Trainings nie sieht. Alle Qualitätszahlen stammen aus diesem Set.
Wie evaluieren Sie ein fine-getuntes Modell?
Vergleichen Sie drei Optionen auf demselben Testset: das Basismodell mit Ihrem besten Prompt, das Basismodell mit Prompt plus Few-Shot-Beispielen und das fine-getunte Modell. Verwenden Sie Aufgabenmetriken: Genauigkeit und F1 für Klassifizierung, feldbasierte Genauigkeit für Extraktion, ein Bewertungsraster für das Schreiben.
- Fine-getuntes Modell deutlich besser und günstiger pro Aufruf: übernehmen Sie es.
- Fine-getuntes Modell ähnlich wie Prompting: behalten Sie Prompting bei; es ist einfacher zu warten.
- Fine-getuntes Modell bei einigen Kategorien schlechter: fügen Sie Beispiele für diese hinzu und trainieren Sie neu.
Prüfen Sie auch auf Regressionen. Ein Modell, das stark auf ein Format abgestimmt ist, kann schlechter darin werden, neuen Anweisungen zu folgen. Testen Sie ein paar allgemeine Aufgaben, um zu sehen, was sich geändert hat.
Was kostet es und wer wartet es?
Die Kosten umfassen Zeit für die Datenvorbereitung, Trainingsläufe, Hosting- oder Gebühren pro Aufruf sowie erneutes Training, wenn sich Ihre Taxonomie, Produkte oder Ihr Stil ändern. LoRA hält die Trainingskosten niedrig, aber die Datenarbeit bleibt gleich. Planen Sie einen Verantwortlichen ein, der den Datensatz vierteljährlich aktualisiert und die Evaluierung nach jeder Änderung erneut durchführt. Ohne Verantwortlichen altert ein fine-getuntes Modell still, während sich das Geschäft um es herum verändert.
Governance ist im B2B wichtig. Dokumentieren Sie, welche Daten jede Modellversion trainiert haben, wer sie genehmigt hat und wo Adapter gespeichert sind. Kunden und Auditoren fragen zunehmend danach.
Welche Fehler verschwenden ein Fine-Tuning-Budget?
Drei treten wiederholt auf. Teams fine-tunen, um Fakten einzubringen, stellen dann aber fest, dass das Modell immer noch mit alten Informationen antwortet. Sie trainieren mit Ausgaben, die niemand überprüft hat, sodass das Modell vergangene Fehler treu kopiert. Und sie überspringen die Baseline, sodass niemand sagen kann, ob das getunte Modell besser ist als ein gut geschriebener Prompt. Ein vierter ist weniger offensichtlich: das Training auf einer Modellversion, die der Anbieter später in den Ruhestand schickt, was einen Neuaufbau erzwingt. Fragen Sie nach Deprecation-Zeitplänen, bevor Sie ein gehostetes Basismodell auswählen, und bewahren Sie Ihren Datensatz in einem Format auf, das Sie auf einem anderen Modell wiederverwenden können.
Wie Alien Road Fine-Tuning für B2B-Kunden anwendet
Bei einem typischen Engagement versucht unser AI Optimization-Team zuerst, die Aufgabe mit Prompting und Retrieval zu lösen, und zeichnet die Ergebnisse auf einem Testset auf. Nur wenn eine klare Lücke bleibt, schlagen wir Fine-Tuning vor, mit einer schriftlichen Schätzung der Datenarbeit und der laufenden Kosten.
Für genehmigte Projekte bereinigen und labeln wir die Beispiele des Kunden mit dessen Team, trainieren einen LoRA-Adapter auf einem offenen Modell oder nutzen einen gehosteten Fine-Tuning-Service und vergleichen ihn mit der Nur-Prompt-Baseline. Der Adapter und der Datensatz bleiben in der Umgebung des Kunden.
Monatliche Berichte decken die Genauigkeit auf dem zurückgehaltenen Set, die Kosten pro Aufruf gegenüber der Baseline des großen Modells und Drift-Prüfungen bei frischen Beispielen ab, mit einer Empfehlung zur Nachschulung, wenn die Werte fallen.
Wo man diese Woche anfangen kann
Wählen Sie eine Klassifizierungsaufgabe aus, die Ihr Team von Hand erledigt, wie das Tagging eingehender Leads. Exportieren Sie 300 vergangene Beispiele mit den von Personen zugewiesenen Labels, überprüfen Sie 50 davon auf Konsistenz und testen Sie einen starken Prompt auf dem sauberen Set. Wenn die Genauigkeit immer noch nicht ausreicht, was der Vertrieb benötigt, haben Sie einen Fine-Tuning-Kandidaten und den Anfang eines Datensatzes.
Weiterlesen: KI-Optimierung · KI-Optimierung