Fine-Tuning passt ein vortrainiertes Sprach- oder Bildmodell an eine spezifische Aufgabe an, indem es mit eigenen Beispielen weiter trainiert wird. LoRA, kurz für Low-Rank Adaptation, ist eine Methode, die kleine Adapter-Gewichte anstelle des gesamten Modells trainiert, was Rechenkosten und Speicherbedarf senkt. Eine Implementierungs-Checkliste deckt ab, wann man fine-tunen sollte, wie man Daten vorbereitet, wie man evaluiert und wie man sicher bereitstellt.
LoRA wurde 2021 von Microsoft-Forschern eingeführt und ist zum Standard für die Anpassung von Open-Weight-Modellen wie Llama, Mistral und Qwen sowie Bildmodellen wie Stable Diffusion geworden. Gehostete Anbieter, einschließlich OpenAI und Google, bieten für einige Modelle ihr eigenes verwaltetes Fine-Tuning an, wobei sie im Hintergrund oft ähnliche parameter-effiziente Methoden verwenden.
Sollten Sie überhaupt fine-tunen?
Oft nicht. Viele Marketingaufgaben lassen sich besser durch gute Prompts, Beispiele im Prompt oder Retrieval-Augmented Generation lösen, die dem Modell Ihre Dokumente zum Zeitpunkt der Antwort liefert. Fine-Tuning lohnt sich, wenn sich dieselbe eng gefasste Aufgabe in hohem Volumen wiederholt und Prompts allein inkonsistente Ergebnisse liefern.
Gute Gründe für Fine-Tuning
- Ein festes Ausgabeformat, das das Modell immer wieder bricht, wie z. B. strukturierte Produktattribute
- Eine Markenstimme, die Prompts über Tausende von Ausgaben hinweg nicht halten können
- Klassifizierungsaufgaben, wie das Sortieren von Support-Tickets oder Bewertungen in Kategorien
- Kostensenkung durch Verlagerung einer Aufgabe von einem großen Modell auf ein kleineres, abgestimmtes Modell
- Ein konsistenter visueller Stil für die Bilderzeugung mittels eines Bild-LoRA
Schlechte Gründe
- Dem Modell Fakten beibringen, die sich oft ändern, wie Preise oder Lagerbestände
- Eine Aufgabe reparieren, die Sie noch nicht klar definiert haben
- Weniger als ein paar hundert gute Beispiele haben
Schritt 1: Aufgabe und Erfolgskriterien definieren
Schreiben Sie den Input, den erwarteten Output und was “gut” in messbaren Begriffen bedeutet, auf. Vage Ziele wie “bessere Texte” können nicht getestet werden, und eine Aufgabe, die nicht getestet werden kann, kann nicht getunt werden. Für eine Produktbeschreibungsaufgabe könnte “gut” korrekte Attribute, einen bestimmten Längenbereich, keine verbotenen Behauptungen und eine Stilbewertung durch einen Prüfer bedeuten.
Erstellen Sie dann vor dem Training ein Evaluierungsset. Nehmen Sie 100 bis 300 echte Inputs, schreiben oder genehmigen Sie ideale Outputs und legen Sie diese beiseite. Dieses Set fließt niemals in das Training ein. Jede Modellversion wird daran gemessen.
Schritt 2: Trainingsdaten vorbereiten
Qualität schlägt Quantität. Ein paar hundert sorgfältig geprüfte Beispiele übertreffen bei engen Aufgaben oft Tausende von verrauschten. Entfernen Sie Duplikate, beheben Sie Formatierungsfehler und stellen Sie sicher, dass die Beispiele Grenzfälle abdecken, wie sehr kurze Inputs oder fehlende Felder.
Prüfen Sie Datenrechte und Datenschutz. Kunden-E-Mails, Support-Chats und Bewertungen können personenbezogene Daten enthalten. Entfernen Sie Namen, E-Mails und Telefonnummern und bestätigen Sie, dass Sie eine Rechtsgrundlage für die Verwendung der Daten zum Training gemäß DSGVO oder KVKK haben, je nachdem, wo sich Ihre Kunden befinden.
Schritt 3: Wie wählen Sie das Basismodell und die Einstellungen?
Wählen Sie das kleinste Modell, das die Aufgabe gut erledigen kann, da kleinere Modelle günstiger im Betrieb sind. Testen Sie zuerst das untrainierte Basismodell mit Ihrem Evaluierungsset; die Lücke zwischen diesem Ergebnis und Ihrem Ziel zeigt Ihnen, wie viel das Fine-Tuning leisten muss.
Für LoRA sind die Haupteinstellungen der Rang (oft 8 bis 64), die Lernrate, die Anzahl der Epochen und welche Schichten Adapter erhalten. Bibliotheken wie Hugging Face PEFT, Axolotl und Unsloth übernehmen die Mechanik. QLoRA, eine Variante, die das Basismodell in 4-Bit-Präzision lädt, ermöglicht es Ihnen, mittelgroße Modelle auf einer einzelnen GPU zu tunen.
Schritt 4: Ehrlich evaluieren
Bewerten Sie jede trainierte Version mit dem zurückgehaltenen Evaluierungsset. Nutzen Sie nach Möglichkeit automatische Prüfungen, wie Formatgültigkeit, erforderliche Felder und Länge, sowie eine menschliche Überprüfung auf Tonfall und Genauigkeit an einer Stichprobe.
Achten Sie auf Overfitting: Der Trainingsverlust sinkt, während die Evaluierungsergebnisse stagnieren oder fallen. Wenn das passiert, reduzieren Sie die Epochen, senken Sie die Lernrate oder fügen Sie vielfältigere Beispiele hinzu, bevor Sie einen größeren Rang versuchen. Testen Sie auch das allgemeine Verhalten. Ein Modell, das zu stark auf eine Aufgabe getunt wurde, kann beim Befolgen grundlegender Anweisungen schlechter werden oder anfangen, Trainingsphrasen wortwörtlich zu wiederholen.
Schritt 5: Bereitstellung in der Produktion planen
Bereitstellungsentscheidungen hängen vom Modell ab. Gehostete Fine-Tunes laufen auf dem Endpunkt des Anbieters. Open-Weight-Modelle mit LoRA-Adaptern können auf Inferenzservern wie vLLM oder Text Generation Inference laufen, und einige Setups laden mehrere Adapter auf ein Basismodell, was die Kosten niedrig hält, wenn Sie Adapter für verschiedene Kunden oder Aufgaben haben.
Produktions-Checkliste
- Versionieren Sie jeden Adapter und zeichnen Sie dessen Trainingsdaten und Evaluierungsergebnis auf
- Halten Sie die vorherige Version für ein schnelles Rollback bereit
- Protokollieren Sie Inputs und Outputs, mit entfernten personenbezogenen Daten, zur späteren Überprüfung
- Leiten Sie zuerst einen Teil des Traffics auf die neue Version um und vergleichen Sie
- Legen Sie einen Überprüfungszyklus fest, z. B. monatlich, um mit neuen genehmigten Beispielen nachzutrainieren
Kostenkontrolle
Trainingskosten sind im Vergleich zur Inferenz im großen Maßstab meist gering. Schätzen Sie monatliche Anfragen, durchschnittliche Token pro Anfrage und den Preis pro Token oder GPU-Stunde, und vergleichen Sie dann das getunte kleine Modell mit dem untrainierten großen Modell. Die getunte Option gewinnt bei den Betriebskosten oft, selbst wenn das große Modell etwas besser abschneidet. Beziehen Sie auch die versteckten Kosten ein: die Stunden, die für die Vorbereitung der Daten, die Überprüfung der Ergebnisse und das Nachtrainieren bei Aufgabenänderungen aufgewendet werden. Ein Pilotprojekt, das die Mitarbeiterzeit ignoriert, sieht auf dem Papier billiger aus, als es ist.
Wie Alien Road Fine-Tuning und LoRA anwendet
Bei einem typischen Engagement beginnt die Discovery damit, zu testen, ob Prompting oder Retrieval das Problem bereits löst. Viele Anfragen enden dort, was dem Kunden ein Trainingsprojekt erspart. Wenn Volumen- und Konsistenzanforderungen es rechtfertigen, definieren wir die Aufgabe, erstellen das Evaluierungsset mit dem Team des Kunden und prüfen die Daten auf personenbezogene Informationen und Rechte.
Das Setup umfasst die Auswahl des Basismodells, LoRA-Trainingsläufe und einen direkten Vergleich mit dem Basismodell. Die Messung wird nach dem Start durch protokollierte Stichproben fortgesetzt, die anhand derselben Kriterien überprüft werden, und das Reporting zeigt Qualitätswerte, Kosten pro tausend Ausgaben und etwaige Abweichungen. Jede Adapterversion wird dokumentiert, damit der Kunde sie prüfen oder ein Rollback durchführen kann.
Wo man diese Woche anfangen sollte
Wählen Sie eine repetitive Aufgabe und schreiben Sie zwanzig echte Inputs mit idealen Outputs auf. Lassen Sie diese mit Ihrem aktuellen Modell und Ihrem besten Prompt laufen und bewerten Sie die Ergebnisse.
Wenn weniger als acht von zehn nach Prompt-Verbesserungen den Standard erfüllen, sammeln Sie ein paar hundert weitere Beispiele. Das ist der Punkt, an dem ein LoRA-Pilotprojekt sinnvoll wird.
Weiterlesen: KI-Optimierung · KI-Optimierung