Open-Weight-Modelle wie DeepSeek, Metas Llama, Mistral und Alibabas Qwen veröffentlichen ihre trainierten Gewichte, sodass jeder sie herunterladen und ausführen kann. Für ein lokales oder kleines Unternehmen liegen die Hauptvorteile in niedrigeren Betriebskosten und mehr Kontrolle über die Daten. Der Hauptaufwand ist die Einrichtung, daher sollten die meisten kleinen Firmen mit einer gehosteten Version beginnen und ein Modell erst dann selbst betreiben, wenn eine klare, wiederkehrende Aufgabe dies rechtfertigt.
Was bedeutet Open-Weight eigentlich?
Ein geschlossenes Modell wie ChatGPT oder Claude ist nur über die App oder API des jeweiligen Unternehmens verfügbar. Die Parameter eines Open-Weight-Modells werden öffentlich freigegeben, meist unter einer Lizenz, die unter bestimmten Bedingungen eine kommerzielle Nutzung erlaubt. Sie können es auf Ihrem eigenen Computer, auf einem gemieteten Cloud-Server oder über einen Drittanbieter ausführen.
Open-Weight ist nicht ganz dasselbe wie Open Source. Die Trainingsdaten und der vollständige Trainingscode werden oft nicht veröffentlicht, und die Lizenzen unterscheiden sich. Die Lizenz von Llama hat zum Beispiel ihre eigenen Bedingungen, während einige Mistral- und Qwen-Modelle Apache 2.0 verwenden. Lesen Sie die Lizenz für das jeweilige Modell, das Sie auswählen.
DeepSeek erregte große Aufmerksamkeit, weil seine Modelle bei vielen Benchmarks eine Leistung nahe an führenden geschlossenen Systemen erbrachten und gleichzeitig offen veröffentlicht wurden. Die eigene gehostete App läuft auf Servern in China, was für Datenentscheidungen wichtig ist, aber die Gewichte selbst können überall ausgeführt werden.
Warum sollte sich ein kleines Unternehmen dafür interessieren?
Die meisten kleinen Unternehmen müssen kein eigenes Modell betreiben. Ein Abonnement für einen gängigen Assistenten deckt E-Mails, Social-Media-Beiträge und Angebote ab. Open-Weight-Modelle werden in drei Situationen interessant.
- Datenschutz: Eine Klinik, eine Anwaltskanzlei oder ein Buchhalter, der Kundendokumente bearbeitet, zieht es möglicherweise vor, dass der Text niemals die eigene Maschine verlässt.
- Volumen: Ein Geschäft, das Tausende von Produktbeschreibungen erstellt oder einen Katalog übersetzt, kann die Kosten pro Anfrage drastisch senken.
- Anpassung: Ein Unternehmen mit eigener Terminologie, wie ein Anbieter von Ersatzteilen, kann ein kleines Modell auf seinen Katalog feinabstimmen.
Wenn nichts davon zutrifft, ist ein geschlossenes Modell über ein normales Abonnement einfacher und beim Schreiben oft besser.
Was sind die realistischen Möglichkeiten, eines zu nutzen?
Es gibt drei Einstiegspunkte, sortiert von einfach bis schwierig.
Einen gehosteten Anbieter nutzen
Dienste wie Groq, Together AI, Fireworks und OpenRouter betreiben Open-Weight-Modelle und berechnen die Nutzung über eine API. Sie erhalten die niedrigeren Kosten, ohne Hardware kaufen zu müssen. Prüfen Sie, wo die Server des Anbieters stehen und was er mit Ihren Daten macht.
Ein kleines Modell auf einem Laptop ausführen
Tools wie Ollama und LM Studio ermöglichen es Ihnen, ein Modell herunterzuladen und mit wenigen Klicks lokal damit zu chatten. Ein aktueller Laptop mit 16 GB oder mehr Arbeitsspeicher kann kleinere Modelle problemlos ausführen. Sie sind langsamer und weniger leistungsfähig als die größten Modelle, aber gut genug, um Dokumente zusammenzufassen oder Standardantworten zu entwerfen.
Einen Cloud-Server mieten
Für größere Modelle oder Geschäftstools, die von mehreren Mitarbeitern genutzt werden, können Sie einen GPU-Server mieten und das Modell mit Software wie vLLM ausführen. Dies erfordert jemanden mit technischem Know-how, entweder als Mitarbeiter oder als Auftragnehmer.
Was kostet das?
Die Kosten hängen stark vom Weg ab. Der Betrieb eines kleinen Modells auf einem vorhandenen Laptop kostet außer Strom nichts. Die API-Preise für gehostete Open-Weight-Modelle sind im Allgemeinen niedriger als bei geschlossenen Frontier-Modellen für ähnliche Aufgaben, obwohl sich die Preise häufig ändern, also prüfen Sie die aktuellen Tarife.
Das Mieten von GPU-Servern ist der Punkt, an dem die Kosten steigen. Die Stundensätze für leistungsfähige GPUs summieren sich schnell, wenn die Maschine den ganzen Monat läuft, daher ist dieser Weg nur für stetige Arbeit mit hohem Volumen sinnvoll. Ein nützlicher Test: Wenn Ihre monatliche Rechnung bei einer gehosteten API immer noch klein ist, wird Ihnen Self-Hosting kein Geld sparen, wenn Sie die Zeit für die Wartung mit einrechnen.
Was sind die Grenzen und Risiken?
Open-Weight-Modelle haben dieselben Schwächen wie jedes Sprachmodell. Sie können falsche Fakten mit Überzeugung behaupten, und kleinere Versionen machen in anderen Sprachen als Englisch mehr Fehler. Überprüfen Sie die Ausgabe immer, bevor sie einen Kunden erreicht.
Einige Modelle wurden mit Inhaltsfiltern trainiert, die ihr Herkunftsland widerspiegeln, was sich auf Antworten zu politischen oder historischen Themen auswirken kann. Für Produktbeschreibungen oder Terminerinnerungen spielt das selten eine Rolle, aber es ist gut zu wissen.
Sicherheit liegt in Ihrer Verantwortung, wenn Sie selbst hosten. Ein Modellserver, der ohne Passwort mit dem Internet verbunden ist, ist eine offene Tür. Halten Sie ihn in einem privaten Netzwerk oder hinter einer Authentifizierung.
Eine Checkliste für kleine Firmen für den Start
Bevor Sie Geld oder Zeit investieren, gehen Sie diese Fragen durch.
- Welche einzelne Aufgabe würde das Modell jede Woche erledigen, und wie lange braucht eine Person jetzt dafür?
- Beinhaltet die Aufgabe Kundendaten, die Ihre Räumlichkeiten nicht verlassen sollten?
- Haben Sie die gleiche Aufgabe zuerst mit einem normalen Abo-Assistenten ausprobiert?
- Wer installiert und aktualisiert das Modell, wenn Sie es selbst betreiben?
- Welche Lizenz gilt und erlaubt sie Ihre kommerzielle Nutzung?
- Wie wird eine Person die Ausgabe überprüfen, bevor sie gesendet oder veröffentlicht wird?
Wie Alien Road Open-Weight-Modelle anwendet
Bei einer typischen Zusammenarbeit mit einem kleineren Kunden beginnen wir damit, zwei oder drei repetitive Aufgaben zu timen, wie das Schreiben von Produktlisten, das Beantworten häufiger Anfragen oder das Übersetzen von Katalogseiten. Wir führen jede Aufgabe mit einem geschlossenen Modell und mit einem oder zwei Open-Weight-Modellen über eine gehostete API aus, wobei wir die echten Beispiele des Kunden verwenden, und vergleichen Qualität, Geschwindigkeit und Kosten.
Wenn ein offenes Modell gut genug ist, richten wir es über einen gehosteten Anbieter mit einer einfachen Schnittstelle oder einer Verbindung zum Shop oder CRM des Kunden ein. Self-Hosting wird nur vorgeschlagen, wenn Datenschutzregeln dies erfordern. Monatliche Berichte decken das verarbeitete Volumen, die bei der Überprüfung gefundene Fehlerrate und die Ausgaben ab. Zum Beispiel könnte ein lokaler Einzelhändler jede Woche Entwürfe für neue Bestände auf einem offenen Modell erstellen, wobei ein Mitarbeiter jeden Entwurf genehmigt, bevor er live geht.
Wo man diese Woche anfangen kann
Installieren Sie Ollama oder LM Studio auf einem Bürocomputer und laden Sie ein kleines, bekanntes Modell herunter. Geben Sie ihm eine echte Aufgabe, wie das Zusammenfassen von fünf Kunden-E-Mails oder das Entwerfen von drei Produktbeschreibungen, und vergleichen Sie das Ergebnis mit Ihrem üblichen Assistenten. Diese eine Stunde zeigt, ob es sich lohnt, Open-Weight-Modelle für Ihr Unternehmen weiter zu erforschen, ohne Ausgaben oder Verträge.
Weiterlesen: KI-Optimierung · KI-Optimierung