Die Kosten für Retrieval-Augmented Generation (RAG) entstehen an vier Stellen: Vorbereitung Ihrer Dokumente, Speicherung als Vektor-Embeddings, Durchführung der Suche bei jeder Frage und Bezahlung eines Sprachmodells für die Antwort. Für die meisten Marketing- und Support-Anwendungsfälle kosten die Modell-Token und das Personal, das die Inhalte pflegt, weit mehr als die Datenbank. Der ROI hängt davon ab, wie viele wiederkehrende Fragen das System korrekt ohne menschliches Eingreifen beantwortet.
Was ist RAG, einfach ausgedrückt?
RAG ist ein Muster, kein Produkt. Ein Benutzer stellt eine Frage, das System durchsucht eine private Wissensdatenbank nach den relevantesten Passagen, und diese Passagen werden einem großen Sprachmodell als Kontext übergeben. Das Modell antwortet dann unter Verwendung dieses Materials, anstatt sich nur auf das zu verlassen, was es während des Trainings gelernt hat.
Das Muster existiert, weil Modelle Ihre Preisliste, Ihre Rückgaberichtlinie oder das Kampagnen-Briefing der letzten Woche nicht kennen. Ein Modell mit diesen Daten feinabzustimmen ist langsam und veraltet schnell. Die Suche hält die Fakten außerhalb des Modells, sodass eine Aktualisierung der Antwort bedeutet, ein Dokument zu aktualisieren.
Zu den gängigen Bausteinen zum Zeitpunkt der Erstellung gehören Embedding-Modelle von OpenAI, Cohere oder Google, Vektorspeicher wie Pinecone, Weaviate, Qdrant oder pgvector innerhalb von PostgreSQL sowie Orchestrierungsbibliotheken wie LangChain oder LlamaIndex. Verwaltete Optionen existieren ebenfalls: OpenAI’s File Search, Google Vertex AI Search und Amazon Bedrock Knowledge Bases bündeln den Großteil des Stacks.
Wohin fließt das Geld eigentlich?
Teams budgetieren oft für die Vektordatenbank und vergessen alles drumherum. Ein realistisches Kostenblatt hat fünf Zeilen, und die unten stehende Reihenfolge entspricht ungefähr der Aufmerksamkeit, die jede verdient.
- Generierungs-Token: Jede Antwort sendet die Frage plus die abgerufenen Passagen an ein Modell. Lange Kontextfenster machen dies zu den größten variablen Kosten.
- Inhaltsvorbereitung: Bereinigung von PDFs, Aufteilung von Dokumenten in Chunks, Entfernen veralteter Seiten und Tagging von Metadaten. Dies ist hauptsächlich Arbeitszeit.
- Embeddings: Einmalige Kosten für das Einbetten des Korpus, dann kleine wiederkehrende Kosten für neue oder geänderte Dokumente und für jede eingehende Abfrage.
- Vektorspeicherung und Hosting: Bescheiden für ein paar tausend Dokumente, deutlicher, wenn Sie Millionen von Chunks indizieren oder geringe Latenz über Regionen hinweg benötigen.
- Evaluierung und Wartung: Testsets, Monitoring-Dashboards und jemand, der jede Woche falsche Antworten überprüft.
Die Preise für jeden dieser Punkte ändern sich häufig, prüfen Sie also die aktuellen Anbieterseiten, bevor Sie sich festlegen. Was stabil bleibt, ist die Form: Generierung und Arbeit dominieren, die Speicherung entscheidet selten über das Projekt.
Warum die Chunk-Größe die Rechnung verändert
Wenn jeder abgerufene Chunk 800 Token groß ist und Sie fünf davon übergeben, trägt jede Frage etwa 4.000 Token Kontext, bevor das Modell ein Wort schreibt. Die Halbierung der Chunk-Größe oder das Abrufen von drei statt fünf Passagen senkt diese Kosten direkt. Es kann auch die Genauigkeit beeinträchtigen, weshalb Sie beide Einstellungen gegen denselben Fragensatz testen.
Wie erstellt man ein Budget für das erste Jahr?
Starten Sie beim Volumen, nicht bei der Technologie. Zählen Sie, wie viele Fragen das System pro Monat sehen wird, schätzen Sie die durchschnittliche Kontextgröße und multiplizieren Sie diese mit der veröffentlichten Rate pro Token des Modells. Fügen Sie dann die Fixkosten hinzu.
- Schritt 1: Ziehen Sie drei Monate Support-Tickets, Chat-Protokolle oder Verkaufsanfragen und zählen Sie wiederkehrende Fragetypen.
- Schritt 2: Wählen Sie einen Pilotumfang, zum Beispiel nur Versand und Rücksendungen, und schätzen Sie das monatliche Abfragevolumen für diesen Umfang.
- Schritt 3: Bepreisen Sie zwei Modelle, ein kleines schnelles und ein größeres, unter Verwendung Ihrer durchschnittlichen Prompt-Länge.
- Schritt 4: Fügen Sie den Einrichtungsaufwand für die Inhaltsbereinigung hinzu, normalerweise der größte einmalige Posten.
- Schritt 5: Reservieren Sie einen monatlichen Wartungsblock für die Überprüfung fehlgeschlagener Antworten und die Aktualisierung von Dokumenten.
Zum Beispiel könnte ein Online-Möbelhändler, der Liefer- und Montagefragen beantwortet, feststellen, dass ein kleines Modell 90 Prozent der Anfragen gut bewältigt, während das größere Modell für Eskalationen reserviert ist. Diese Routing-Entscheidung ist oft wichtiger als jede Datenbankentscheidung.
Welche Kennzahlen beweisen, dass sich RAG auszahlt?
ROI-Argumente fallen auseinander, wenn die einzige Zahl “beantwortete Fragen” ist. Ein Bot kann Tausende von Fragen schlecht beantworten. Verfolgen Sie Ergebnisse, die ein Finanzteam bereits anerkennt.
- Deflection-Rate: Anteil der Konversationen, die ohne menschlichen Agenten geschlossen wurden, geprüft gegen wiederholte Kontakte innerhalb von 48 Stunden.
- Antwortgenauigkeit: Bewertet an einem festen Testset echter Fragen, erneut ausgeführt nach jeder Inhalts- oder Modelländerung.
- Kosten pro gelöster Abfrage: Gesamte monatliche RAG-Ausgaben geteilt durch korrekt gelöste Konversationen.
- Eingesparte Zeit für Mitarbeiter: Minuten pro Ticket vor und nachher, eher stichprobenartig als geschätzt.
- Umsatzsignale: Für Pre-Sales-Assistenten, unterstützte Conversion-Rate im Vergleich zu einer Kontrollgruppe.
Vergleichen Sie die Kosten pro gelöster Abfrage mit Ihren aktuellen Kosten pro menschlich bearbeitetem Ticket. Wenn die Lücke klein ist, kann sich das Projekt dennoch für Geschwindigkeit oder 24-Stunden-Abdeckung lohnen, aber sagen Sie das ehrlich im Business Case.
Was bläht RAG-Kosten normalerweise auf?
Drei Gewohnheiten treiben Budgets in die Höhe. Die erste ist, alles zu indizieren: alte Kampagnen-Decks, doppelte PDFs und Entwurfsseiten fügen Rauschen hinzu, erhöhen Suchfehler und steigern die Speicherkosten. Die zweite ist, standardmäßig für jede Frage das größte Modell zu verwenden. Die dritte ist das Überspringen der Evaluierung, sodass niemand bemerkt, dass eine Inhaltsänderung zwanzig Antworten kaputt gemacht hat, bis Kunden sich beschweren.
Caching hilft. Viele Anbieter bieten jetzt Prompt-Caching oder günstigere Raten für wiederholten Kontext an, und häufig gestellte Fragen können aus einer gespeicherten Antwort bedient werden, die nach einem Zeitplan aktualisiert wird.
Wie Alien Road RAG für Kunden anwendet
In einem typischen Engagement beginnen wir mit der Discovery: Wir exportieren echte Kundenfragen aus dem Helpdesk, CRM oder der Seitensuche und gruppieren sie nach Absicht. Diese Liste wird sowohl zum Pilotumfang als auch zum Evaluierungsset, sodass der Erfolg definiert ist, bevor etwas gebaut wird.
Auf das Setup folgt ein enger erster Release. Wir bereinigen die Quelldokumente, vereinbaren Chunking- und Metadatenregeln mit dem Inhaltsverantwortlichen des Kunden und verbinden die Suche mit einem Modell, das zum Budget passt. Die Messung läuft vom ersten Tag an: Jede Antwort wird mit den verwendeten Passagen protokolliert, und eine wöchentliche Überprüfung markiert falsche oder nicht unterstützte Antworten. Das Reporting geht an den Kunden als kurzes monatliches Blatt mit Deflection, Genauigkeit, Kosten pro gelöster Abfrage und der Liste der Dokumente, die aktualisiert werden müssen.
Wo man diese Woche anfangen sollte
Exportieren Sie die 200 häufigsten Kundenfragen des letzten Quartals und schreiben Sie die richtige Antwort für 50 davon. Diese kleine Datei ist Ihr Testset, Ihr Umfangsdokument und Ihre erste ROI-Baseline. Bepreisen Sie ein kleines und ein großes Modell damit, bevor Sie einen Anbieter auswählen, und behalten Sie die Tabelle: Sie wird zu dem Budget, das Sie später verteidigen.
Weiterlesen: KI-Optimierung · KI-Optimierung