Retrieval-Augmented Generation (RAG) ist eine Methode, bei der ein KI-Modell zunächst Ihre eigenen Dokumente nach relevanten Passagen durchsucht und dann eine Antwort unter Verwendung dieser Passagen als Kontext schreibt. Um einen RAG-Piloten in die Produktion zu überführen, sind ein sauberes Quelleninventar, sinnvolles Chunking, eine getestete Retrieval-Ebene, ein Evaluierungsset mit bekannten Antworten, Zugriffskontrollen und Monitoring erforderlich. Das Überspringen der Evaluierung ist der häufigste Grund, warum Pilotprojekte in Demos gut aussehen, aber bei echten Benutzern scheitern.
RAG wurde zum Standardweg, um Sprachmodelle dazu zu bringen, auf Basis von Unternehmenswissen zu antworten, ohne sie neu trainieren zu müssen. Ein Support-Assistent, der das Hilfe-Center liest, ein Vertriebstool, das die aktuelle Preisliste zitiert, eine interne Suche über Richtliniendokumente: All dies sind RAG-Systeme. Das Modell bleibt allgemein; das Wissen stammt aus dem Abruf zum Zeitpunkt der Anfrage, sodass eine Aktualisierung eines Dokuments die Antwort aktualisiert.
Woraus besteht ein RAG-System?
Jedes RAG-Setup hat die gleichen grundlegenden Teile, egal welches Framework Sie verwenden.
- Quellen: die Dokumente, Seiten, Produkt-Feeds oder Datenbanktabellen, aus denen das System antworten soll.
- Ingestion: Laden, Bereinigen und Aufteilen dieser Quellen in Chunks.
- Embeddings: Umwandlung von Chunks in Vektoren mit einem Embedding-Modell, sodass ähnliche Bedeutungen nah beieinander liegen.
- Index: eine Vektordatenbank oder Suchmaschine wie pgvector, Pinecone, Weaviate, Elasticsearch oder OpenSearch, oft kombiniert mit Stichwortsuche.
- Retriever: die Logik, die die besten Chunks für eine Frage findet, manchmal gefolgt von einem Reranker.
- Generator: das Sprachmodell, das die Antwort aus den abgerufenen Chunks schreibt.
- Anwendungsebene: die Schnittstelle, Protokollierung, Berechtigungen und Feedback.
Frameworks wie LangChain und LlamaIndex sowie verwaltete Optionen in Azure AI Search, Google Vertex AI und Amazon Bedrock bündeln viele dieser Teile.
Phase 1: Pilot-Checkliste
Der Pilot sollte eine Frage beantworten: Kann das Retrieval die richtigen Informationen für echte Fragen finden?
- Wählen Sie einen engen Anwendungsfall mit einem klaren Verantwortlichen, wie z. B. die Beantwortung von Fragen zu Versand und Rücksendungen.
- Sammeln Sie 50 bis 100 echte Fragen aus Tickets, Chats oder Suchprotokollen.
- Schreiben Sie die richtige Antwort und das Quelldokument für jede Frage. Dies wird Ihr Evaluierungsset.
- Quellen inventarisieren: Listen Sie jedes Dokument, seinen Eigentümer, die Aktualisierungshäufigkeit und ob es noch korrekt ist, auf.
- Entfernen Sie veraltete, doppelte und widersprüchliche Dokumente vor der Ingestion.
- Beginnen Sie mit einfachem Chunking, z. B. nach Überschrift oder etwa ein paar hundert Wörtern mit etwas Überlappung.
- Testen Sie das Retrieval allein: Ist für jede Frage die richtige Quelle in den Top-Ergebnissen?
- Verbinden Sie erst dann den Generator und testen Sie vollständige Antworten.
Wie sollten Sie Inhalte chunking und indexieren?
Chunking bestimmt, was das Modell sehen kann. Zu kleine Chunks verlieren den Kontext; zu große Chunks verwässern die Relevanz und verschwenden Token.
Praktische Chunking-Regeln
- Teilen Sie zuerst nach Dokumentstruktur auf: Überschriften, Abschnitte, FAQ-Paare, Tabellenzeilen.
- Behalten Sie den Dokumenttitel und die Abschnittsüberschrift als Metadaten an jedem Chunk.
- Speichern Sie die Quell-URL, das letzte Aktualisierungsdatum und die Zugriffsebene mit jedem Chunk.
- Behandeln Sie Tabellen und Produktspezifikationen vorsichtig; das Abflachen einer Tabelle in Prosa zerstört sie oft.
Hybride Suche, die Stichwortabgleich mit Vektorähnlichkeit kombiniert, funktioniert normalerweise besser als jede für sich, insbesondere bei Produktcodes, Namen und exakten Phrasen, die Embeddings schlecht handhaben.
Phase 2: Härtung für die Produktion
Sobald das Retrieval funktioniert, verschiebt sich die Checkliste auf Zuverlässigkeit und Sicherheit.
- Grounding-Anweisungen: Weisen Sie das Modell an, nur aus dem bereitgestellten Kontext zu antworten und zu sagen, wenn die Antwort nicht vorhanden ist.
- Zitate: Zeigen Sie den Quell-Link für jede Antwort an, damit Benutzer und Prüfer dies überprüfen können.
- Zugriffskontrolle: Filtern Sie das Retrieval nach den Berechtigungen des Benutzers, damit ein Kunde niemals interne Dokumente sieht.
- Prompt-Injection-Abwehr: Behandeln Sie abgerufene Texte als Daten. Ein Dokument, das “Ignoriere vorherige Anweisungen” enthält, darf das Verhalten nicht ändern.
- Persönliche Daten: Schließen Sie sensible Felder bei der Ingestion aus oder maskieren Sie sie.
- Aktualität: Planen Sie die erneute Ingestion, wenn sich Quellen ändern, und löschen Sie Chunks aus entfernten Dokumenten.
- Fallbacks: Leiten Sie unbeantwortete Fragen an einen Menschen oder ein Kontaktformular weiter.
Woher wissen Sie, ob das System gut genug ist?
Messen Sie Retrieval und Generierung separat. Wenn eine Antwort falsch ist, müssen Sie wissen, welcher Teil fehlgeschlagen ist.
- Retrieval-Trefferquote: Anteil der Evaluierungsfragen, bei denen die richtige Quelle in den Top-Ergebnissen erscheint.
- Treue: Anteil der Antworten, die vollständig durch den abgerufenen Kontext gestützt werden.
- Antwortkorrektheit: Anteil der Antworten, die mit der Referenzantwort übereinstimmen.
- Verweigerungsgenauigkeit: Wenn die Antwort nicht in den Quellen enthalten ist, sagt das System dies dann?
- Latenz und Kosten pro Antwort.
Tools wie Ragas, TruLens und die Evaluierungsfunktionen in großen Cloud-Plattformen können Teile davon automatisieren, aber lassen Sie Menschen bei jeder Veröffentlichung eine Stichprobe überprüfen. Setzen Sie vor dem Start ein Ziel für jede Metrik und gehen Sie erst live, wenn Sie es erreichen.
Phase 3: Monitoring nach dem Start
- Protokollieren Sie jede Frage, abgerufene Chunk-IDs und Antwort.
- Sammeln Sie Daumen-hoch- und Daumen-runter-Feedback mit einem optionalen Kommentar.
- Überprüfen Sie wöchentlich unbeantwortete und niedrig bewertete Fragen; sie zeigen fehlende Inhalte auf.
- Führen Sie das Evaluierungsset nach jeder Änderung an Chunking, Embedding-Modell, Prompt oder Generatormodell erneut aus.
- Verfolgen Sie, welche Quellen am häufigsten abgerufen werden; stellen Sie sicher, dass deren Eigentümer wissen, dass sie geschäftskritisch sind.
Wie Alien Road Retrieval-Augmented Generation anwendet
Bei einem typischen Engagement ist die Discovery hauptsächlich Inhaltsarbeit. Wir sammeln echte Fragen aus dem Support-Posteingang, der Seitensuche und dem Vertriebsteam des Kunden und ordnen sie dann vorhandenen Seiten und Dokumenten zu. Dies zeigt normalerweise Lücken und Widersprüche auf, die behoben werden müssen, bevor KI involviert wird.
Das Setup folgt der obigen Checkliste: bereinigte Quellen, strukturbasiertes Chunking mit Metadaten, hybride Suche und ein geerdeter Prompt mit Zitaten. Berechtigungen werden mit dem IT-Kontakt des Kunden entworfen, und das Evaluierungsset wird mit dem Geschäftsinhaber vereinbart, sodass jeder die gleiche Definition einer korrekten Antwort verwendet.
Die Messung verwendet das Evaluierungsset bei jeder Veröffentlichung sowie Live-Feedback, sobald das System in Gebrauch ist. Monatliche Berichte listen die Retrieval-Trefferquote, Treue, Themen unbeantworteter Fragen und die Inhaltsaktualisierungen auf, die sie ausgelöst haben. Die gleichen Inhaltsverbesserungen helfen oft auch der organischen Suche, da klarere Seiten Fragen für Menschen und Suchmaschinen gleichermaßen besser beantworten.
Wo man diese Woche anfangen sollte
Exportieren Sie die letzten 100 Kunden- oder Mitarbeiterfragen aus einem Kanal. Finden Sie für jede die Seite oder das Dokument, das die Antwort enthält, und markieren Sie die, für die keine gute Quelle existiert. Diese Tabelle ist gleichzeitig Ihr Evaluierungsset und Ihre Inhaltslückenliste, und sie ist das Fundament jedes RAG-Piloten, der es wert ist, ausgeführt zu werden.
Weiterlesen: KI-Optimierung · KI-Optimierung