Sie messen Retrieval-Augmented Generation auf zwei Ebenen. Die technische Qualität deckt ab, ob das System die richtigen Dokumente abruft und ob die Antworten ihnen treu bleiben. Der geschäftliche Wert deckt ab, ob Benutzer korrekte Antworten schneller erhalten, ob Support-Tickets sinken und was jede Antwort kostet. Ein Dashboard sollte beides zeigen, denn eine flüssige Antwort aus dem falschen Dokument ist immer noch eine falsche Antwort.
RAG ist ein Muster für den Aufbau von KI-Assistenten, die aus Ihren eigenen Inhalten antworten. Wenn ein Benutzer eine Frage stellt, durchsucht das System eine Wissensdatenbank, normalerweise mit Vektor-Embeddings und oft auch mit Stichwortsuche, ruft die relevantesten Passagen ab und gibt sie an ein Sprachmodell weiter, um eine Antwort zu schreiben, idealerweise mit Zitaten. Es ist üblich bei Support-Bots, internen Wissensassistenten und Produktsuchen. Frameworks wie LangChain und LlamaIndex sowie verwaltete Dienste von OpenAI, Google, AWS und anderen erleichtern den Aufbau.
Warum benötigen RAG-Projekte eine dedizierte Messung?
Ein RAG-System kann an mehreren Stellen scheitern: Dokumente können fehlen oder veraltet sein, die Suche kann die falschen Passagen abrufen oder das Modell kann die Passagen ignorieren und improvisieren. Von außen sehen all diese Fehler gleich aus: eine selbstbewusste Antwort, die falsch ist.
Ohne Messung in jeder Phase versuchen Teams, den falschen Teil zu reparieren. Sie wechseln zu einem größeren Modell, wenn das eigentliche Problem ein veralteter Hilfeartikel war, oder schreiben Prompts um, wenn die Suche irrelevante Abschnitte zurückgibt.
Welche Retrieval-KPIs sind wichtig?
Erstellen Sie ein Testset von 50 bis 200 echten Fragen, jede mit dem Dokument oder der Passage, die die korrekte Antwort enthält. Verwenden Sie es, um den Abruf regelmäßig zu messen.
- Recall at k: Anteil der Fragen, bei denen die korrekte Passage in den Top k Ergebnissen erscheint, zum Beispiel Top 5.
- Precision at k: Anteil der Top k Ergebnisse, die tatsächlich relevant sind.
- Mean Reciprocal Rank: Wie hoch das erste relevante Ergebnis im Durchschnitt erscheint.
- Abdeckung: Anteil der echten Benutzerfragen, für die überhaupt ein relevantes Dokument existiert.
Abdeckung ist die geschäftliche Kennzahl, die sich in den technischen versteckt. Wenn viele Fragen kein passendes Dokument haben, besteht die Lösung darin, Inhalte zu schreiben, nicht die Suche zu optimieren.
Wie misst man die Antwortqualität?
Treue und Korrektheit
Treue fragt, ob jede Behauptung in der Antwort durch die abgerufenen Passagen gestützt wird. Korrektheit fragt, ob die Antwort mit der bekannten richtigen Antwort übereinstimmt. Beides kann von menschlichen Prüfern an einer Stichprobe bewertet werden und durch ein LLM-as-a-Judge-Setup, bei dem ein zweites Modell Antworten gegen die Quellen bewertet, was Open-Source-Tools wie Ragas unterstützen. Überprüfen Sie automatisierte Bewertungen gegen menschliche Bewertungen, bevor Sie ihnen vertrauen.
Zitate und Ablehnungen
Verfolgen Sie den Anteil der Antworten mit mindestens einem Zitat und den Anteil, bei dem das System korrekt sagt, dass es die Antwort nicht weiß. Ein System, das niemals ablehnt, erfindet wahrscheinlich Antworten für Fragen außerhalb seines Wissens.
Welche geschäftlichen KPIs beweisen den Wert?
- Auflösungs- oder Deflection-Rate: Anteil der Konversationen, die ohne menschlichen Agenten gelöst wurden, bestätigt durch Benutzerfeedback oder kein Folge-Ticket.
- Eskalationsqualität: Erhält der Agent eine nützliche Zusammenfassung, wenn der Bot übergibt?
- Benutzerfeedback: Daumen hoch oder runter pro Antwort, mit optionalen Kommentaren.
- Zeit bis zur Antwort für interne Benutzer, verglichen mit der manuellen Suche in Dokumenten.
- Kosten pro beantworteter Frage: Modell-Token, Embedding- und Vektordatenbankkosten geteilt durch Antworten.
- Latenz: Median und 95. Perzentil der Antwortzeit.
Wie sollte das Dashboard aussehen?
Verwenden Sie drei Abschnitte. Der obere zeigt Geschäftsergebnisse für Manager: beantwortete Fragen, Deflection-Rate, Zufriedenheit und Kosten pro Antwort, mit Trends. Die Mitte zeigt Qualität: Treue- und Korrektheitswerte aus dem letzten Evaluierungslauf, Ablehnungsrate und Zitierrate. Der untere zeigt Operationen: Latenz, Fehlerrate und die häufigsten unbeantworteten Fragen.
Die Liste der unbeantworteten Fragen ist oft der nützlichste Teil. Sie sagt dem Content-Team genau, welche Artikel als nächstes geschrieben werden müssen.
Wie oft sollten Sie evaluieren?
Führen Sie das Retrieval- und Antwort-Testset nach jeder signifikanten Änderung aus: neue Dokumente, ein neues Embedding-Modell, eine andere Chunk-Größe, ein neues Sprachmodell oder Prompt. Führen Sie es auch nach einem festen Zeitplan durch, zum Beispiel monatlich, da sich Inhalte im Laufe der Zeit ändern.
Stichproben Sie Live-Konversationen wöchentlich für menschliche Überprüfungen. Testsets driften von dem ab, was Benutzer tatsächlich fragen; Live-Stichproben halten Sie ehrlich und liefern neue Fragen, die dem Set hinzugefügt werden können.
Welche Änderungen verbessern die Zahlen normalerweise am meisten?
Inhaltskorrekturen schlagen oft Modell-Upgrades. Das Entfernen doppelter und veralteter Dokumente, das Aufteilen langer Seiten in fokussierte Abschnitte und das Hinzufügen fehlender Antworten heben tendenziell sowohl den Retrieval-Recall als auch die Antwortkorrektheit.
Auf der technischen Seite hilft eine hybride Suche, die Stichwort- und Vektorabgleich kombiniert, bei Produktnamen, Codes und exakten Phrasen, die Embeddings allein übersehen können. Ein Reranking-Schritt, der die Top-Ergebnisse neu ordnet, bevor sie das Modell erreichen, ist eine weitere häufige Verbesserung. Messen Sie jede Änderung am Testset, bevor Sie sie beibehalten.
Führen Sie ein Änderungsprotokoll neben dem Dashboard, damit jeder Sprung oder Abfall in einem Wert auf eine spezifische Änderung zurückgeführt werden kann.
Wie Alien Road RAG-Messung anwendet
Bei einem typischen KI-Optimierungsengagement beginnen wir mit der Prüfung der Wissensdatenbank, die das RAG-System verwenden wird: Duplikate, veraltete Seiten, fehlende Themen. Wir erstellen dann das Fragen-Testset mit dem Support- oder Vertriebsteam des Kunden aus echten Tickets und Chat-Protokollen.
Während der Einrichtung messen wir die Retrieval- und Antwortqualität bei jeder Änderung, und nach dem Start führen wir monatliche Evaluierungen und wöchentliche Live-Stichproben durch. Der Kunde erhält ein Dashboard mit Geschäfts-, Qualitäts- und Operations-Ansichten sowie eine monatliche Liste von Inhaltslücken, die aus unbeantworteten Fragen gezogen werden.
Wo man diese Woche anfangen kann
Exportieren Sie die letzten 200 Fragen, die Kunden Ihrem Support-Team oder Chatbot gestellt haben. Gruppieren Sie sie nach Thema und finden Sie für jede der 30 häufigsten den Hilfeartikel, der sie beantwortet, oder notieren Sie, dass keiner existiert.
Diese Tabelle ist der Start Ihres Testsets und Ihrer Abdeckungsmetrik zugleich. Noch bevor ein RAG-System gebaut ist, zeigt sie, wie viel Ihres Inhalts bereit ist, von einem verwendet zu werden.
Teilen Sie die Liste mit den Personen, die die Hilfeinhalte besitzen. Lücken, die auf diese Weise gefunden werden, sind konkret und einfach zu bearbeiten, was das Argument für die Messarbeit liefert, bevor ein Dashboard existiert.
Weiterlesen: KI-Optimierung · KI-Optimierung