Retrieval-augmented generation’ı iki seviyede ölçersiniz. Teknik kalite, sistemin doğru belgeleri alıp almadığını ve yanıtların onlara sadık kalıp kalmadığını kapsar. İş değeri ise kullanıcıların doğru yanıtları daha hızlı alıp almadığını, destek biletlerinin azalıp azalmadığını ve her yanıtın maliyetini kapsar. Bir panel her ikisini de göstermelidir, çünkü yanlış belgeden gelen akıcı bir yanıt hala yanlış bir yanıttır.
RAG, kendi içeriğinizden yanıt veren AI asistanları oluşturmak için bir modeldir. Bir kullanıcı soru sorduğunda, sistem genellikle vektör yerleştirmeleri ve sıklıkla anahtar kelime araması ile bir bilgi tabanında arama yapar, en alakalı pasajları alır ve bunları bir yanıt yazması için bir dil modeline verir, ideal olarak alıntılarla birlikte. Bu, destek botlarında, dahili bilgi asistanlarında ve ürün aramasında yaygındır. LangChain ve LlamaIndex gibi çerçeveler ve OpenAI, Google, AWS ve diğerlerinden gelen yönetilen hizmetler, bunu oluşturmayı kolaylaştırır.
RAG projeleri neden özel ölçüme ihtiyaç duyar?
Bir RAG sistemi birkaç noktada başarısız olabilir: belgeler eksik veya güncel olmayabilir, arama yanlış pasajları alabilir veya model pasajları görmezden gelip doğaçlama yapabilir. Dışarıdan bakıldığında, bunların hepsi aynı görünür: yanlış ama kendinden emin bir yanıt.
Her aşamada ölçüm yapılmadığında, ekipler yanlış kısmı düzeltmeye çalışır. Asıl sorun güncel olmayan bir yardım makalesi olduğunda daha büyük bir modele geçerler veya arama alakasız parçalar döndürdüğünde istemleri yeniden yazarlar.
Hangi erişim KPI’ları önemlidir?
Her biri doğru yanıtı içeren belge veya pasajla birlikte 50 ila 200 gerçek sorudan oluşan bir test seti oluşturun. Erişimi düzenli olarak ölçmek için kullanın.
- k’da geri çağırma (Recall at k): doğru pasajın ilk k sonuçta, örneğin ilk 5’te göründüğü soruların payı.
- k’da hassasiyet (Precision at k): aslında alakalı olan ilk k sonuçların payı.
- Ortalama karşılıklı sıra (Mean reciprocal rank): ilk alakalı sonucun ortalama olarak ne kadar yüksekte göründüğü.
- Kapsam (Coverage): gerçek kullanıcı sorularının, bunlar için herhangi bir alakalı belgenin var olduğu payı.
Kapsam, teknik olanların içinde gizlenen iş metriğidir. Eğer birçok sorunun eşleşen belgesi yoksa, çözüm arama ayarı yapmak değil, içerik yazmaktır.
Yanıt kalitesini nasıl ölçersiniz?
Sadakat ve doğruluk
Sadakat, yanıttaki her iddianın alınan pasajlar tarafından desteklenip desteklenmediğini sorar. Doğruluk, yanıtın bilinen doğru yanıtla eşleşip eşleşmediğini sorar. Her ikisi de bir örneklem üzerinde insan gözden geçirenler tarafından ve ikinci bir modelin yanıtları kaynaklara göre derecelendirdiği LLM-as-a-judge kurulumuyla puanlanabilir, ki Ragas gibi açık kaynaklı araçlar bunu destekler. Otomatik puanları güvenmeden önce insan puanlarıyla kontrol edin.
Alıntılar ve reddetmeler
En az bir alıntısı olan yanıtların payını ve sistemin bilmediğini doğru bir şekilde söylediği payı takip edin. Asla reddetmeyen bir sistem muhtemelen bilgisi dışındaki sorular için yanıtlar uyduruyordur.
Hangi iş KPI’ları değeri kanıtlar?
- Çözüm veya defleksiyon oranı: insan temsilci olmadan çözülen konuşmaların payı, kullanıcı geri bildirimi veya takip bileti olmaması ile doğrulanır.
- Eskalasyon kalitesi: bot devrettiğinde, temsilci yararlı bir özet alıyor mu?
- Kullanıcı geri bildirimi: yanıt başına başparmak yukarı veya aşağı, isteğe bağlı yorumlarla.
- Dahili kullanıcılar için yanıt süresi, belgeleri manuel olarak aramakla karşılaştırıldığında.
- Yanıtlanan soru başına maliyet: model tokenleri, yerleştirme ve vektör veritabanı maliyetleri yanıtlara bölünür.
- Gecikme: yanıt süresinin medyanı ve 95. yüzdelik dilimi.
Panel nasıl görünmelidir?
Üç bölüm kullanın. Üst kısım yöneticiler için iş sonuçlarını gösterir: yanıtlanan sorular, defleksiyon oranı, memnuniyet ve yanıt başına maliyet, trendlerle birlikte. Orta kısım kaliteyi gösterir: son değerlendirme çalışmasından sadakat ve doğruluk puanları, reddetme oranı ve alıntı oranı. Alt kısım operasyonları gösterir: gecikme, hata oranı ve en sık yanıtlanmayan sorular.
Yanıtlanmayan sorular listesi genellikle en yararlı kısımdır. İçerik ekibine tam olarak hangi makalelerin yazılması gerektiğini söyler.
Ne sıklıkla değerlendirmelisiniz?
Erişim ve yanıt test setini her önemli değişiklikten sonra çalıştırın: yeni belgeler, yeni bir yerleştirme modeli, farklı bir parça boyutu, yeni bir dil modeli veya istem. Ayrıca sabit bir programda, örneğin aylık olarak çalıştırın, çünkü içerik zamanla değişir.
Canlı konuşmaları insan incelemesi için haftalık olarak örnekleyin. Test setleri kullanıcıların aslında ne sorduğundan uzaklaşır; canlı örnekler sizi dürüst tutar ve sete eklenecek yeni sorular verir.
Hangi değişiklikler genellikle sayıları en çok iyileştirir?
İçerik düzeltmeleri genellikle model yükseltmelerini yener. Yinelenen ve güncel olmayan belgelerin kaldırılması, uzun sayfaların odaklanmış bölümlere ayrılması ve eksik yanıtların eklenmesi, hem erişim geri çağırmasını hem de yanıt doğruluğunu artırma eğilimindedir.
Teknik tarafta, anahtar kelime ve vektör eşleşmesini birleştiren hibrit arama, yerleştirmelerin tek başına kaçırabileceği ürün adları, kodlar ve tam ifadelerle yardımcı olur. Modele ulaşmadan önce en iyi sonuçları yeniden sıralayan bir yeniden sıralama adımı başka bir yaygın iyileştirmedir. Her değişikliği tutmadan önce test setinde ölçün.
Panelin yanında bir değişiklik günlüğü tutun, böylece bir puandaki her sıçrama veya düşüş belirli bir değişikliğe kadar izlenebilir.
Alien Road RAG ölçümünü nasıl uygular
Tipik bir AI optimizasyon çalışmasında, RAG sisteminin kullanacağı bilgi tabanını denetleyerek başlarız: kopyalar, güncel olmayan sayfalar, eksik konular. Ardından, gerçek biletlerden ve sohbet günlüklerinden müşterinin destek veya satış ekibiyle soru test setini oluştururuz.
Kurulum sırasında her değişiklikte erişim ve yanıt kalitesini ölçeriz ve lansmandan sonra aylık değerlendirmeler ve haftalık canlı örnekler yaparız. Müşteri, iş, kalite ve operasyon görünümleri olan bir panel ve yanıtlanmayan sorulardan çıkarılan aylık içerik boşlukları listesi alır.
Bu hafta nereden başlamalı
Müşterilerin destek ekibinize veya sohbet botunuza sorduğu son 200 soruyu dışa aktarın. Bunları konuya göre gruplandırın ve en yaygın 30 sorunun her biri için onu yanıtlayan yardım makalesini bulun veya hiçbirinin olmadığını not edin.
Bu elektronik tablo, test setinizin ve kapsam metriklerinizin başlangıcıdır. Herhangi bir RAG sistemi kurulmadan önce bile, içeriğinizin ne kadarının biri tarafından kullanılmaya hazır olduğunu gösterir.
Listeyi yardım içeriğine sahip kişilerle paylaşın. Bu şekilde bulunan boşluklar somut ve üzerinde çalışılması kolaydır, bu da herhangi bir panel var olmadan önce ölçüm çalışması için durumu oluşturur.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu