RAG performans metrikleri, hem getirilen verilerin doğruluğunu hem de oluşturulan yanıtın kalitesini ölçerek Retrieval-Augmented Generation sistemlerinin etkinliğini değerlendirmek için standartlaştırılmış bir yol sunar. Bu ölçümler, pazarlama ekiplerinin ve geliştiricilerin bir AI sisteminin nerede başarısız olduğunu, yanlış bilgiyi mi çektiğini yoksa doğru veriyi mi yanlış yorumladığını belirlemelerine yardımcı olur. Belirli değerlendirme çerçevelerini kullanarak kuruluşlar, tüm dijital temas noktalarında yüksek bir veri bütünlüğü standardını korurken AI araçlarının güvenilir ve son kullanıcılar için yararlı kalmasını sağlayabilirler.
Bir RAG sistemini değerlendirmek iki yönlü bir yaklaşım gerektirir çünkü sistem iki farklı parçadan oluşur: getirici (retriever) ve oluşturucu (generator). Getirici, büyük bir veritabanından ilgili belgeleri bulmaktan sorumludur, oluşturucu ise bu belgeleri kullanarak insan benzeri bir yanıt taslağı hazırlar. Eğer getirici başarısız olursa, oluşturucunun üzerinde çalışacak hiçbir olgusal temeli kalmaz. Eğer oluşturucu başarısız olursa, en iyi veriler bile kafa karıştırıcı veya yanlış bir yanıtla sonuçlanır. Bu nedenle, yüksek kaliteli AI çıktılarını korumak isteyen her şirket için her aşama için ayrı metrikleri takip etmek standart bir uygulamadır.
RAGAS çerçevesinin temel bileşenleri nelerdir?
RAGAS gibi değerlendirme çerçeveleri, sistem sağlığı hakkında net bir resim sunmak için sadakat, yanıt alaka düzeyi ve bağlam hassasiyeti gibi metrikler üzerinde durur. Sadakat, oluşturulan yanıtın getirilen bağlama ne kadar sadık kaldığını ölçer. Yüksek bir sadakat puanı, AI’nın bir şeyler uydurmadığını veya kaynak belgelerde bulunmayan dış bilgileri eklemediğini gösterir. Bu, bir AI müşteriye veya bir ekip üyesine yanlış bilgi verdiğinde marka güvenine zarar verebilecek halüsinasyonlara karşı birincil savunmadır.
Yanıt alaka düzeyi, nihai yanıtın kullanıcı tarafından sorulan gerçek soruya ne kadar iyi hitap ettiğine odaklanır. Bir AI, bağlama dayalı olarak olgusal açıdan doğru bir yanıt verebilir, ancak kullanıcının sorununu doğrudan çözmüyorsa alaka düzeyi puanı düşük olacaktır. Örneğin, bir kullanıcı teslimat sürelerini sorarsa ve AI şirketin lojistik departmanının ayrıntılı bir geçmişini sunarsa, yanıt konuyla alakalıdır ancak belirli sorguyla alakalı değildir. Bağlam hassasiyeti ise, en yararlı bilgilerin arama sonuçlarının en üstünde yer alıp almadığını kontrol ederek getirme sürecinin kalitesini değerlendirir.
RAG sistemlerinde getirme başarısı nasıl ölçülür?
Getirme başarısı genellikle kaç tane ilgili belgenin bulunduğu ve bunların sonuç listesinde nerede göründüğüne bakılarak ölçülür. Burada kullanılan yaygın metrikler arasında Precision@K ve Recall@K bulunur. Precision@K, ilk ‘K’ sonucuna bakar ve bunların yüzde kaçının sorgu için gerçekten yararlı olduğunu belirler. K’yi 5’e ayarlarsanız ve sadece bir sonuç yararlıysa, hassasiyetiniz %20’dir. Bu metrik, oluşturucuyu gürültüyle boğmadan ona kısa bir kaynak seti sunmak istediğiniz sistemler için yararlıdır.
Recall@K farklıdır çünkü mevcut toplam ilgili belgelerin kaçının ilk sonuçlarda başarıyla yakalandığını ölçer. Veritabanınızda bir soruyu yanıtlayabilecek beş belge varsa ve getiriciniz bunlardan sadece ikisini bulursa, hatırlama (recall) oranınız daha düşüktür. Yüksek hatırlama, bir soru birden fazla farklı kaynaktan gelen bilgileri sentezleyen kapsamlı bir yanıt gerektirdiğinde önemlidir. Tipik bir hesapta, AI’nın kapsamlı olması için yeterli bilgiye sahip olmasını sağlamak ancak alakasız veri noktalarıyla kafasının karışmaması için bu iki metriği dengelemek gerekir.
- Mean Reciprocal Rank (MRR): Bu, ilk ilgili belgenin listede ne kadar aşağıda göründüğünü ölçer. 1.0 puanı, en iyi belgenin ilk sonuç olduğu anlamına gelir.
- Hit Rate: Doğru yanıtın ilk sonuçların herhangi bir yerinde bulunup bulunmadığını takip eden basit bir metrik.
- Normalized Discounted Cumulative Gain (NDCG): Bu, listede daha erken görünen yüksek derecede ilgili belgelere daha fazla ağırlık vererek sıralama kalitesini değerlendirir.
- Context Recall: Getirilen bağlamın, temel gerçeği (ground truth) yanıtlamak için gerekli tüm parçaları içerip içermediğini kontrol eden özel bir RAGAS metriğidir.
Oluşturma kalitesi neden getirme kalitesinden farklıdır?
Oluşturma kalitesi, kullanıcının gördüğü nihai çıktıya odaklanır ve bu, arama sürecinden ayrıdır. Getirici mükemmel belgeyi bulsa bile, dil modeli onu özetlemekte zorlanabilir veya belirli talimatları göz ardı edebilir. Bu yüzden yanıt benzerliği ve yanıt doğruluğu gibi metriklere bakıyoruz. Yanıt benzerliği, anlamsal analiz kullanarak AI’nın yanıtını bilinen doğru bir yanıtla (ground truth) karşılaştırır. Kullanılan kelimeler farklı olsa bile anlamın aynı olup olmadığını kontrol eder. Bu, basit anahtar kelime eşleştirmesinden daha etkilidir.
Yanıt doğruluğu, oluşturulan yanıttaki gerçekleri temel gerçekteki gerçeklerle karşılaştırarak bir adım daha ileri gider. Bu, benzerlikten daha objektif bir ölçüdür çünkü yazım stilinden ziyade veri doğruluğuna odaklanır. Finans veya sağlık gibi düzenlenmiş sektörlerdeki işletmeler için yanıt doğruluğu takip edilmesi gereken en önemli metriktir. Bir sayıdaki veya tarihteki küçük bir hata önemli sonuçlar doğurabilir, bu nedenle bu sistemler genellikle müşterilerle doğrudan etkileşime girmeden önce katı doğruluk eşikleri gerektirir.
| Metrik Kategorisi | Temel Metrik | Neyi Ölçer |
|---|---|---|
| Getirme | Bağlam Hassasiyeti | En iyi arama sonuçlarının sorguyla ne kadar alakalı olduğu. |
| Getirme | Context Recall | Gerekli tüm bilgilerin veritabanında bulunup bulunmadığı. |
| Oluşturma | Sadakat | Yanıtın kesinlikle getirilen verilerden türetilip türetilmediği. |
| Oluşturma | Yanıt Alaka Düzeyi | Yanıtın kullanıcının niyetine ne kadar iyi hitap ettiği. |
| Operasyonlar | Gecikme (Latency) | Sistemin tam bir yanıt vermesi için geçen süre. |
Alien Road RAG performans metriklerini nasıl uygular
Alien Road, yönettiğimiz her AI projesine otomatik değerlendirme hatlarını entegre ederek RAG performans metriklerini uygular. Bir müşteri için özel bir bilgi asistanı oluşturduğumuzda, en yaygın kullanıcı etkileşimlerini temsil eden bir dizi temel sorgu oluşturarak başlarız. Bunları, sadakat ve bağlam hassasiyetini günlük olarak ölçen otomatik testler çalıştırmak için kullanırız. Bu puanlarda bir düşüş görürsek, ekibimiz sorunun vektör veritabanı ayarlarında mı yoksa dil modelinin prompt mühendisliğinde mi olduğunu hızla araştırabilir.
Tipik bir çalışmada, sorgu başına maliyet ve gecikme gibi operasyonel metrikleri de izleriz. Örneğin, gerçek zamanlı müşteri desteği için bir RAG sistemi kullanan bir müşterinin iki saniyenin altında yanıtlara ihtiyacı olabilir. Darboğazları belirlemek için hem getirme adımının hem de oluşturma adımının gecikmesini izleriz. Getirme sürecini optimize ederek, genellikle modele gönderilen token sayısını azaltabiliriz, bu da yanıt hızını artırırken maliyetleri düşürür. Bu kapsamlı izleme, AI’nın uzun vadede işletme için güvenilir bir varlık olarak kalmasını sağlar.
RAG sistemlerinin değerlendirmesini otomatikleştirebilir misiniz?
Otomasyon, modern bir RAG sisteminin işlediği yüksek sorgu hacmini yönetmenin yaygın bir yoludur. ‘LLM-as-a-judge’ (yargıç olarak LLM), GPT-4 gibi daha güçlü bir modelin, daha küçük veya daha hızlı bir modelin yanıtlarını derecelendirmek için kullanıldığı popüler bir tekniktir. Yargıç model, getirilen bağlama ve oluşturulan yanıta bakar, ardından RAGAS çerçevesine dayalı bir puan atar. Bu, ölçekte imkansız olacak şekilde her etkileşimi manuel olarak kontrol etmek için bir insana ihtiyaç duymadan sürekli izlemeye olanak tanır.
Ancak otomasyon, insan gözetiminin yerini tamamen almamalıdır. Otomatik yargıcın adil ve doğru olduğundan emin olmak için derecelendirilmiş sorguların küçük bir yüzdesini bir insan uzmana inceletmek iyi bir uygulamadır. Bu hibrit yaklaşım, güvenilir bir geri bildirim döngüsünü korurken hızlı ölçeklendirmeye olanak tanır. Bu verileri modellerinizi ince ayar yapmak veya getirme mantığınızı zaman içinde ayarlamak için kullanabilirsiniz. Bu metrikleri görselleştiren otomatik bir kontrol paneli kurmak, paydaşların AI yatırımlarının mevcut performansını ve ROI’sini anlamalarına yardımcı olur.
Gecikme ve operasyonel maliyetlerin yönetimi
Doğruluğun ötesinde, bir RAG sisteminin başarısı operasyonel verimliliğine bağlıdır. Gecikme, bir kullanıcının yanıt alması için geçen süredir. Getirme süreci milyonlarca belgeyi aramayı içeriyorsa veya oluşturucu çok yavaş bir model kullanıyorsa, kullanıcı deneyimi zarar görür. Bunu iyileştirmek için, AI’nın yanıtı yazmaya ne kadar hızlı başladığını ölçen ilk-token-süresi metriğine bakabilirsiniz. Gecikmeyi azaltmak genellikle vektör aramasını optimize etmeyi veya daha basit sorgular için daha küçük bir model kullanmayı içerir.
Maliyet, uzun vadeli AI stratejisinde bir diğer önemli faktördür. Sistem her veri getirdiğinde ve bir yanıt oluşturduğunda, bilgi işlem kaynaklarını ve tokenleri kullanır. Sorgu başına ortalama maliyeti ölçerek, ekipler hangi modellerin kullanılacağı konusunda bilinçli kararlar alabilirler. Örneğin, belirli bir sorgu türü daha ucuz bir modelle her zaman yüksek bir sadakat puanı alıyorsa, paradan tasarruf etmek için bu sorguları o modele yönlendirebilirsiniz. Bu operasyonel metrikleri doğruluk metrikleriyle birlikte izlemek, sistemin şirket için değerinin tam bir görünümünü sağlar.
Bu hafta RAG değerlendirmesine nereden başlanır
Sisteminizi iyileştirmeye başlamak için önce kullanıcılarınızın sorduğu en yaygın soruları belirlemelisiniz. 20 ila 50 sorgudan ve bunların ideal yanıtlarından oluşan küçük bir test seti oluşturun. Bunları mevcut RAG hattınızdan geçirin ve sadakat ve alaka düzeyi için manuel olarak puanlayın. Bu manuel adım, daha karmaşık otomatik araçlara geçmeden önce sisteminizin nerede durduğuna dair temel bir anlayış verecektir. Bir temeliniz olduğunda, hangilerinin bağlam hassasiyeti puanlarınızı iyileştirdiğini görmek için farklı getirme yöntemlerini test etmeye başlayabilirsiniz.
- Temel gerçeğiniz (ground truth) veri kümeniz olarak hizmet etmesi için 50 temel kullanıcı sorusunu belirleyin.
- Mevcut sadakat ve yanıt alaka düzeyi puanlarınızı hesaplamak için bir ilk test çalıştırın.
- Kullanıcı deneyimi gereksinimlerinizi karşılayıp karşılamadığını görmek için getirme gecikmenizi kontrol edin.
- Önümüzdeki ay boyunca bu sayıları takip etmek için temel bir izleme paneli kurun.
Sıkça Sorulan Sorular
RAGAS çerçevesi nedir?
RAGAS, özellikle Retrieval-Augmented Generation sistemleri için tasarlanmış bir değerlendirme çerçevesidir. Büyük bir insan tarafından açıklanmış veri kümesine ihtiyaç duymadan getirme ve oluşturma kalitesini ölçen bir dizi metrik sağlar. Geliştiricilerin AI hatlarındaki hataları bulmalarına ve düzeltmelerine yardımcı olmak için sadakat, yanıt alaka düzeyi ve bağlam hassasiyetine odaklanır.
RAG’da halüsinasyon nasıl ölçülür?
Halüsinasyonlar öncelikle sadakat metriği kullanılarak ölçülür. Bu, AI’nın yanıtında yapılan her iddianın getirilen kaynak belgelere kadar izlenebilir olup olmadığını kontrol eder. Eğer AI bağlamda olmayan bilgiler içeriyorsa, sadakat puanı düşer ve bu da yüksek bir halüsinasyon riski veya dış bilgi müdahalesi olduğunu gösterir.
Getirmede hassasiyet (precision) ve hatırlama (recall) arasındaki fark nedir?
Hassasiyet, getirilen belgelerin sorguyla gerçekten alakalı olan yüzdesini ölçer. Hatırlama, veritabanındaki tüm ilgili belgelerin yüzde kaçının başarıyla bulunduğunu ölçer. Yüksek hassasiyet model için daha az gürültü anlamına gelirken, yüksek hatırlama modelin tam bir yanıt için ihtiyaç duyduğu tüm gerçeklere sahip olduğu anlamına gelir.
Bağlam hassasiyeti neden önemlidir?
Bağlam hassasiyeti önemlidir çünkü en alakalı bilgilerin arama sonuçlarında üst sıralarda yer alıp almadığını değerlendirir. Çoğu dil modelinin sınırlı bir bağlam penceresi vardır ve en önemli gerçekler alakasız belgeler listesinin derinliklerine gömülürse kafaları karışabilir. Yüksek hassasiyet, en iyi verilerin önce işlenmesini sağlar.
Büyük veri kümeleri için RAG değerlendirmesini otomatikleştirebilir misiniz?
Evet, LLM-as-a-judge tekniklerinin kullanımıyla otomasyon mümkündür. RAG sisteminizin çıktılarını değerlendirmek için yüksek yetenekli bir model kullanarak binlerce sorguyu hızla puanlayabilirsiniz. Bu, tutarlı bir kalite ve doğruluk standardını korurken AI iyileştirmelerinin sürekli entegrasyonuna ve dağıtımına olanak tanır.
Okumaya devam edin: AI Optimizasyonu · AI Optimizasyonu