RAG performans göstəriciləri, həm əldə edilmiş məlumatların dəqiqliyini, həm də yaradılan cavabın keyfiyyətini ölçməklə Retrieval-Augmented Generation sistemlərinin effektivliyini qiymətləndirmək üçün standartlaşdırılmış bir yol təqdim edir. Bu ölçmələr marketinq komandalarına və tərtibatçılara AI sisteminin harada uğursuz olduğunu, yəni yanlış məlumatı çəkib-çəkmədiyini və ya düzgün məlumatı səhv şərh edib-etmədiyini müəyyən etməyə kömək edir. Xüsusi qiymətləndirmə çərçivələrindən istifadə etməklə təşkilatlar, bütün rəqəmsal təmas nöqtələrində yüksək məlumat bütövlüyü standartını qoruyarkən AI alətlərinin etibarlı və son istifadəçilər üçün faydalı qalmasını təmin edə bilərlər.
RAG sisteminin qiymətləndirilməsi ikiqat yanaşma tələb edir, çünki sistem iki fərqli hissədən ibarətdir: axtarış (retriever) və generator. Axtarış sistemi böyük bir verilənlər bazasından müvafiq sənədləri tapmaqdan məsuldur, generator isə bu sənədlərdən istifadə edərək insan kimi cavab hazırlayır. Əgər axtarış sistemi uğursuz olarsa, generatorun işləmək üçün heç bir faktiki əsası olmaz. Əgər generator uğursuz olarsa, ən yaxşı məlumat belə çaşdırıcı və ya yanlış cavabla nəticələnəcək. Məhz buna görə də, yüksək keyfiyyətli AI çıxışlarını qorumaq istəyən hər bir şirkət üçün hər mərhələ üçün ayrı göstəriciləri izləmək standart bir təcrübədir.
RAGAS çərçivəsinin əsas komponentləri hansılardır?
RAGAS kimi qiymətləndirmə çərçivələri, sistemin sağlamlığı haqqında aydın bir mənzərə təqdim etmək üçün etibarlılıq, cavabın aktuallığı və kontekst dəqiqliyi kimi göstəricilərə diqqət yetirir. Etibarlılıq, yaradılan cavabın əldə edilmiş kontekstə nə dərəcədə sadiq qaldığını ölçür. Yüksək etibarlılıq balı, AI-nın özündən bir şey uydurmadığını və ya mənbə sənədlərində olmayan kənar məlumatları əlavə etmədiyini göstərir. Bu, AI müştəriyə və ya komanda üzvünə yanlış məlumat verdikdə brend etibarını zədələyə bilən hallüsinasiyalara qarşı əsas müdafiədir.
Cavabın aktuallığı, son cavabın istifadəçi tərəfindən verilən suala nə dərəcədə uyğun olduğuna diqqət yetirir. AI kontekstə əsaslanan faktiki olaraq düzgün cavab verə bilər, lakin istifadəçinin problemini birbaşa həll etmirsə, aktuallıq balı aşağı olacaq. Məsələn, istifadəçi çatdırılma müddətləri haqqında soruşursa və AI şirkətin logistika şöbəsinin ətraflı tarixçəsini təqdim edirsə, cavab mövzuya uyğundur, lakin konkret sorğuya deyil. Kontekst dəqiqliyi isə, axtarış nəticələrinin ən üstündə ən faydalı məlumatın olub-olmadığını yoxlayaraq axtarış prosesinin keyfiyyətini qiymətləndirir.
RAG sistemlərində axtarış uğuru necə ölçülür?
Axtarış uğuru çox vaxt nə qədər müvafiq sənədin tapıldığına və onların nəticələr siyahısında harada göründüyünə baxaraq ölçülür. Burada istifadə olunan ümumi göstəricilərə Precision@K və Recall@K daxildir. Precision@K ən yaxşı ‘K’ nəticələrinə baxır və onların neçə faizinin sorğu üçün həqiqətən faydalı olduğunu müəyyən edir. Əgər K-nı 5-ə təyin etsəniz və yalnız bir nəticə faydalıdırsa, dəqiqliyiniz 20%-dir. Bu göstərici, generatoru səs-küylə yükləmədən ona qısa mənbələr dəsti təqdim etmək istədiyiniz sistemlər üçün faydalıdır.
Recall@K fərqlidir, çünki o, mövcud olan bütün müvafiq sənədlərin neçəsinin ən yaxşı nəticələrdə uğurla ələ keçirildiyini ölçür. Əgər verilənlər bazanızda suala cavab verə biləcək beş sənəd varsa və axtarış sisteminiz onlardan yalnız ikisini tapırsa, sizin recall balınız aşağıdır. Yüksək recall, sual müxtəlif mənbələrdən məlumatları sintez edən əhatəli cavab tələb etdikdə vacibdir. Tipik bir hesabda, AI-nın hərtərəfli olması üçün kifayət qədər məlumata sahib olmasını, lakin əhəmiyyətsiz məlumat nöqtələri ilə çaşqınlıq yaratmayacaq qədər çox olmamasını təmin etmək üçün bu iki göstəricini tarazlaşdırmaq lazımdır.
- Mean Reciprocal Rank (MRR): Bu, ilk müvafiq sənədin siyahıda nə qədər aşağıda göründüyünü ölçür. 1.0 balı, ən yaxşı sənədin ilk nəticə olduğu deməkdir.
- Hit Rate: Doğru cavabın ən yaxşı nəticələrin hər hansı birində tapılıb-tapılmadığını izləyən sadə bir göstərici.
- Normalized Discounted Cumulative Gain (NDCG): Bu, siyahıda daha əvvəl görünən yüksək müvafiq sənədlərə daha çox çəki verərək reytinq keyfiyyətini qiymətləndirir.
- Context Recall: Əldə edilmiş kontekstin həqiqətə uyğun cavab vermək üçün bütün lazımi hissələri ehtiva edib-etmədiyini yoxlayan xüsusi RAGAS göstəricisi.
Nə üçün generasiya keyfiyyəti axtarış keyfiyyətindən fərqlidir?
Generasiya keyfiyyəti istifadəçinin gördüyü son nəticəyə diqqət yetirir ki, bu da axtarış prosesindən ayrıdır. Axtarış sistemi mükəmməl sənədi tapsa belə, dil modeli onu ümumiləşdirməkdə çətinlik çəkə bilər və ya xüsusi təlimatlara məhəl qoymaya bilər. Buna görə də biz cavab oxşarlığı və cavab düzgünlüyü kimi göstəricilərə baxırıq. Cavab oxşarlığı, semantik təhlildən istifadə edərək AI-nın cavabını məlum düzgün cavabla (həqiqət) müqayisə edir. İstifadə olunan sözlər fərqli olsa belə, mənanın eyni olub-olmadığını yoxlayır. Bu, sadə açar söz uyğunluğundan daha effektivdir.
Cavab düzgünlüyü, yaradılan cavabdakı faktları həqiqətdəki faktlarla müqayisə edərək bir addım irəli gedir. Bu, oxşarlıqdan daha obyektiv bir ölçüdür, çünki yazı üslubundan çox məlumatın dəqiqliyinə diqqət yetirir. Maliyyə və ya səhiyyə kimi tənzimlənən sahələrdə fəaliyyət göstərən bizneslər üçün cavab düzgünlüyü izlənilməli olan ən vacib göstəricidir. Rəqəmdə və ya tarixdə kiçik bir səhv ciddi nəticələrə səbəb ola bilər, ona görə də bu sistemlər müştərilərlə birbaşa qarşılıqlı əlaqədə olmazdan əvvəl düzgünlük üçün ciddi hədlər tələb edir.
| Göstərici Kateqoriyası | Əsas Göstərici | Nəyi Ölçür |
|---|---|---|
| Axtarış | Kontekst Dəqiqliyi | Ən yaxşı axtarış nəticələrinin sorğuya nə dərəcədə uyğun olması. |
| Axtarış | Kontekst Recall | Lazımi məlumatların hamısının verilənlər bazasında tapılıb-tapılmaması. |
| Generasiya | Etibarlılıq | Cavabın yalnız əldə edilmiş məlumatlardan alınıb-alınmaması. |
| Generasiya | Cavabın Aktuallığı | Cavabın istifadəçinin niyyətinə nə dərəcədə uyğun olması. |
| Əməliyyatlar | Gecikmə (Latency) | Sistemin tam cavab verməsi üçün lazım olan vaxt. |
Alien Road RAG performans göstəricilərini necə tətbiq edir
Alien Road, idarə etdiyimiz hər bir AI layihəsinə avtomatlaşdırılmış qiymətləndirmə boru kəmərlərini inteqrasiya edərək RAG performans göstəricilərini tətbiq edir. Müştəri üçün xüsusi bilik köməkçisi hazırlayarkən, ən çox yayılmış istifadəçi qarşılıqlı əlaqələrini təmsil edən baza sorğuları dəsti yaratmaqla başlayırıq. Biz bunlardan gündəlik etibarlılığı və kontekst dəqiqliyini ölçən avtomatlaşdırılmış testlər keçirmək üçün istifadə edirik. Bu ballarda bir düşüş görsək, komandamız problemin vektor verilənlər bazası parametrlərində, yoxsa dil modelinin prompt mühəndisliyində olduğunu tez bir zamanda araşdıra bilər.
Tipik bir işdə, biz həmçinin sorğu başına xərc və gecikmə kimi əməliyyat göstəricilərini izləyirik. Məsələn, real vaxt rejimində müştəri dəstəyi üçün RAG sistemindən istifadə edən bir müştəri iki saniyədən az müddətdə cavablara ehtiyac duya bilər. Biz darboğazları müəyyən etmək üçün həm axtarış addımının, həm də generasiya addımının gecikməsini izləyirik. Axtarış prosesini optimallaşdırmaqla, biz tez-tez modelə göndərilən tokenlərin sayını azalda bilirik ki, bu da cavab sürətini artırarkən xərcləri azaldır. Bu hərtərəfli monitorinq, AI-nın uzun müddət ərzində biznes üçün etibarlı bir aktiv olaraq qalmasını təmin edir.
RAG sistemlərinin qiymətləndirilməsini avtomatlaşdıra bilərsinizmi?
Avtomatlaşdırma, müasir RAG sisteminin emal etdiyi böyük sorğu həcmini idarə etmək üçün ümumi bir yoldur. ‘LLM-as-a-judge’ (hakim kimi LLM), GPT-4 kimi daha güclü bir modelin daha kiçik və ya daha sürətli bir modelin cavablarını qiymətləndirmək üçün istifadə edildiyi populyar bir texnikadır. Hakim model əldə edilmiş kontekstə və yaradılan cavaba baxır, sonra RAGAS çərçivəsinə əsasən bal verir. Bu, hər bir qarşılıqlı əlaqəni əllə yoxlamaq üçün bir insana ehtiyac duymadan davamlı monitorinqə imkan verir ki, bu da miqyasda qeyri-mümkün olardı.
Bununla belə, avtomatlaşdırma insan nəzarətini tamamilə əvəz etməməlidir. Avtomatlaşdırılmış hakimin ədalətli və dəqiq olduğunu təmin etmək üçün qiymətləndirilmiş sorğuların kiçik bir faizini insan mütəxəssisinə nəzərdən keçirtmək yaxşı bir təcrübədir. Bu hibrid yanaşma, etibarlı rəy dövrəsini qoruyarkən sürətli miqyaslanmaya imkan verir. Siz bu məlumatlardan modellərinizi incə tənzimləmək və ya zamanla axtarış məntiqinizi tənzimləmək üçün istifadə edə bilərsiniz. Bu göstəriciləri vizuallaşdıran avtomatlaşdırılmış idarə paneli qurmaq, maraqlı tərəflərə AI investisiyalarının cari performansını və ROI-ni anlamağa kömək edir.
Gecikmə və əməliyyat xərclərinin idarə edilməsi
Dəqiqlikdən kənarda, RAG sisteminin uğuru onun əməliyyat səmərəliliyindən asılıdır. Gecikmə, istifadəçinin cavab alması üçün lazım olan vaxtdır. Əgər axtarış prosesi milyonlarla sənədi axtarmağı əhatə edirsə və ya generator çox yavaş bir modeldən istifadə edirsə, istifadəçi təcrübəsi zərər görəcək. Bunu yaxşılaşdırmaq üçün AI-nın cavabı yazmağa nə qədər tez başladığını ölçən ilk-tokenə-qədər-vaxt göstəricisinə baxa bilərsiniz. Gecikməni azaltmaq çox vaxt vektor axtarışını optimallaşdırmağı və ya daha sadə sorğular üçün daha kiçik bir modeldən istifadə etməyi əhatə edir.
Xərc, uzunmüddətli AI strategiyasında digər əsas amildir. Sistem hər dəfə məlumat əldə edib cavab yaratdıqda, hesablama resurslarından və tokenlərdən istifadə edir. Sorğu başına orta xərci ölçməklə, komandalar hansı modellərdən istifadə edəcəkləri barədə məlumatlı qərarlar qəbul edə bilərlər. Məsələn, müəyyən bir sorğu növü həmişə daha ucuz bir model ilə yüksək etibarlılıq balı alırsa, pula qənaət etmək üçün həmin sorğuları həmin modelə yönləndirə bilərsiniz. Bu əməliyyat göstəricilərini dəqiqlik göstəriciləri ilə birlikdə izləmək, sistemin şirkət üçün dəyərinin tam mənzərəsini təqdim edir.
Bu həftə RAG qiymətləndirməsinə haradan başlamaq lazımdır
Sisteminizi təkmilləşdirməyə başlamaq üçün əvvəlcə istifadəçilərinizin verdiyi ən çox yayılmış sualları müəyyən etməlisiniz. 20-50 sorğu və onların ideal cavablarından ibarət kiçik bir test dəsti yaradın. Bunları cari RAG boru kəmərinizdən keçirin və etibarlılıq və aktuallıq üçün əllə qiymətləndirin. Bu əl ilə addım, daha mürəkkəb avtomatlaşdırılmış alətlərə keçməzdən əvvəl sisteminizin harada dayandığına dair baza anlayışı verəcəkdir. Baza xəttiniz olduqdan sonra, kontekst dəqiqliyi ballarınızı hansıların yaxşılaşdırdığını görmək üçün müxtəlif axtarış üsullarını sınaqdan keçirməyə başlaya bilərsiniz.
- Həqiqət məlumat dəstiniz kimi xidmət etmək üçün 50 əsas istifadəçi sualını müəyyən edin.
- Cari etibarlılıq və cavabın aktuallığı ballarınızı hesablamaq üçün ilkin test keçirin.
- İstifadəçi təcrübəsi tələblərinizə cavab verib-vermədiyini görmək üçün axtarış gecikmənizi yoxlayın.
- Gələn ay ərzində bu rəqəmləri izləmək üçün əsas monitorinq paneli qurun.
Tez-tez verilən suallar
RAGAS çərçivəsi nədir?
RAGAS, xüsusilə Retrieval-Augmented Generation sistemləri üçün nəzərdə tutulmuş qiymətləndirmə çərçivəsidir. O, böyük insan tərəfindən annotasiya edilmiş məlumat dəstinə ehtiyac duymadan axtarış və generasiya keyfiyyətini ölçən bir sıra göstəricilər təqdim edir. Tərtibatçılara AI boru kəmərlərindəki səhvləri tapmağa və düzəltməyə kömək etmək üçün etibarlılıq, cavabın aktuallığı və kontekst dəqiqliyinə diqqət yetirir.
RAG-da hallüsinasiyanı necə ölçürsünüz?
Hallüsinasiyalar əsasən etibarlılıq göstəricisi istifadə edilərək ölçülür. Bu, AI-nın cavabında verilən hər bir iddianın əldə edilmiş mənbə sənədlərinə qədər izlənilə biləcəyini yoxlayır. Əgər AI kontekstdə olmayan məlumatları daxil edərsə, etibarlılıq balı düşür və bu, yüksək hallüsinasiya riski və ya kənar bilik müdaxiləsini göstərir.
Axtarışda dəqiqlik (precision) və recall arasındakı fərq nədir?
Dəqiqlik, sorğu üçün həqiqətən müvafiq olan əldə edilmiş sənədlərin faizini ölçür. Recall, verilənlər bazasındakı bütün müvafiq sənədlərin neçə faizinin uğurla tapıldığını ölçür. Yüksək dəqiqlik model üçün daha az səs-küy deməkdir, yüksək recall isə modelin tam cavab üçün lazım olan bütün faktlara sahib olması deməkdir.
Kontekst dəqiqliyi nə üçün vacibdir?
Kontekst dəqiqliyi vacibdir, çünki o, ən müvafiq məlumatın axtarış nəticələrində yüksək qiymətləndirilib-qiymətləndirilmədiyini qiymətləndirir. Əksər dil modellərinin məhdud kontekst pəncərəsi var və ən vacib faktlar əhəmiyyətsiz sənədlər siyahısında dərində basdırılıbsa, çaşqınlıq yarana bilər. Yüksək dəqiqlik ən yaxşı məlumatın əvvəlcə emal olunmasını təmin edir.
Böyük məlumat dəstləri üçün RAG qiymətləndirməsini avtomatlaşdıra bilərsinizmi?
Bəli, LLM-as-a-judge texnikalarından istifadə etməklə avtomatlaşdırma mümkündür. RAG sisteminizin çıxışlarını qiymətləndirmək üçün yüksək qabiliyyətli bir modeldən istifadə edərək minlərlə sorğunu tez bir zamanda qiymətləndirə bilərsiniz. Bu, ardıcıl keyfiyyət və dəqiqlik standartını qoruyarkən AI təkmilləşdirmələrinin davamlı inteqrasiyasına və tətbiqinə imkan verir.
Oxumağa davam edin: AI Optimizasiyası · AI Optimizasiyası