Retrieval-augmented generation-ı iki səviyyədə ölçürsünüz. Texniki keyfiyyət sistemin düzgün sənədləri tapıb-tapmadığını və cavabların onlara sadiq qalıb-qalmadığını əhatə edir. Biznes dəyəri isə istifadəçilərin düzgün cavabları daha sürətli alıb-almadığını, dəstək biletlərinin azalıb-azalmadığını və hər cavabın nəyə başa gəldiyini əhatə edir. İdarəetmə paneli hər ikisini göstərməlidir, çünki yanlış sənəddən gələn səlis cavab hələ də yanlış cavabdır.
RAG, öz məzmununuzdan cavab verən AI köməkçiləri qurmaq üçün bir nümunədir. İstifadəçi sual verdikdə, sistem adətən vektor yerləşdirmələri və çox vaxt açar söz axtarışı ilə bilik bazasında axtarış aparır, ən uyğun hissələri tapır və onları cavab yazmaq üçün dil modelinə təqdim edir, ideal halda istinadlarla birlikdə. Bu, dəstək botlarında, daxili bilik köməkçilərində və məhsul axtarışında geniş yayılıb. LangChain və LlamaIndex kimi çərçivələr, həmçinin OpenAI, Google, AWS və digərlərinin idarə olunan xidmətləri bunu qurmağı asanlaşdırır.
RAG layihələri niyə xüsusi ölçməyə ehtiyac duyur?
RAG sistemi bir neçə yerdə uğursuz ola bilər: sənədlər çatışmaya və ya köhnəlmiş ola bilər, axtarış yanlış hissələri tapa bilər və ya model hissələri nəzərə almayıb improvizasiya edə bilər. Kənardan baxdıqda bunların hamısı eyni görünür: yanlış, lakin əmin cavab.
Hər mərhələdə ölçmə aparılmadıqda, komandalar yanlış hissəni düzəltməyə çalışırlar. Əsl problem köhnəlmiş yardım məqaləsi olduqda daha böyük modelə keçirlər və ya axtarış əlaqəsiz hissələr qaytardıqda sorğuları yenidən yazırlar.
Hansı axtarış KPI-ları vacibdir?
50-dən 200-ə qədər real sualdan ibarət test dəsti qurun, hər biri düzgün cavabı ehtiva edən sənəd və ya hissə ilə birlikdə. Onu axtarışı mütəmadi olaraq ölçmək üçün istifadə edin.
- k-da xatırlama (Recall at k): düzgün hissənin ilk k nəticədə, məsələn, ilk 5-də göründüyü sualların payı.
- k-da dəqiqlik (Precision at k): əslində uyğun olan ilk k nəticələrin payı.
- Orta qarşılıqlı dərəcə (Mean reciprocal rank): ilk uyğun nəticənin orta hesabla nə qədər yüksəkdə göründüyü.
- Əhatə dairəsi (Coverage): real istifadəçi suallarının payı ki, onlar üçün ümumiyyətlə uyğun sənəd mövcuddur.
Əhatə dairəsi texniki göstəricilərdə gizlənən biznes metrikidir. Əgər bir çox sualın uyğun sənədi yoxdursa, həll yolu axtarışı tənzimləmək deyil, məzmun yazmaqdır.
Cavab keyfiyyətini necə ölçürsünüz?
Sadiqlik və düzgünlük
Sadiqlik cavabdakı hər bir iddianın tapılan hissələrlə dəstəklənib-dəstəklənmədiyini soruşur. Düzgünlük isə cavabın məlum düzgün cavaba uyğun olub-olmadığını soruşur. Hər ikisi nümunə üzərində insan rəyçilər tərəfindən və ya ikinci modelin cavabları mənbələrə qarşı qiymətləndirdiyi LLM-as-judge quraşdırması ilə qiymətləndirilə bilər, hansı ki, Ragas kimi açıq mənbəli alətlər bunu dəstəkləyir. Avtomatlaşdırılmış qiymətləri etibar etməzdən əvvəl insan qiymətləri ilə yoxlayın.
İstinadlar və imtinalar
Ən azı bir istinadı olan cavabların payını və sistemin bilmədiyini düzgün şəkildə bildirdiyi halların payını izləyin. Heç vaxt imtina etməyən sistem yəqin ki, biliyindən kənar suallar üçün cavablar uydurur.
Hansı biznes KPI-ları dəyəri sübut edir?
- Həll və ya yönləndirmə dərəcəsi: insan agenti olmadan həll olunan söhbətlərin payı, istifadəçi rəyi və ya sonrakı biletin olmaması ilə təsdiqlənir.
- Eskalasiya keyfiyyəti: bot təhvil verdikdə, agent faydalı xülasə alırmı?
- İstifadəçi rəyi: hər cavab üçün bəyənmə və ya bəyənməmə, əlavə şərhlərlə.
- Daxili istifadəçilər üçün cavab müddəti, sənədlərin əllə axtarılması ilə müqayisədə.
- Cavab verilən sual üçün xərc: model tokenləri, yerləşdirmə və vektor verilənlər bazası xərcləri cavablara bölünür.
- Gecikmə: median və 95-ci persentil cavab müddəti.
İdarəetmə paneli necə görünməlidir?
Üç bölmədən istifadə edin. Üst hissə menecerlər üçün biznes nəticələrini göstərir: cavablanan suallar, yönləndirmə dərəcəsi, məmnuniyyət və cavab başına xərc, tendensiyalarla birlikdə. Orta hissə keyfiyyəti göstərir: ən son qiymətləndirmə dövründən sadiqlik və düzgünlük balları, imtina dərəcəsi və istinad dərəcəsi. Alt hissə əməliyyatları göstərir: gecikmə, xəta dərəcəsi və ən çox cavablanmayan suallar.
Cavablanmayan suallar siyahısı çox vaxt ən faydalı hissədir. O, məzmun komandasına növbəti hansı məqalələri yazmağı dəqiq deyir.
Nə qədər tez-tez qiymətləndirməlisiniz?
Hər əhəmiyyətli dəyişiklikdən sonra axtarış və cavab test dəstini işə salın: yeni sənədlər, yeni yerləşdirmə modeli, fərqli parça ölçüsü, yeni dil modeli və ya sorğu. Həmçinin onu müəyyən bir cədvəl üzrə, məsələn, aylıq işə salın, çünki məzmun zamanla dəyişir.
İnsan rəyi üçün canlı söhbətləri həftəlik nümunələyin. Test dəstləri istifadəçilərin əslində nə soruşduğundan uzaqlaşır; canlı nümunələr sizi dürüst saxlayır və dəstə əlavə etmək üçün yeni suallar verir.
Hansı dəyişikliklər adətən rəqəmləri ən çox yaxşılaşdırır?
Məzmun düzəlişləri çox vaxt model təkmilləşdirmələrini üstələyir. Dublikat və köhnəlmiş sənədlərin silinməsi, uzun səhifələrin fokuslanmış bölmələrə bölünməsi və çatışmayan cavabların əlavə edilməsi həm axtarış xatırlamasını, həm də cavab düzgünlüyünü artırır.
Texniki tərəfdə, açar söz və vektor uyğunluğunu birləşdirən hibrid axtarış məhsul adları, kodlar və dəqiq ifadələrlə kömək edir, hansı ki, yerləşdirmələr təkbaşına onları qaçıra bilər. Modelə çatmazdan əvvəl ən yaxşı nəticələri yenidən sıralayan reranking addımı başqa bir ümumi təkmilləşdirmedir. Hər dəyişikliyi saxlamazdan əvvəl test dəstində ölçün.
İdarəetmə panelinin yanında dəyişiklik jurnalı saxlayın ki, baldakı hər bir artım və ya eniş müəyyən bir dəyişikliyə aid edilsin.
Alien Road RAG ölçməsini necə tətbiq edir
Tipik bir AI optimallaşdırma işində, biz RAG sisteminin istifadə edəcəyi bilik bazasını yoxlamaqla başlayırıq: dublikatlar, köhnəlmiş səhifələr, çatışmayan mövzular. Sonra müştərinin dəstək və ya satış komandası ilə real biletlərdən və söhbət qeydlərindən sual test dəstini qururuq.
Quraşdırma zamanı biz hər dəyişiklikdə axtarış və cavab keyfiyyətini ölçürük, işə salındıqdan sonra isə aylıq qiymətləndirmələr və həftəlik canlı nümunələr aparırıq. Müştəri biznes, keyfiyyət və əməliyyat baxışları olan idarəetmə paneli və cavablanmayan suallardan çıxarılan aylıq məzmun boşluqları siyahısını alır.
Bu həftə haradan başlamaq lazımdır
Müştərilərinizin dəstək komandanıza və ya çatbotunuza verdiyi son 200 sualı ixrac edin. Onları mövzuya görə qruplaşdırın və ən çox yayılmış 30 sualın hər biri üçün ona cavab verən yardım məqaləsini tapın və ya heç birinin olmadığını qeyd edin.
Həmin cədvəl sizin test dəstinizin və əhatə dairəsi metrikənizin başlanğıcıdır. Hətta hər hansı RAG sistemi qurulmazdan əvvəl, o, məzmununuzun nə qədərinin istifadəyə hazır olduğunu göstərir.
Siyahını yardım məzmununa sahib olan insanlarla paylaşın. Bu yolla tapılan boşluqlar konkret və hərəkətə keçmək asandır, bu da hər hansı idarəetmə paneli mövcud olmazdan əvvəl ölçmə işi üçün əsas yaradır.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması