Ən çox rast gəlinən retrieval-augmented generation (RAG) səhvləri sistemə qarışıq mənbə məzmunu daxil etmək, sənədləri pis bölmək, yoxlamadan axtarışa etibar etmək və cavab keyfiyyətini ölçmək üçün bir yol olmadan işə salmaqdır. RAG uğursuzluqlarının çoxu model problemləri kimi görünür, lakin məlumat və axtarış qatlarından başlayır. Etibarlı RAG köməkçiləri quran agentliklər dil modelini seçməkdən çox, məzmunun hazırlanmasına və qiymətləndirilməsinə daha çox vaxt sərf edirlər.
Retrieval-augmented generation nədir?
RAG, dil modelinin öz məlumatlarınızdan cavab verməsini təmin etməyin bir yoludur. İstifadəçi bir sual verdikdə, sistem adətən vektor verilənlər bazasında saxlanılan yerləşdirmələrlə (embeddings) bilik bazasını axtarır, ən uyğun hissələri əldə edir və onları cavab vermək üçün təlimatlarla birlikdə modelə təqdim edir. Cavabı model yazır; axtarış addımı isə nəyi bildiyinə qərar verir.
Ümumi alətlərə LangChain və LlamaIndex kimi çərçivələr, Pinecone, Weaviate, Qdrant və ya pgvector kimi vektor verilənlər bazaları və OpenAI-ın fayl axtarışı, Google Vertex AI Search və Amazon Bedrock Knowledge Bases kimi idarə olunan seçimlər daxildir. Aşağıdakı səhvlər hansı yığını seçməyinizdən asılı olmayaraq tətbiq olunur.
Səhv 1: Heç kimin təmizləmədiyi məzmunu indeksləşdirmək
Komandalar tez-tez RAG sistemini bütün paylaşılan sürücüyə və ya vebsayta yönəldir və yaxşı cavablar gözləyirlər. Nəticə köhnə qiymət siyahıları, qaralama sənədləri, dublikat səhifələr və ziddiyyətlərlə dolu bir bilik bazası olur. Model, köhnəlmiş olsa belə, ən yaxşı uyğun gələni əldə edir.
- Mənbələri qəsdən seçin və hər biri üçün bir sahib təyin edərək onları siyahıya alın.
- İndeksləmədən əvvəl qaralamaları, əvəz edilmiş versiyaları və dublikatları silin.
- İki fərqli geri qaytarma siyasəti kimi ziddiyyətləri mənbədə həll edin.
- Axtarışın süzgəcdən keçirə bilməsi üçün tarix, məhsul və region kimi metadata əlavə edin.
Səhv 2: Sənədləri pis parçalamaq
Sənədlər yerləşdirilməzdən əvvəl hissələrə bölünür. Çox kiçik hissələr konteksti itirir; “haqq” haqqında bir cümlə, xidməti adlandıran paraqraf olmadan heç bir məna kəsb etmir. Çox böyük hissələr isə bir neçə mövzunu qarışdırır və axtarışı zəiflədir.
Nə daha yaxşı işləyir
Sənədin öz quruluşu boyunca bölün: başlıqlar, bölmələr və siyahı elementləri. Başlığı məzmunu ilə birlikdə saxlayın. Hissələr arasında bir az üst-üstə düşmə əlavə edin və hər hissə ilə birlikdə sənəd başlığını və bölmə yolunu saxlayın. Təlimatdan bir rəqəm seçmək əvəzinə, real suallar üzərində bir neçə hissə ölçüsünü sınaqdan keçirin.
Səhv 3: Yalnız vektor axtarışına etibar etmək
Semantik axtarış mənanı tapır, lakin məhsul kodları, adlar və səhv nömrələri kimi dəqiq terminləri qaçıra bilər. “X200-B” modeli haqqında soruşan istifadəçi oxşar məhsul haqqında hissələr ala bilər.
Hibrid axtarış, BM25 kimi açar söz axtarışı ilə vektor axtarışını birləşdirir və hazırda əksər vektor verilənlər bazaları və axtarış platformaları tərəfindən dəstəklənir. Ayrı bir modelin ən yaxşı nəticələri uyğunluğa görə yenidən sıraladığı bir yenidən sıralama (reranking) addımı əlavə etmək çox vaxt cavabları daha da yaxşılaşdırır. Hər ikisi bir çox layihədə aydın faydaları olan az səy tələb edən dəyişikliklərdir.
Səhv 4: Modelə zəif təlimatlar vermək
Əgər sorğu (prompt) modelə yalnız əldə edilmiş məzmundan cavab verməyi tapşırmırsa, o, boşluqları biznesiniz üçün yanlış ola biləcək ümumi biliklərlə dolduracaq. Əgər cavabın olmadığı halda nə edəcəyini demirsə, o, təxmin edəcək.
Modelə hansı hissələrdən istifadə etdiyini göstərməyi, məlumat olmadıqda bunu aydın şəkildə bildirməyi və bu hallarda bir şəxslə əlaqə saxlamağı təklif etməyi tapşırın. Hər cavabın ardıcıl görünməsi üçün ton və format qaydalarını eyni sistem sorğusunda saxlayın.
Səhv 5: Qiymətləndirmə dəstinin olmaması
Bir çox komanda RAG köməkçisini həmin gün ağlına gələn bir neçə sualı verməklə sınaqdan keçirir. Bu, çətin halları qaçırır. Sabit bir test dəsti olmadan, heç kim dəyişikliyin kömək edib-etmədiyini deyə bilməz.
- Dəstək biletlərindən, satış e-poçtlarından və ya axtarış jurnallarından əlli-iki yüz arası real sual toplayın.
- Hər biri üçün düzgün cavabı və mənbə sənədini yazın.
- Axtarışı ayrıca qiymətləndirin: düzgün hissə ən yaxşı nəticələrdə göründümü?
- Cavabları düzgünlüyünə, tamlığına və mənbələr daxilində qalıb-qalmadığına görə qiymətləndirin.
- Məzmun, parçalanma, sorğular və ya modellərdə hər dəyişiklikdən sonra tam dəsti yenidən işə salın.
Ragas kimi çərçivələr və LangSmith, Langfuse və ya satıcı platformalarındakı alətlər, model əsaslı qiymətləndirmə daxil olmaqla, bunun bəzi hissələrini avtomatlaşdıra bilər. Nümunənin insan tərəfindən nəzərdən keçirilməsini saxlayın, çünki avtomatlaşdırılmış hakimlər də səhv edir.
Səhv 6: İcazələrə və məxfiliyə məhəl qoymamaq
Hər sənəddən məlumat əldə edən daxili köməkçi maaşları, müqavilələri və ya müştəri məlumatlarını soruşan hər kəsə açıqlaya bilər. Axtarış, orijinal fayllarla eyni giriş hüquqlarına hörmət etməlidir. Müştərilərə yönəlmiş köməkçilər heç vaxt şəxsi məlumatları və ya daxili qeydləri indeksləşdirməməlidir.
Boru kəmərindəki hər bir xidmət üçün məlumatların işlənməsi şərtlərini yoxlayın və şəxsi məlumatların olduğu hallarda GDPR və ya KVKK kimi qaydalara əməl edin.
Səhv 7: İşə salıb unutmaq
Məzmun dəyişir. Qiymətlər yenilənir, məhsullar istifadəyə verilir, siyasətlər yenidən yazılır. İndeks yenilənməzsə, köməkçi özünə arxayın səslənsə də, köhnəlir. Yenidən indeksləşdirməni planlaşdırın, hansı sənədlərin dəyişdiyini izləyin və hər həftə canlı söhbətlərin bir nümunəsini, xüsusən də istifadəçilərin bir şəxslə danışmaq istədiyi və ya cavabı pis qiymətləndirdiyi söhbətləri nəzərdən keçirin.
Alien Road retrieval-augmented generation-ı necə tətbiq edir
Tipik bir əməkdaşlıqda Alien Road mənbə auditi ilə başlayır: köməkçinin hansı sənədləri və səhifələri bilməli olduğu, onların sahibinin kim olduğu və harada ziddiyyət təşkil etdikləri. Biz əvvəlcə prioritet məzmunu təmizləyir və yenidən qururuq, çox vaxt uzun səhifələri həm insanların, həm də axtarış sisteminin daha yaxşı idarə etdiyi tək mövzulu bölmələrə çeviririk.
Quraşdırma yuxarıdakı təcrübələrə əməl edir: quruluş əsaslı parçalanma, platformanın icazə verdiyi yerlərdə yenidən sıralama ilə hibrid axtarış, aydın sistem təlimatları və icazəyə əsaslanan axtarış. İşə salmazdan əvvəl biz müştərinin real suallarından bir qiymətləndirmə dəsti qururuq və keyfiyyət həddi ilə razılaşırıq.
İşə salındıqdan sonra biz hər ay axtarış dəqiqliyini, cavab keyfiyyəti ballarını, əl ilə ötürmə dərəcələrini və cavabsız qalan ən yaxşı sualları hesabat veririk. Cavabsız suallar müştərinin komandası üçün məzmun tapşırıqlarına çevrilir ki, bu da çox vaxt ən böyük qazancların əldə edildiyi yerdir.
Bu həftə haradan başlamaq lazımdır
Əgər artıq bir RAG köməkçisi işlədirsinizsə, onun aldığı əlli real sualı toplayın və hər biri üçün düzgün sənədin əldə edilib-edilmədiyini yoxlayın. Əgər əksəriyyətdən azdırsa, modelə toxunmazdan əvvəl məzmunu və parçalanmanı düzəldin. Əgər birini planlaşdırırsınızsa, əvvəlcə mənbələrinizi və sahiblərinizi siyahıya alın; bu siyahı layihənin keyfiyyətini hər hansı alət seçimindən daha çox müəyyən edəcək.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması