Retrieval-augmented generation (RAG) iş axınları dil modelinin yaddaşından deyil, sizin öz sənədlərinizdən cavab verməsinə imkan verərək vaxta qənaət edir. RAG sistemi bilik bazasında müvafiq hissələri axtarır, onları sualla birlikdə modelə ötürür və ideal olaraq sitatlarla əsaslandırılmış cavab tələb edir. Marketinq komandaları üçün bu, brend təlimatlarını, məhsul spesifikasiyalarını, keçmiş kampaniyaları və araşdırmaları insanların saniyələr ərzində sorğu verə biləcəyi bir formaya çevirir.
RAG hansı problemi həll edir?
Dil modelləri dünya haqqında çox şey bilir, lakin şirkətinizin ən son qiymət siyahısı haqqında heç nə bilmir. Modeli daxili sənədlər üzərində incə tənzimləmək (fine-tuning) yavaşdır və tez-tez edilən yeniləmələri yaxşı idarə etmir. RAG biliyi modelin xaricində, axtarıla bilən bir anbarda saxlayır, beləliklə sənədi yeniləmək cavabları da yeniləyir.
O, həmçinin uydurma cavabları azaldır. Modelə yalnız tapılmış hissələrdən cavab vermək və müvafiq heç nə tapılmadıqda bunu bildirmək tapşırıldıqda, o, daha az uydurur. Heç vaxt deyil, buna görə də qiymətləndirmə vacibdir.
RAG iş axınının hissələri hansılardır?
- Sənəd toplanması: sistemin bilməli olduğu fayllar və səhifələr.
- Hazırlıq: təmizləmə, mətnə çevirmə, dublikatların və köhnəlmiş versiyaların silinməsi.
- Hissələrə bölünmə (Chunking): sənədləri dəqiq axtarmaq üçün kifayət qədər kiçik hissələrə ayırmaq.
- Yerləşdirmə (Embedding): hər bir hissəni yerləşdirmə modeli ilə vektora çevirmək.
- Saxlama: pgvector, Pinecone, Weaviate, Elasticsearch və ya Azure AI Search kimi vektor verilənlər bazası və ya axtarış indeksi.
- Axtarış (Retrieval): suala ən uyğun hissələri tapmaq, çox vaxt açar söz və vektor axtarışını qarışdırmaq.
- Nəsil (Generation): model həmin hissələrdən istinadlarla cavabı yazır.
İdarə olunan xidmətlər bu addımların bir çoxunu birləşdirir. OpenAI-ın Assistants və Responses API-lərindəki fayl axtarışı, Google-un Vertex AI Search, Amazon Bedrock Knowledge Bases və Azure OpenAI ilə Azure AI Search hamısı hissələrə bölünmə və axtarışı sizin üçün idarə edir. İlk layihə üçün idarə olunan seçim adətən daha sürətlidir.
Marketinq bilik bazası üçün addım-addım iş axını
Addım 1: Dar bir əhatə dairəsi seçin
“Reklamlarda X məhsulu haqqında nə deyə bilərik?” kimi bir sual növü ilə başlayın. Yalnız ona cavab verən sənədləri toplayın: məhsul spesifikasiyaları, təsdiqlənmiş iddialar, brend təlimatları və hüquqi qeydlər. Kiçik, təmiz bir kolleksiya böyük və qarışıq olandan daha yaxşıdır.
Addım 2: Sənədləri təmizləyin
Köhnə versiyaları silin və ya ən azı onları tarixlərlə etiketləyin. PDF-ləri mətnə çevirin və cədvəllərin düzgün keçdiyini yoxlayın. Skan edilmiş sənədlər OCR tələb edir. Bu addım darıxdırıcıdır və keyfiyyətin çox hissəsini müəyyən edir.
Addım 3: Mənaya görə hissələrə bölün
Mümkün olduqda sabit simvol sayına görə deyil, başlıqlara və ya bölmələrə görə bölün. Hər bir hissəni bir ideya üzərində cəmləyin və metadata əlavə edin: sənəd başlığı, bölmə, tarix, məhsul və dil. Metadata axtarışı filtrləməyə imkan verir, məsələn, yalnız cari sənədlər üçün.
Addım 4: Hibrid axtarışla tapın
Saf vektor axtarışı məhsul kodları kimi dəqiq terminləri qaçırır. Saf açar söz axtarışı isə parafraza edilmiş məzmunu qaçırır. Əksər istehsal sistemləri hər ikisini birləşdirir və sonra ən yaxşı nəticələri yenidən sıralama modeli ilə yenidən sıralayır. Ehtiyacınız olandan daha çoxunu tapın, sonra ən yaxşı bir neçəsini saxlayın.
Addım 5: Əsaslandırılmış cavablar üçün sorğu verin
Modelə aydın qaydalar verin: yalnız təqdim olunan hissələrdən cavab verin, hər bir iddia üçün sənəd başlığını sitat gətirin, cavab olmadıqda “sənədlərdə tapılmadı” deyin və heç vaxt qiymətləri və ya tarixləri təxmin etməyin. Qaydaları sistem sorğusuna daxil edin ki, istifadəçilər onları təsadüfən silə bilməsinlər.
Addım 6: Mənbələri istifadəçiyə göstərin
Sitat gətirilən hissələri orijinal fayla keçidlərlə birlikdə cavabın yanında göstərin. İnsanlar cavaba daha çox etibar edir və mənbə bir klik məsafəsində olduqda səhvləri daha tez aşkar edirlər.
RAG sisteminin işlədiyini necə bilirsiniz?
Məlum düzgün cavabları və hər cavabın gəldiyi sənədi olan 50-100 real sualdan ibarət test dəsti qurun. İki şeyi ayrıca ölçün. Axtarış keyfiyyəti: düzgün hissə ən yaxşı nəticələrdə göründümü? Cavab keyfiyyəti: yekun cavab düzgün idimi və hissə tərəfindən dəstəklənirdimi?
İkisini ayırmaq problemlərin harada olduğunu göstərir. Axtarış uğursuz olarsa, hissələrə bölünməni, metadatanı və ya axtarış parametrlərini tənzimləyin. Axtarış işləyirsə, lakin cavablar yanlışdırsa, sorğunu və ya modeli tənzimləyin. Ragas və oxşar açıq mənbəli qiymətləndiricilər bunun bəzi hissələrini avtomatlaşdıra bilər, lakin nümunəni insanların yoxlamasına icazə verin.
Alien Road RAG-ı müştəri işində necə tətbiq edir
Tipik bir əməkdaşlıqda bizim AI optimallaşdırma komandamız daxili suallara ən çox cavab verən insanlarla, məsələn, brend meneceri və ya məhsul marketinqçisi ilə müsahibə aparmaqla və onların hər həftə aldıqları sualları toplamaqla başlayır. Bu suallar test dəstinə çevrilir.
Daha sonra biz mənbə sənədlərini toplayıb təmizləyirik, məlumat qaydalarından asılı olaraq idarə olunan axtarış xidməti və ya xüsusi bir pipeline seçirik və müştərinin artıq istifadə etdiyi Teams, Slack və ya intranet kimi bir alətdə sadə bir interfeys qururuq. Cavablar həmişə mənbələri göstərir.
Ölçmə test dəstində axtarış hit dərəcəsini və cavab dəqiqliyini, həftəlik istifadəni və “tapılmadı” cavabını qaytaran sualları əhatə edir ki, bu da çatışmayan sənədlərə işarə edir. Aylıq hesabatlarda edilən sənəd yeniləmələri və ballardakı dəyişikliklər qeyd olunur.
Hansı səhvlər RAG layihələrini ləngidir?
Əksər gecikmələr eyni bir neçə vərdişdən qaynaqlanır. Komandalar birinci gündə sahib olduqları hər sənədi yükləyir və sonra cavabların niyə zəif olduğunu deyə bilmirlər. Onlar test dəstini ötürür və təəssüratlar haqqında mübahisə edirlər. Onlar nə qədər sənədləri olduğunu bilmədən vektor verilənlər bazası seçirlər, halbuki idarə olunan xidmət daha yaxşı olardı. Və onlar icazələri unudurlar: əgər satış təqdimatı SharePoint-də məhdudlaşdırılıbsa, RAG sistemi bu məhdudiyyətə hörmət etməlidir, əks halda məxfi qiymətlər yanlış şəxsin cavabında görünə bilər.
- Hamısını deyil, bir kolleksiya ilə başlayın.
- Alətləri seçməzdən əvvəl test dəstini yazın.
- Sənəd icazələrini axtarış filtrlərinə daxil edin.
- Hər sualı və cavabı nəzərdən keçirmək üçün qeyd edin.
Onu necə cari saxlayırsınız?
Sənədlər dəyişdikdə və heç kim onları yenidən indeksləşdirmədikdə RAG sistemləri köhnəlir. SharePoint və ya Google Drive kimi mənbə qovluğundan avtomatik sinxronizasiyanı qurun və hər kolleksiyaya onu rüblük nəzərdən keçirən bir sahib təyin edin. Müddəti bitmiş kampaniyaları və köhnə qiymət vərəqlərini axtarış sisteminin tapması üçün saxlamaq əvəzinə silin.
Bu həftə haradan başlamaq lazımdır
Komandanızın sənədlərdən təkrar-təkrar cavablandırdığı on sualı siyahıya alın. Cavabları ehtiva edən faylları bir qovluğa toplayın, köhnəlmiş versiyaları silin və həmin on sualla idarə olunan fayl axtarışı seçimini sınayın. Əgər ən azı yeddi cavab düzgün mənbə ilə düzgün qayıdırsa, üzərində qurmağa dəyər bir əhatə dairəniz var.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması