RAG parçalama strategiyaları semantik mənasını qoruyub saxlamaqla LLM-in kontekst pəncərəsinə sığmasını təmin etmək üçün böyük sənədlərin daha kiçik, idarə olunan seqmentlərə bölünməsini əhatə edir. Məlumatları effektiv şəkildə seqmentləşdirməklə siz axtarış prosesini yaxşılaşdırırsınız və süni intellektə istifadəçi sorğuları üçün ən uyğun məlumatı gətirməyə imkan verirsiniz. Bu proses yalnız əvvəlcədən öyrədilmiş daxili parametrlərə deyil, xarici bilik bazalarına əsaslanan etibarlı süni intellekt tətbiqləri qurmaq üçün vacibdir.
RAG-da parçalamanın əsas məqsədi nədir?
Parçalamanın əsas məqsədi semantik tamlıq və axtarış dəqiqliyi arasında balansı optimallaşdırmaqdır. Sənəd həddindən artıq böyük olduqda, o, vektor oxşarlığı axtarışı zamanı siqnalı zəiflədən çoxlu əlaqəsiz məlumat ehtiva edə bilər. Parça həddindən artıq kiçikdirsə, modelin istifadəçinin niyyətini başa düşməsi üçün lazım olan konteksti itirə bilər. Tipik hesab iş axını hər bir vektor təsvirinin sorğu mühərriki üçün spesifik və faydalı olmasını təmin etmək üçün tək, diskret konsepsiyanı əhatə edən seqmentlərin yaradılmasına diqqət yetirir.
Proqram təminatı şirkəti üçün sənədlər verilənlər bazasını nəzərdən keçirin. Əgər ixtiyari simvol sayına görə parçalasanız, funksiya tərifini onun sənədlərindən ayıra bilərsiniz. Bu, axtarış sisteminin tam cavab verməsini qeyri-mümkün edir. Bunun əvəzinə, tərtibatçılar tez-tez abzaslar, başlıqlar və ya kod blokları kimi mətn daxilində təbii sərhədləri axtarırlar. Bu yanaşma əlaqəli məlumatları birlikdə saxlayır ki, bu da axtarış əməliyyatı zamanı axtarış modelinə doğru konteksti daha effektiv müəyyən etməyə kömək edir.
Doğru parça ölçüsünü necə seçmək olar?
Müvafiq parça ölçüsünün seçilməsi xüsusi məlumat memarlığınızın hərtərəfli nəzərdən keçirilməsini tələb edir. Universal rəqəm yoxdur, lakin əksər sistemlər hər parça üçün 500-1000 token baza xətti ilə başlayır. Sənədləriniz qısa, fərqli faktlardan ibarətdirsə, daha kiçik parçalar daha yaxşı işləyə bilər. Hekayə ilə zəngin məzmun və ya mürəkkəb hüquqi sənədlər üçün daha böyük parçalar çox vaxt lazım olan konteksti qoruyub saxlayır. Bəzi modellərin bir keçiddə nə qədər mətn emal edə biləcəyinə dair daxili limitləri olduğundan, yerləşdirmə modelinizin uzun ardıcıllıqları necə idarə etdiyini yoxlamalısınız.
Ümumi nümunələrdən biri üst-üstə düşən sürüşmə pəncərəsi (sliding window) yanaşmasını tətbiq etməkdir. Ardıcıl parçalar arasında 10% -dən 20% -ə qədər üst-üstə düşməyə icra verməklə siz sərhəddə oturan məlumatların itirilməsi riskini minimuma endirirsiniz. Bu üst-üstə düşmə təmin edir ki, əgər axtarış nəticəsi cümləni kəsərsə, əvvəlki və ya sonrakı parça boşluğu doldurmaq üçün kifayət qədər məlumat ehtiva etsin. Bu, böyük məlumat dəstləri üzrə axtarış ardıcıllığını əhəmiyyətli dərəcədə yaxşılaşdıran sadə texnikadır.
Hansı parçalama üsulları daha etibarlıdır?
- Sabit ölçülü parçalama: Ardıcıl giriş formaları üçün faydalı olan mətni müəyyən sayda simvol və ya tokendən istifadə edərək bölmək.
- Rekursiv simvol bölgüsü: Abzasları və cümlələri bütöv saxlamaq üçün mətni ikiqat sətir sonları və ya tək sətir sonları kimi ayırıcılar ilə bölmək.
- Semantik parçalama: Məntiqi olaraq qruplaşdırılmış seqmentlər yaradaraq, mətnin dəyişdiyi yerdə mətni bölmək üçün yerləşdirmə məsafələrindən istifadə etmək.
- Sənəd əsaslı bölgü: Sərhədləri təbii şəkildə təyin etmək üçün Markdown başlıqları və ya HTML etiketləri kimi fayl strukturundan istifadə etmək.
Niyə metadata etiketlənməsi axtarış üçün vacibdir?
Metadata sizin parçalarınız üçün indeks rolunu oynayır və sistemə oxşarlıq axtarışı aparmazdan əvvəl nəticələri filtrləməyə imkan verir. Məsələn, əgər müxtəlif illərdən və ya məhsul kateqoriyalarından parçalar saxlayırsınızsa, ‘kateqoriya’ etiketinin əlavə edilməsi mühərrikə axtarış sahəsini daraltmağa imkan verir. Bu, səsi azaldır və sürəti artırır. Tipik hesabda mənbə fayl adı, səhifə nömrəsi və ya yaradılma tarixi kimi metadanın əlavə edilməsi sistemə sitatlar təqdim etməyə kömək edir ki, bu da müəssisə tətbiqlərində audit edilə bilməsi üçün əsas tələbdir.
Sadə etiketlərdən başqa, siz metadatanın daxilində parçaların xülasələrini daxil edə bilərsiniz. Bu, sistemə iki mərhələli axtarış prosesini həyata keçirməyə imkan verir: əvvəlcə müvafiq sənədləri tapmaq üçün xülasələri sorğulamaq, sonra isə həmin sənədlər daxilində xüsusi parçaları əldə etmək. Bu yanaşma birbaşa vektor axtarışının çoxlu əlaqəsiz uyğunluqlar qaytara biləcəyi böyük anbarlar üçün faydalıdır. O, insanın fiziki kitabxanada necə axtarış edə biləcəyini təqlid edən strukturlaşdırılmış iyerarxiya yaradır.
Alien Road RAG parçalama strategiyalarını necə tətbiq edir
Alien Road olaraq biz hər bir müştəri layihəsi üçün sistematik kəşf fazasını izləyirik. Biz parçalama üçün ən məntiqi sərhədləri müəyyən etmək üçün müştərinin mövcud bilik bazasının strukturunu təhlil etməklə başlayırıq. Əgər müştəri məzmunun idarə edilməsi sistemindən istifadə edirsə, biz çox vaxt HTML etiketlərini və ya Markdown strukturlarını parçalama məntiqimizə uyğunlaşdıraraq məlumatları birbaşa API-dən çəkirik. Bu, xam mətnin işlənməsi zamanı tez-tez baş verən kontekst itkisinin qarşısını alır.
Məsələn, texniki dəstək portalı üçün son əməkdaşlıqda biz hibrid parçalama strategiyası həyata keçirdik. Biz uzun, struktursuz mətn bloklarına rekursiv simvol bölücüsü tətbiq edərək sənəd iyerarxiyasını qorumaq üçün başlığa əsaslanan bölgü istifadə etdik. Daha sonra verilənlər bazasına qarşı bir sıra əvvəlcədən təyin edilmiş sorğular icra etməklə axtarış dəqiqliyini sınadıq. İlkin nəticələrə əsasən üst-üstə düşmə parametrlərini tənzimləməklə biz axtarış mühərrikinin istifadəçi sorğuları üçün düzgün dəstək sənədlərini ardıcıl olaraq müəyyən etdiyi nöqtəyə çatdıq.
Zəif parçalamanın riskləri hansılardır?
Zəif parçalama strategiyaları çox vaxt halüsinasiyalara və ya natamam cavablara səbəb olur. Əgər parça iddanı onun dəstəkləyici sübutundan ayıran şəkildə bölünərsə, LLM ziddiyyətli məlumat ala bilər. Bu, modeli təxmin etməyə və ya kontekstin hissələrini nəzərə almamağa məcbur edir ki, bu da RAG-dan istifadə etməyin məqsədini pozur. Üstəlik, yerləşdirmə modelinizin token limitlərini aşarsanız, məlumatlarınızın hissələrinin axtarış sistemi tərəfindən effektiv şəkildə nəzərə alınmadığı səssiz xətalarla qarşılaşacaqsınız.
Axtarış performansınızı necə qiymətləndirmək olar?
- Qızıl məlumat dəstindən istifadə edin: Axtarış dəqiqliyinizi mütəmadi olaraq qiymətləndirmək üçün suallar və məlum düzgün cavablar dəsti saxlayın.
- Gecikməni izləyin: Daha böyük parça ölçülərinin cavabların yaradılması üçün sərf olunan vaxtı artırıb-artırmadığını yoxlayın, bu da istifadəçi təcrübəsinə təsir edir.
- Dəqiqliyi və xatırlamanı yoxlayın: Ən yüksək pillədə olan parçanın sorğuya əslində cavabı nə qədər tez-tez ehtiva etdiyini ölçün.
- İstifadəçi rəylərini nəzərdən keçirin: Müvafiq parçanın əskik olub olmadığını və ya zəif əldə edilib-edilmədiyini müəyyən etmək üçün süni intellektin səhv cavab verdiyi halları təhlil edin.
Bu həftə haradan başlamalı
Cari parçalama üsulunuzu yoxlamaqla başlayın. 20 sənəddən ibarət nümunə götürün və onların cari boru kəməriniz tərəfindən necə seqmentləşdirildiyini əllə yoxlayın. Əgər mühüm cümlələrin ardıcıl olaraq iki ayrı parça arasında bölündüyünü fark etsəniz, bölmə meyarlarınızı tənzimləməyi düşünün. Sonra, hər bir əldə edilmiş parça ilə əlaqəli metadatanı izləmək üçün sadə loq-qeydiyyat sistemi tətbiq edin. Bu, hansı sənəd mənbələrinin yaxşı işlədiyini və hansıların əlavə təkmilləşdirməyə ehtiyacı olduğunu müəyyən etməyə imkan verəcək.
Bu baza məlumatlarını topladıqdan sonra fərqli parça ölçüsü və ya üst-üstə düşmə parametri ilə A/B testi keçirin. Nəticələri dəqiq müqayisə edə bilməyiniz üçün qiymətləndirmə metrikalarınızı ardıcıl saxlayın. RAG tətbiqlərində əksər performans qazancları mürəkkəb model dəyişikliklərindən deyil, bu iterativ təkmilləşdirmələrdən gəlir. Məlumat seqmentlərinin keyfiyyətinə diqqət yetirməklə, bilik bazanız zamanla genişləndikcə sisteminizin etibarlı qalmasını təmin edirsiniz.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması