RAG üçün sənəd parçalama strategiyaları, müəssisə sənədlərini semantik quruluşa əsasən optimal token uzunluqlarına bölmək üçün istifadə olunan metodlardır və bu, birbaşa vektor axtarışının dəqiqliyinə təsir edir. Axtarışla gücləndirilmiş generasiya (RAG) sistemi qurarkən, xam mətni idarə oluna bilən seqmentlərə necə böldüyünüz, AI-nin müvafiq məlumatı nə dərəcədə yaxşı əldə etdiyini müəyyən edir. Zəif müəyyən edilmiş parçalar kontekstin itirilməsinə və ya əlaqəsiz məlumatların əldə edilməsinə səbəb olur, yaxşı qurulmuş seqmentlər isə mürəkkəb istifadəçi sorğularına yüksək dəqiqliklə cavab verməyə imkan verir.
Parçalama strategiyası RAG performansı üçün niyə vacibdir?
RAG konveyerinin performansı onun vektor verilənlər bazasının məzmununun keyfiyyətindən asılıdır. Əgər siz böyük, monolit sənədləri yerləşdirmə (embedding) modelinə daxil etsəniz, alınan vektorlar çox vaxt məzmunun zəifləmiş təsvirini əks etdirir. Bu, oxşarlıq axtarışının konkret cavabları tapmasını çətinləşdirir. Düşünülmüş parçalama tətbiq etməklə, hər bir seqmentin semantik mənasının fərqli və istifadəçi sorğusuna uyğun olmasını təmin edirsiniz. Bu proses sıx bir sənədi axtarıla bilən, mənalı anlayışlar toplusuna çevirir.
Minlərlə PDF siyasət kitabçasının olduğu bir müəssisə mühitini nəzərdən keçirin. Əgər bu sənədləri paraqraf və ya bölmə sərhədlərinə məhəl qoymadan sabit simvol sayı ilə bölsəniz, vahid hüquqi müddəanı iki ayrı, mənasız parçaya bölə bilərsiniz. Axtarış sistemi daha sonra həmin müddəanın tam kontekstini əldə edə bilməyə bilər. Parçalama strategiyanızı təbii sənəd quruluşu ilə uyğunlaşdıraraq, məlumatın semantik bütövlüyünü qoruyursunuz. Bu, sisteminizin dəqiq və kontekstual cəhətdən düzgün nəticələr qaytarma ehtimalını artırır.
Sənəd parçalama üçün ümumi yanaşmalar hansılardır?
Mühəndislər çox vaxt sabit ölçülü parçalamadan başlayırlar, çünki bunu tətbiq etmək asandır. Siz 512 və ya 1024 kimi konkret token sayı təyin edir və sənəd üzərində sürüşən pəncərə tətbiq edirsiniz. Bu, hesablama baxımından səmərəli olsa da, çox vaxt semantik sərhədlərə hörmət etmir. Daha yaxşı yanaşma, paraqraflar, sonra cümlələr və nəhayət fərdi sözlər kimi daha böyük struktur elementlərinə üstünlük verərək əlaqəli məzmunu bir yerdə saxlamağa çalışan rekursiv simvol bölməsini əhatə edir. Bu metod mexaniki dəqiqliyi insan tərəfindən oxuna bilən məntiqlə tarazlaşdırır.
- Sabit ölçülü parçalama: Mətni sərt simvol və ya token saylarına bölmək; vahid məlumat strukturları üçün ən yaxşısıdır.
- Rekursiv simvol bölməsi: Bölmə prosesi zamanı əlaqəli cümlələri və ya paraqrafları bütöv saxlamaq üçün ayırıcılardan istifadə etmək.
- Semantik parçalama: Hər bir parçanın vahid, tam bir fikri təmsil etməsini təmin etmək üçün cümlələri semantik oxşarlıqlarına görə qruplaşdırmaq.
- Sənəd əsaslı bölmə: Məlumatdakı təbii fasilələri müəyyən etmək üçün başlıqlar, alt qeydlər və ya siyahı işarələri kimi fayla xas formatlaşdırmadan istifadə etmək.
Parçalarınızın effektivliyini necə qiymətləndirirsiniz?
Parçalama strategiyanızı qiymətləndirmək vektor anbarınızdakı axtarış göstəricilərini izləməyi tələb edir. Tipik bir hesabda, axtarış nəticələrinizin dəqiqliyini və xatırlanmasını qızıl suallar və cavablar dəsti ilə müqayisə edə bilərsiniz. Əgər sisteminiz tez-tez kifayət qədər konteksti olmayan parçaları əldə edirsə, parça ölçüsünü artırmalı və ya seqmentlər arasında üst-üstə düşmə (overlap) tətbiq etməlisiniz. Üst-üstə düşmə kənarlarda konteksti qorumağa kömək edir və məntiqi bir ifadə tam parça sərhədində bölündükdə məlumat itkisinin qarşısını alır.
Zəif parçalamanın digər göstəricisi, LLM-i hallüsinasiyaya və ya boş cavablar verməyə məcbur edən əlaqəsiz məlumatların əldə edilməsidir. Əgər axtarış prosesiniz ardıcıl olaraq üç parça qaytarırsa, lakin onlardan yalnız biri istifadəçi sorğusuna uyğundursa, parçalamanız çox güman ki, çox detallıdır və ya semantik uyğunluqdan məhrumdur. Siz vektor verilənlər bazanız tərəfindən qaytarılan top-k nəticələrini yoxlayaraq və əlaqəsiz seqmentlərə aparan nümunələri müəyyən edərək bunu həll edə bilərsiniz. Bu iterativ audit prosesi dəqiqliyi qorumaq üçün vacibdir.
Alien Road bu parçalama strategiyalarını necə tətbiq edir
Alien Road-da RAG sistemlərini optimallaşdırmaq prosesimiz müştərinin mənbə sənədlərinin dərindən auditi ilə başlayır. Seqmentasiya üçün ən effektiv quruluşu müəyyən etmək üçün daxili vikilərdən tutmuş texniki ağ sənədlərə qədər fayl formatlarını təhlil edirik. Məsələn, biz Markdown fayllarındakı başlıq etiketlərini müəyyən etmək üçün xüsusi regex nümunələrindən istifadə edə bilərik ki, hər bir parça müvafiq mövzu ilə başlasın. Məlumatların hazırlanmasına qoyulan bu ilkin investisiya, AI-nin məlumatı orijinal kontekstindən kənarda əldə etdiyi ümumi problemlərin qarşısını alır.
İmplementasiya mərhələsində, konkret istifadə halı üçün ən yüksək semantik sədaqəti hansının təmin etdiyini görmək üçün çoxsaylı parçalama konfiqurasiyalarını sınaqdan keçiririk. Tipik bir işdə, sənəd metadatasını vektor yerləşdirmələri ilə birlikdə qoruduğumuz hibrid yanaşma tətbiq edə bilərik. Hər bir parçanı mənbə bölməsi və iyerarxiyası ilə etiketləməklə, LLM-ə cavabın daha geniş kontekstini anlamağa imkan veririk. Daha sonra, yeni sənədlər bilik bazasına yükləndikdə sistemin dəqiq qalmasını təmin etmək üçün son istifadəçilərdən gələn rəy dövrəsini izləyərək parça sərhədlərini təkmilləşdiririk.
Parça ölçüsünün seçiminə hansı amillər təsir edir?
Düzgün parça ölçüsünü seçmək axtarış dəqiqliyi ilə LLM-in kontekst pəncərəsinin dərinliyi arasında bir kompromisdir. Daha kiçik parçalar yüksək dəqiqlik təmin edir, çünki hər bir vektor tək bir mövzuya daha çox yönəlib. Bununla belə, istifadəçinin sorğusu sənədin ümumi niyyətini anlamağı tələb edirsə, kiçik parçalar tam cavab üçün çox az məlumat verə bilər. Əksinə, daha böyük parçalar daha çox kontekst təklif edir, lakin modeli çaşdıran səs-küy və ya əlaqəsiz məlumatları daxil etmək riski daşıyır.
- Dil mürəkkəbliyi: Texniki sənədlər çox vaxt təriflər və onların tətbiqləri arasındakı əlaqəni qorumaq üçün daha böyük parçalar tələb edir.
- Sorğu tərzi: Qısa, faktiki sorğular daha kiçik, dəqiq parçalara üstünlük verir; kəşfiyyat xarakterli suallar isə daha böyük, təsviri parçalardan faydalanır.
- Yerləşdirmə modeli limitləri: Seçdiyiniz parça ölçüsünün istifadə etdiyiniz yerləşdirmə modelinin maksimum token limitini aşmadığından əmin olun.
- Axtarış gecikməsi: Daha çox sayda kiçik parçanın işlənməsi, daha az və böyük parçalarla müqayisədə axtarış gecikməsini artıra bilər.
Daha yaxşı kontekst qorunması üçün üst-üstə düşməni necə idarə etmək olar?
Üst-üstə düşmə, bir parçanın sonunun növbəti parçanın əvvəlində təkrarlandığı xüsusi bir texnikadır. Bu sadə metod seqmentlərinizin birləşmə nöqtələrində heç bir kritik məlumatın itirilməməsini təmin edir. Əgər 500 tokenlik seqmentlərə bölürsünüzsə, 50 tokenlik üst-üstə düşmə ümumi bir başlanğıc nöqtəsidir. Bu, istifadəçinin sualı iki paraqraf arasındakı konkret keçidə yönəlibsə, axtarış sisteminin hələ də həmin keçidi vahid, tutarlı vektor təsvirində tutmaq üçün yüksək ehtimala malik olmasını təmin edir.
Üst-üstə düşmə dəyərlərini təyin edərkən sənədlərinizin təbiətini nəzərə almalısınız. Maliyyə hesabatları kimi yüksək dərəcədə təkrarlanan və ya strukturlaşdırılmış sənədlər üçün daha kiçik bir üst-üstə düşmə adətən kifayətdir. Əksinə, ideyaların uzun cümlələrlə axdığı hekayə ağırlıqlı sənədlər üçün daha böyük üst-üstə düşmə mürəkkəb arqumentlərin parçalanmasının qarşısını ala bilər. Müxtəlif üst-üstə düşmə faizlərini sınaqdan keçirmək axtarış nəticələrinizin daha ardıcıl olduğu ideal nöqtəni tapmağa kömək edəcəkdir.
Bu həftə haradan başlamaq lazımdır?
Hazırda istifadə olunan əsas parçalama metodunu müəyyən etmək üçün cari sənəd daxiletmə konveyerinizi audit etməklə başlayın. 20 tipik istifadəçi sualından ibarət kiçik bir sınaq dəsti yaradın və əldə edilmiş parçaların harada natamam və ya əlaqəsiz göründüyünü müəyyən etmək üçün onları mövcud RAG sisteminizdə işlədin. Bu rəydən parça ölçüsünü tənzimləmək və ya seqmentlər arasında 10% üst-üstə düşmə tətbiq etmək üçün istifadə edin. LLM tərəfindən təqdim olunan cavabların keyfiyyətinə necə təsir etdiyini izləmək üçün bu dəyişikliklərin nəticələrini sənədləşdirin. Bu kiçik, ölçülə bilən düzəlişlərə diqqət yetirmək daha dəqiq və etibarlı axtarış sisteminə doğru aydın bir yol təmin edəcəkdir.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması