LoRA ilə fine-tuning, müəyyən bir ardıcıllığa əməl etdikdə vaxta qənaət edir: sorğulama (prompting) və axtarışın tapşırığı həll edə bilməyəcəyini təsdiqləyin, kiçik və təmiz bir verilənlər bazası qurun, açıq model üzərində aşağı dərəcəli (low-rank) adapter təlim edin, onu kənarlaşdırılmış dəstlə qiymətləndirin və yalnız bundan sonra tətbiq edin. Birinci və dördüncü addımları ötürmək, GPU saatlarının boşa getməsinin və məyusedici modellərin əsas səbəbidir.
LoRA, yəni Low-Rank Adaptation, böyük bir modelin hər bir parametrini yeniləmək əvəzinə, kiçik bir əlavə çəki dəstini təlim edir. Baza modeli dondurulmuş qalır və adapter dəyişikliyi öyrənir. Adapterlər kiçik fayllardır, çox vaxt bir neçə meqabaytdan bir neçə yüz meqabayta qədər olur, buna görə də müxtəlif tapşırıqlar üçün bir neçə adapter saxlaya və onları bir baza modelində dəyişə bilərsiniz. QLoRA, baza modelini 4-bit dəqiqliklə yükləyərək daha da irəli gedir ki, bu da orta ölçülü modellərin tək bir istehlakçı və ya bulud GPU-sunda təlim keçməsinə imkan verir.
Fine-tuning nə vaxt düzgün vasitədir?
Fine-tuning üslubu, formatı və dar davranışı yaxşı öyrədir. Bu, tez-tez dəyişən yeni faktları modelə öyrətmək üçün zəif bir yoldur. Cari qiymət siyahınıza əsaslanan cavablara ehtiyacınız varsa, axtarış (müvafiq sənədləri sorğuya daxil etmək) daha ucuzdur və yenilənməsi daha asandır.
Yaxşı fine-tuning tapşırıqları bir nümunəni bölüşür: çıxış formatı ardıcıldır, yüzlərlə və ya minlərlə yaxşı nümunəniz var və ümumi model diqqətli bir sorğu ilə belə tonu və ya strukturu bir az səhv salır.
- Yaxşı uyğunluq: ciddi korporativ üslubda məhsul təsvirləri, öz kateqoriyalarınıza görə təsnifat, qarışıq sənədlərdən sahələrin çıxarılması.
- Zəif uyğunluq: tez-tez yenilənən siyasətlər haqqında suallara cavab vermək, ümumi tədqiqat, yüzdən az nümunəsi olan tapşırıqlar.
- Əvvəlcə yoxlayın: güclü bir host modelində beş nümunə ilə yaxşı yazılmış bir sorğu. Əgər bu, keyfiyyət hədəfinizə çatırsa, dayanın.
Təlim məlumatlarını necə hazırlayırsınız?
Məlumat keyfiyyəti nəticəni hər hansı hiperparametrdən daha çox müəyyən edir. Girişlərin və istədiyiniz çıxışların real nümunələrini toplayın, sonra onları əllə təmizləyin. Ziddiyyətləri, köhnəlmiş nümunələri və təlim keçmək hüququnuz olmayan şəxsi məlumatları ehtiva edən hər şeyi silin.
Hər bir nümunəni baza modelinizin gözlədiyi çat şablonunda sorğu və cavab cütü kimi formatlayın. Şablon uyğunsuzluqları təlimdən sonra qəribə çıxışların klassik səbəbidir, buna görə də dəqiq format üçün model kartını yoxlayın.
Dəsti bölmək
Nümunələrin 10-15 faizini təlim zamanı modelin heç görmədiyi qiymətləndirmə dəsti kimi saxlayın. Eksperimentlər boyu onu sabit saxlayın, əks halda qaçışları müqayisə edə bilməzsiniz. Əgər nümunələr müştəri və ya məhsul üzrə qruplaşırsa, oxşar elementlərin sərhədi aşmaması üçün qruplara görə bölün.
Təkrarlana bilən təlim qaçışı necə görünür?
Vaxta qənaət edən komandalar prosesi bir dəfə yazır və yenidən istifadə edirlər. Ümumi alətlərə PEFT kitabxanası ilə Hugging Face Transformers, nəzarətli fine-tuning üçün TRL və quraşdırma işini azaldan Axolotl və ya Unsloth kimi örtüklər daxildir. Host variantları da mövcuddur; bir neçə model provayderi məlumatları yüklədiyiniz və tənzimlənmiş model aldığınız idarə olunan fine-tuning təklif edir.
- Lisenziyası istifadənizə icazə verən və ölçüsü aparat və gecikmə büdcənizə uyğun olan bir baza modeli seçin.
- Ümumi LoRA parametrləri ilə başlayın (rank 8-dən 16-ya, alfa rankın təxminən iki qatı) və hər dəfə bir şeyi dəyişdirin.
- Hər qaçışı qeyd edin: məlumat dəsti versiyası, baza modeli, parametrlər, təlim itkisi və qiymətləndirmə balları.
- Əvvəlcə az sayda epox üçün təlim keçin; həddindən artıq uyğunlaşma (overfitting) azalan təlim itkisi və daha pis qiymətləndirmə nəticələri ilə özünü göstərir.
- Adapteri, konfiqurasiyanı və dəqiq məlumat heşini birlikdə saxlayın.
LoRA adapterini necə qiymətləndirmək lazımdır?
İtki əyriləri sizə təlimin keçdiyini deyir, modelin faydalı olduğunu yox. Çıxışları tapşırıqla bağlı meyarlarla kənarlaşdırılmış dəstdə qiymətləndirin: təsnifat üçün dəqiq uyğunluq, çıxarış üçün sahə dəqiqliyi və yazma tapşırıqları üçün rubrika. Yazı üçün, bir şəxsin hansı çıxışın tənzimlənmiş modeldən, hansının isə baza xəttindən gəldiyini bilmədən nümunəni kor qiymətləndirməsini təmin edin.
Həmçinin reqressiyaları yoxlayın. Məhsul təsvirləri üzərində sərt tənzimlənmiş model əlaqəsiz təlimatlara əməl etməkdə pisləşə bilər. Kiçik bir ümumi test dəsti saxlayın və hər qaçışda onu yoxlayın.
Adapterləri necə yerləşdirmək və saxlamaq lazımdır?
vLLM kimi xidmət çərçivələri bir baza modelində bir neçə LoRA adapterini yükləyə və hər sorğu üçün adapteri seçə bilər. Bu, hər marka və ya tapşırıq üçün ayrı adapterlər işlətdikdə xərcləri aşağı saxlayır. Adapteri baza çəkilərinə birləşdirmək, tək bir müstəqil modelə ehtiyacınız olduqda başqa bir seçimdir.
Baxım əsasən məlumat baxımıdır. Korporativ üslub dəyişdikdə, nümunələri yeniləyin və yenidən təlim keçin. Adapteri ən yeni baza modelləri ilə müqayisə etdiyiniz rüblük bir baxış planlaşdırın; bəzən yaxşı sorğuya malik daha yeni ümumi model, köhnə tənzimlənmiş modeldən daha yaxşı nəticə verir.
Ən çox vaxt itirən nədir?
Ən böyüyü qiymətləndirmə dəsti mövcud olmazdan əvvəl təlim keçməkdir. Sabit test nümunələri olmadan, hər qaçış perspektivli görünür və heç kim hansının daha yaxşı olduğunu deyə bilməz. İkincisi, bir anda bir neçə parametri dəyişməkdir ki, bu da nəyin kömək etdiyini öyrənməyi qeyri-mümkün edir. Üçüncüsü, təkrarlanan nümunələr və ya bir-birinə zidd olan çıxışlar kimi aşkar məlumat problemlərinə məhəl qoymadan kiçik itki təkmilləşdirmələrini izləməkdir.
İnfrastruktur da vaxt aparır. Kitabxana versiyalarını kilidləyin, təlim üçün konteyner imicini saxlayın və hər layihə üçün qısa bir README yazın. Növbəti şəxs, çox vaxt üç ay sonra siz, sizə təşəkkür edəcək.
Alien Road fine-tuning və LoRA-nı necə tətbiq edir
Tipik bir əməkdaşlıqda biz kəşfiyyat mərhələsində fine-tuning-in ümumiyyətlə lazım olub-olmadığını sübut etməyə vaxt sərf edirik. Biz müştərinin tapşırığını güclü host modelləri və diqqətli sorğularla test edirik və bir çox layihələr orada model əvəzinə sorğu kitabxanası ilə bitir.
Tənzimləmə əsaslandırıldıqda, quraşdırma təsdiqlənmiş nümunələrin toplanmasını, onların müştərinin sahə mütəxəssisləri ilə təmizlənməsini və sənədləşdirilmiş LoRA eksperimentlərinin kiçik bir dəstinin işlədilməsini əhatə edir. Ölçmə sabit qiymətləndirmə dəstindən və yalnız sorğu əsaslı baza xəttinə qarşı kor insan reytinqlərindən istifadə edir. Hesabat keyfiyyət ballarını, min çıxış üçün dəyəri və aydın bir tövsiyəni göstərir: tətbiq edin, təkrarlayın və ya sorğulamağa davam edin.
Bu həftə haradan başlamaq lazımdır
Bir təkrarlanan nəsil və ya təsnifat tapşırığı seçin. Beş nümunə ilə edə biləcəyiniz ən yaxşı sorğunu yazın və onu iyirmi real girişdə test edin. Neçə çıxışın redaktəyə ehtiyacı olduğunu qeyd edin. Bu rəqəm sizin baza xəttinizdir; fine-tuning layihəsi yalnız adapterin bunu əhəmiyyətli dərəcədə azalda biləcəyinə inandığınız halda məna kəsb edir.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması