Fine-tuning, əvvəlcədən təlim keçmiş AI modelini öz nümunələriniz üzərində daha da təlim keçməklə daha dar bir tapşırığa uyğunlaşdırır və LoRA (aşağı dərəcəli adaptasiya) bütün model əvəzinə kiçik əlavə çəki matrislərini təlim etməklə bunu ucuz şəkildə edən populyar bir metoddur. Ən çox rast gəlinən səhvlər, daha yaxşı bir prompt kifayət edəcəyi halda fine-tuning etmək, qarışıq məlumatlar üzərində təlim keçmək və qiymətləndirməni ötürməkdir.
Fine-tuning və LoRA qısaca nədir?
Llama, Mistral və ya Qwen kimi baza modeli ümumi biliyə və ümumi vərdişlərə malikdir. Fine-tuning ona yüzlərlə və ya minlərlə giriş və çıxış cütlüyünü göstərir ki, o, xüsusi bir üslubu, formatı və ya tapşırığı öyrənsin. Tam fine-tuning hər bir parametri yeniləyir, bu da ciddi GPU yaddaşı və vaxt tələb edir.
Microsoft-un 2021-ci il tədqiqat işində təsvir edilən LoRA, orijinal çəkiləri dondurur və onların yanında kiçik aşağı dərəcəli matrisləri təlim edir. Nəticə, çox vaxt modelin ölçüsünün kiçik bir hissəsi olan adapter faylıdır. Siz bir baza modelini saxlaya və müxtəlif müştərilər və ya tapşırıqlar üçün adapterləri dəyişə bilərsiniz. QLoRA, baza modelini 4-bit dəqiqliklə yükləməklə daha da irəli gedir ki, bu da insanlara kifayət qədər böyük modelləri tək bir istehlakçı və ya iş stansiyası GPU-sunda tənzimləməyə imkan verir.
Host edilmiş variantlar da mövcuddur. OpenAI, Google və digər provayderlər aparatları özünüz idarə etmədən təlim məlumatlarını yükləməyə və seçilmiş modelləri öz platformaları vasitəsilə fine-tuning etməyə imkan verir.
Səhv 1: promptlar və axtarışdan əvvəl fine-tuning
Bir çox komanda fine-tuning-ə əl atır, çünki bu, ciddi bir seçim kimi səslənir. Praktikada marketinq ehtiyaclarının böyük bir hissəsi yaxşı nümunələri olan aydın promptlar və ya modelin cavab verdiyi anda müvafiq sənədləri oxuduğu axtarışla genişləndirilmiş nəsil (RAG) ilə qarşılanır.
Faydalı bir qayda: fine-tuning formanı öyrədir, axtarış faktları təmin edir. Əgər modelin bu ayın məhsul qiymətlərini bilməsini istəyirsinizsə, fine-tuning yanlış vasitədir, çünki bilik təlim zamanı donur və köhnəlir. Əgər onun həmişə məhsul mətnlərini xüsusi bir strukturda və səslə yazmasını istəyirsinizsə, fine-tuning kömək edə bilər.
Səhv 2: heç kimin təmizləmədiyi məlumatlar üzərində təlim
Fine-tuning edilmiş model təlim dəstində olan istənilən nümunəni, o cümlədən pis olanları da kopyalayır. Marketinq verilənlər bazalarındakı tipik problemlər:
- Dayandırılmış məhsulları və ya müddəti bitmiş təklifləri qeyd edən köhnə mətnlər.
- Uyğunsuz formatlaşdırma, beləliklə model heç bir aydın struktur öyrənmir.
- Bir neçə nümunəni artıq çəkiyə salan dublikatlar.
- Müxtəlif standartlara malik bir çox müəllif tərəfindən yazılmış mətnlər.
- Dəstək transkriptlərindəki müştəri adları kimi şəxsi məlumatlar ki, onlar heç vaxt çəkilərə daxil edilməməlidir.
Kiçik, kurasiya edilmiş məlumat dəstləri adətən böyük, səs-küylü olanları üstələyir. Tam olaraq istədiyinizi təmsil edən bir neçə yüz diqqətlə seçilmiş nümunə, arxivdən toplanmış minlərlə nümunədən daha yaxşı nəticə verə bilər.
Məlumatların nəzərdən keçirilməsi siyahısı
- Bu gün dərc etməyəcəyiniz hər şeyi silin.
- Giriş formatını standartlaşdırın ki, hər bir nümunə eyni görünsün.
- Şəxsi məlumatları silin və ya əvəz edin.
- Modelin təlim zamanı heç vaxt görmədiyi ayrıca bir test dəstini saxlayın.
- Təlim başlamazdan əvvəl bir şəxsin təsadüfi bir nümunəni oxumasını təmin edin.
Səhv 3: qiymətləndirmə yoxdur, yalnız təəssüratlar
Klassik uğursuzluq bir modelin təlim keçilməsi, beş promptun sınanması, cavabların bəyənilməsi və uğurun elan edilməsidir. Bu sizə çox az şey deyir. Sizə sabit bir test dəsti və çıxışları qiymətləndirmək üçün bir yol lazımdır, istər insan reytinqi, istər qaydalara əsaslanan yoxlamalar (uzunluq, qadağan olunmuş sözlər, tələb olunan sahələr), istərsə də yaxşı bir prompt ilə baza modeli ilə müqayisə olsun.
Həddindən artıq uyğunlaşma (overfitting) xüsusi təhlükədir. Kiçik bir dəst üzərində çox uzun müddət təlim keçmiş model təlim nümunələrini demək olar ki, sözbəsöz təkrarlaya bilər və ya əvvəllər malik olduğu ümumi qabiliyyətlərini itirə bilər. Təlim zamanı validasiya itkisini izləmək və görünməmiş girişlər üzərində test etmək bunu aşkar edir.
Səhv 4: LoRA üçün yanlış parametrlər
LoRA-nın vacib olan bir neçə hiperparametri var: dərəcə (tez-tez r kimi yazılır), miqyaslama faktoru alfa, hansı təbəqələrin adapterləri qəbul etdiyi, öyrənmə dərəcəsi və epoxaların sayı. Fərqli model ölçüsü və ya tapşırıq üçün qurulmuş təsadüfi bir dərslikdən parametrləri kopyalamaq zəif və ya qeyri-sabit nəticələrə gətirib çıxarır.
Hugging Face PEFT kimi kitabxanalar və Axolotl və ya Unsloth kimi alətlər məntiqli standartlarla gəlir və bu standartlar başlamaq üçün münasib yerdir. Hər dəfə bir parametri dəyişdirin və nəticəni qeyd edin, əks halda nəyin kömək etdiyini deyə bilməzsiniz.
Səhv 5: lisenziyalaşdırma və yerləşdirməyə məhəl qoymamaq
Açıq çəkili modellər fərqli lisenziyalarla gəlir. Bəziləri geniş kommersiya istifadəsinə icazə verir, digərləri məhdudiyyətlər və ya istinad qaydaları daşıyır. Müştəri məhsulunu üzərində qurmazdan əvvəl baza model versiyasının lisenziyasını yoxlayın.
Yerləşdirmə çox vaxt sonradan düşünülür. Fine-tuning edilmiş adapterin proqnozlaşdırıla bilən xərc və gecikmə ilə işləməsi üçün bir yerə ehtiyacı var. vLLM kimi xidmət alətləri LoRA adapterlərinin yüklənməsini dəstəkləyir və bir neçə bulud provayderi xüsusi modelləri host edir, lakin kimsə monitorinq, yeniləmələr və geri qaytarmalara cavabdeh olmalıdır.
Alien Road fine-tuning və LoRA-nı necə tətbiq edir
Tipik bir əməkdaşlıqda kəşfiyyat fine-tuning-ə ümumiyyətlə ehtiyac olub-olmadığını soruşmaqla başlayır. Biz əvvəlcə tapşırığın ən yaxşı prompt-plus-axtarış versiyasını qururuq və onu ölçürük. Yalnız bu baza xətti üslub və ya format ardıcıllığında çatışmazlıq olduqda təlimi nəzərdən keçiririk.
Əgər təlim davam edərsə, quraşdırma məlumat dəstinə mərkəzləşir. Biz müştəri ilə təsdiqlənmiş nümunələri seçmək, onları təmizləmək, şəxsi məlumatları silmək və test dəstini ayırmaq üçün işləyirik. Açıq çəkili modeldə kiçik bir LoRA işi və ya host edilmiş fine-tuning, parametrlər və məlumat versiyaları qeydə alınmaqla növbəti addımdır.
Ölçmə üç versiyanı eyni test dəstində müqayisə edir: sadə prompt ilə baza modeli, ən yaxşı prompt ilə baza modeli və tənzimlənmiş model. Rəyçilər çıxışları kor-koranə qiymətləndirirlər, hansı versiyanın hansını yazdığını bilmədən. Müştəriyə hesabat bu balları, hər bir variantın işləmə xərclərini və bəzən prompt ilə davam etməyi tövsiyə edən bir tövsiyəni göstərir.
Fine-tuning nə vaxt açıq-aşkar buna dəyər?
Tapşırıq dar olduqda, yüksək həcmdə təkrarlandıqda və ardıcıllıqla qiymətləndirildikdə öz yerini qazanır. Nümunələrə daxil olan potensial müştərilərin sabit kateqoriyalara təsnif edilməsi, məhsul məlumatlarının ciddi bir şablona yenidən yazılması və ya çox xüsusi bir marka səsində qısa reklam sətirlərinin yaradılması daxildir. Belə hallarda, kiçik bir tənzimlənmiş model böyük bir ümumi modeldən daha ucuz və daha sürətli işləyə bilər.
Geniş yaradıcı iş, sürətlə dəyişən faktlar və ya ayda bir neçə dəfə yerinə yetirdiyiniz tapşırıqlar üçün buna nadir hallarda dəyər.
Bu həftə haradan başlamaq lazımdır
Fine-tuning-ə ehtiyacı olduğunu düşündüyünüz tək tapşırığı yazın. Onun üçün üç yaxşı nümunə ilə edə biləcəyiniz ən güclü promptu qurun və onu 30 real giriş üzərində işlədin. Nəticələri dürüst şəkildə qiymətləndirin.
Əgər bir neçədən çox çıxış format və ya səs baxımından uğursuz olarsa, təsdiqlənmiş nümunələrdən ibarət təmiz bir məlumat dəsti toplamağa başlayın. Ölçüdən çox keyfiyyəti hədəfləyin, bir test dəstini kənara qoyun və yalnız bundan sonra kiçik bir LoRA təcrübəsi planlaşdırın.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması