Kiçik dil modelləri, qabaqcıl sistemlərlə müqayisədə çox daha az parametrlərə malik olan AI modelləridir. Adətən yüzlərlə milyard yerinə bir neçə milyard parametrə sahib olduqları üçün kiçik serverlərdə, noutbuklarda və hətta telefonlarda sürətlə işləyə bilirlər. Bunlara Microsoft-un Phi ailəsi, Google-un Gemma, Meta-nın kiçik Llama modelləri, Mistral-ın kiçik modelləri və Qwen daxildir. Elektron ticarət brendləri üçün onlar geniş bilikdən daha çox sürət, xərc və məlumat məxfiliyinin vacib olduğu yüksək həcmli və dar çərçivəli işlər üçün uyğundur.
Kiçik dil modeli nə sayılır?
Rəsmi bir hədd yoxdur, lakin bu termin adətən on-on beş milyarddan az parametri olan modelləri əhatə edir. Bir çoxu açıq çəkilərlə buraxılır, ona görə də onları özünüz host edə bilərsiniz. Gemini Nano və Apple-ın cihazdaxili modelləri kimi bəziləri birbaşa telefonlarda işləyir.
Kiçik modellər dünya haqqında daha az məlumata malikdir və uzun, mürəkkəb mühakimələri daha pis idarə edir. Onlar bunu sürət və xərclə kompensasiya edirlər. Kiçik bir model milyonlarla axtarış sorğusunu və ya məhsul qeydini emal edərkən vacib olan, işləməsi az xərc tələb edən aparat təminatında saniyənin bir hissəsində cavab verə bilər.
Hansı elektron ticarət tapşırıqları kiçik modellər üçün uyğundur?
Model əksər yaxşı istifadə hallarında eynidir: aydın giriş, məhdud mümkün çıxışlar dəsti və çox yüksək həcm. Tapşırıq yaradıcı yazı və ya geniş ümumi bilik tələb etdikdə, daha böyük model adətən daha yaxşı seçimdir.
- Sayt axtarışında sorğunun başa düşülməsi: “ucuz qara idman ayaqqabısı 42 ölçü” ifadəsini rəng, qiymət və ölçü filtrlərinə uyğunlaşdırmaq.
- Məhsul etiketləmə: başlıqlardan və təsvirlərdən kateqoriyalar və atributlar təyin etmək.
- Rəy moderasiyası: dərc etməzdən əvvəl spam, sui-istifadə və ya şəxsi məlumatları işarələmək.
- Dəstək marşrutlaşdırması: daxil olan mesajları mövzu və təcililiyə görə təsnif etmək.
- Filtr etiketləri və ya fraqment mətni kimi ciddi şablonlar daxilində qısa mətn yaratmaq.
- Yerli dillər üçün orfoqrafiya düzəlişi və sinonimlərin idarə edilməsi.
Niyə böyük model əvəzinə kiçik model seçməli?
Miqyasda xərc
Böyük hostinq modelləri hər token üçün ödəniş tələb edir. Hər axtarışda və ya hər yeni məhsulda işləyən tapşırıq üçün bu, tez bir zamanda artır. Özünüz host etdiyiniz kiçik model, nə qədər tez-tez işləməsindən asılı olmayaraq, sabit server xərci tələb edir.
Sürət
Axtarış və avtomatik tamamlama millisaniyələrlə cavab tələb edir. Yaxınlıqdakı serverdə olan kiçik model axtarış qutusunun içində yerləşəcək qədər sürətli cavab verə bilər. İnternet üzərindən çağırılan böyük model isə çox vaxt bunu edə bilmir.
Məxfilik
Müştəri mesajları və sifariş məlumatları öz infrastrukturunuzda qala bilər. GDPR və ya Türkiyənin KVKK qaydaları altında məlumatları idarə edən brendlər üçün bu, məlumatların emalı müqavilələrini və köçürmə məsələlərini sadələşdirir.
Kiçik bir modeli tapşırığınız üçün necə yaxşılaşdıra bilərsiniz?
Hazır vəziyyətdə kiçik bir model dəqiq işinizdə orta səviyyədə ola bilər. Üç texnika boşluğun çoxunu bağlayır və onları birləşdirmək olar.
- Nümunələri olan aydın sorğular və JSON kimi icazə verilən dəyərlərlə sabit çıxış formatı.
- Bir neçə min öz etiketli nümunələriniz üzərində incə tənzimləmə (fine-tuning) və ya LoRA.
- Distillasiya: məlumatları etiketləmək üçün böyük bir modeldən istifadə etmək, sonra kiçik modeli bu etiketlər üzərində öyrətmək.
- Axtarış (Retrieval): cavab zamanı modelə məhsul məlumatlarınızı və ya yardım məqalələrinizi vermək.
- Məhdudlaşdırılmış dekodlaşdırma: burada nəticə mühərriki yalnız sizin siyahınızdan olan çıxışlara icazə verir.
Distillasiya xüsusilə praktikdir. Siz təlim dəstini etiketləmək üçün böyük bir modelə bir dəfə ödəniş edirsiniz, nümunəni əllə yoxlayırsınız və sonra ucuz kiçik modeli əbədi olaraq işlədirsiniz.
Məhdudiyyətlər nələrdir?
Kiçik modellər daha çox faktiki səhvlərə yol verir və sorğunun necə ifadə olunduğuna qarşı daha həssasdırlar. Onlar təlim məlumatlarında nadir olan dillərlə çətinlik çəkə bilərlər; onlara etibar etməzdən əvvəl türk, azərbaycan və ya rus dillərində diqqətlə yoxlayın.
Özünüz host etmək həm də iş vaxtı, yeniləmələr və təhlükəsizliyə cavabdeh olduğunuz deməkdir. Əgər komandada serverə baxa biləcək kimsə yoxdursa, API vasitəsilə kiçik açıq modellər təklif edən idarə olunan hostinqdən istifadə edin; bu, eyni həcm üçün qabaqcıl modellərdən hələ də çox ucuzdur.
Alien Road kiçik dil modellərini necə tətbiq edir
Bizim AI optimallaşdırma komandamız həcmin yüksək olduğu və çıxışın etiket və ya qısa strukturlaşdırılmış cavab olduğu işləri axtarır. Axtarış sorğusunun təhlili və məhsul etiketləmə ən çox yayılmış başlanğıc nöqtələridir.
Quraşdırma adətən distillasiya marşrutunu izləyir: böyük bir model nümunəni etiketləyir, müştərinin merçendayzerləri onu düzəldir və kiçik bir model düzəldilmiş dəst üzərində tənzimlənir. Biz onu müştərinin məlumat qaydalarının tələb etdiyi yerdə, çox vaxt Aİ və ya yerli serverdə host edirik.
Ölçmə kiçik modeli cari üsulla dəqiqlik, cavab müddəti və aylıq xərc baxımından müqayisə edir. Axtarış üçün biz həmçinin əvvəl və sonrakı sıfır nəticə dərəcəsini və axtarışdan çıxış dərəcəsini izləyirik.
Kiçik bir modeli təsdiqləməzdən əvvəl necə sınaqdan keçirmək olar?
Kataloqu bilən biri tərəfindən yazılmış və ya yoxlanılmış düzgün cavabları olan bir neçə yüz real nümunədən ibarət test dəsti yaradın. Eyni dəst üzərində iki və ya üç kiçik model və bir böyük model işlədin. Dəqiqliyi, sorğu başına sürəti və real həcminizdə təxmini aylıq xərci qeyd edin.
Əgər ən yaxşı kiçik model böyük modelə yaxın nəticə göstərirsə, xərc və sürət üstünlüyü adətən qərarı verir. Əgər boşluq böyükdürsə, təslim olmazdan əvvəl incə tənzimləməni sınayın, çünki tənzimlənmiş kiçik model dar bir tapşırıqda çox vaxt tənzimlənməmiş böyük modeli üstələyir.
Kiçik modellər alıcının cihazında işləyə bilərmi?
Bəli və bu sahə böyüyür. Brauzerlər daxili AI funksiyaları əlavə edir və Apple, Google və Samsung telefonları kiçik modelləri yerli olaraq işlədir. Mobil tətbiqləri olan brendlər üçün cihazdaxili modellər məlumatları serverə göndərmədən oflayn axtarış təklifləri və ya şəxsi çat kimi funksiyaları gücləndirə bilər.
Burada güzəşt nəzarətdir. Cihazda hansı modelin işləyəcəyini həmişə seçə bilməzsiniz və köhnə telefonlar bu funksiyaları dəstəkləməyə bilər. Cihazdaxili AI-ni əlavə bir qat kimi qəbul edin və digərləri üçün server tərəfində ehtiyat variant saxlayın.
Pilot və istehsal arasındakı boşluğu da planlaşdırın. Noutbukda işləyən model hələ də monitorinqə, server sıradan çıxdıqda ehtiyat varianta və əvvəlki versiyaya qayıtmaq üçün bir yola ehtiyac duyur. Girişlərin, çıxışların və cavab müddətlərinin sadə qeydiyyatı adətən başlamaq üçün kifayətdir.
Bu həftə haradan başlamaq lazımdır
Bir həftəlik sayt axtarış sorğularını ixrac edin və sıfır və ya zəif nəticə verən yüz ən çox yayılmış sorğunu seçin. Hər biri üçün düzgün filtrləri əllə yazın. Sonra Gemma və ya Phi kimi kiçik bir modeli eyni sorğular üzərində, filtrləri JSON formatında qaytaran sorğu ilə işlədin və onun neçəsini düzgün tapdığını sayın. Hesab pilotun quraşdırmaya dəyər olub-olmadığını sizə deyəcək.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması