Kiçik dil modelləri, adətən bir neçə milyard və ya daha az parametrə malik olan, böyük sərhəd modellərindən daha sürətli və ucuz işləyən və çox vaxt tək bir serverdə, noutbukda və ya hətta telefonda yerləşdirilə bilən yığcam AI modelləridir. Onu pilotdan istehsala keçirmək üçün dar bir tapşırıq, etiketli test dəsti, daha böyük modellə ədalətli müqayisə, yerləşdirmə planı və davamlı monitorinq tələb olunur.
Nümunələrə Microsoft-un Phi ailəsi, Google-un Gemma, Meta-nın kiçik Llama modelləri, Mistral-ın kiçik modelləri və Alibaba-nın yığcam ölçülərdə olan Qwen modelləri daxildir. Bir çoxu açıq çəkilərlə buraxılır, bu o deməkdir ki, siz onları lisenziya şərtləri altında yükləyib özünüz işlədə bilərsiniz.
Niyə böyük model əvəzinə kiçik model seçməli?
Böyük modellər mürəkkəb mühakimə və geniş bilik sahəsində daha bacarıqlıdır. Kiçik modellər digər ölçülərdə qalib gəlir.
- Xərc: hər sorğu üçün daha az resurs, bu da yüksək həcmdə vacibdir.
- Sürət: daha aşağı gecikmə, real vaxt funksiyaları üçün faydalıdır.
- Məxfilik: öz serverlərinizdə və ya cihazlarınızda işləyə bilər, ona görə də məlumatlar mühitinizdən heç vaxt çıxmır.
- Nəzarət: siz yeniləmədiyiniz müddətcə dəyişməyən sabit model versiyaları.
- İncə tənzimləmə (Fine-tuning): öz məlumatlarınıza və etiketlərinizə uyğunlaşdırmaq daha ucuzdur.
Bunun əvəzində bacarıqlar azalır. Kiçik modellər açıq tapşırıqlarda, uzun sənədlərdə və incə yazılarda daha çox səhv edir. Onlar ən yaxşı fokuslanmış işlərdə nəticə verir.
Mərhələ 1: Düzgün tapşırığı seçin
Kiçik modellər üçün yaxşı tapşırıqlar dar, təkrarlanan və yoxlanıla bilən tapşırıqlardır. Təsnifat, çıxarış və qısa strukturlaşdırılmış generasiya tipikdir.
Güclü namizədlər
- Dəstək biletlərini, rəyləri və ya axtarış terminlərini sabit kateqoriyalara təsnif etmək.
- Təchizatçı təsvirlərindən məhsul atributlarını çıxarmaq.
- Mətndə dili, spamı və ya şəxsi məlumatları aşkar etmək.
- Strukturlaşdırılmış məhsul məlumatlarından qısa meta təsvirlər yaratmaq.
- Daxil olan mesajları düzgün komandaya yönləndirmək.
Zəif namizədlərə uzun məqalə yazmaq, mürəkkəb strategiya sualları və yenilənmiş dünya biliyi tələb edən tapşırıqlar daxildir.
Mərhələ 2: Modelləri sınaqdan keçirməzdən əvvəl test dəsti qurun
Test dəsti, insanlar tərəfindən etiketlənmiş düzgün cavabları olan real girişlərin toplusudur. O olmadan model seçimi təxminə çevrilir.
- Ümumi və çətin halları əhatə edən 200-500 real nümunə toplayın.
- İki nəfərin onları müstəqil şəkildə etiketləməsini təmin edin və fikir ayrılıqlarını həll edin.
- Kənar halları daxil edin: çox qısa girişlər, qarışıq dillər, yazım səhvləri və əlaqəsiz mesajlar.
- Test dəstini incə tənzimləmə üçün istifadə olunan hər hansı məlumatdan ayrı saxlayın.
Mərhələ 3: Kiçik və böyük modelləri ədalətli müqayisə edin
Test dəstini iki və ya üç kiçik model və bir böyük model vasitəsilə API üzərindən işlədin. Hər biri üçün eyni sorğu və çıxış formatından istifadə edin. Dəqiqliyi, min sorğu üçün xərci və cavab müddətini ölçün.
Çox vaxt kiçik model dar bir tapşırıqda, xüsusən də yaxşı sorğu və bir neçə nümunə ilə məqbul dəqiqliyə çatır. Əgər çatışmazlıq olarsa, bir neçə min etiketli nümunə üzərində incə tənzimləmə boşluğu doldura bilər. Əgər hələ də çox geridədirsə, tapşırıq daha böyük model tələb edə bilər.
Mərhələ 4: Modelin harada işləyəcəyinə qərar verin
Üç ümumi seçim var, hər birinin öz üstünlükləri və çatışmazlıqları var.
- İdarə olunan API: Google, Mistral və ya bulud bazarları kimi provayderlər kiçik modelləri xidmət kimi təklif edir. Başlamaq üçün ən sadəsidir, lakin məlumatlar mühitinizdən çıxır.
- Öz-özünə yerləşdirilən server: vLLM, Ollama və ya Hugging Face Text Generation Inference kimi alətlərdən istifadə edərək bulud VM-də və ya yerli GPU-da modeli işlədin. Daha çox nəzarət, daha çox əməliyyat işi.
- Cihazda: brauzerlərdə və ya tətbiqlərdə işləyən modellər, məsələn, ONNX Runtime və ya platformaya xas çərçivələr vasitəsilə. Məxfilik və oflayn istifadə üçün ən yaxşısıdır, cihazın gücü ilə məhdudlaşır.
Modelin lisenziyasını yoxlayın. Açıq çəki həmişə məhdudiyyətsiz kommersiya istifadəsi demək deyil; hər model üçün şərtləri oxuyun.
Mərhələ 5: İstehsal yoxlama siyahısı
İşə salmazdan əvvəl
- Çıxışın yoxlanılması: icazə verilən etiketlərə və ya formatlara uyğun gəlməyən cavabları rədd edin.
- Geri çəkilmə (Fallback): qeyri-müəyyən və ya etibarsız nəticələri daha böyük modelə və ya insana yönləndirin.
- Loqlaşdırma: məxfilik qaydalarına riayət edərək, nəzərdən keçirmək üçün girişləri, çıxışları və etibarlılığı qeyd edin.
- Yük testi: serverin pik həcmi gecikmə hədəfiniz daxilində idarə etdiyini təsdiqləyin.
- Təhlükəsizlik: model son nöqtəsinə girişi məhdudlaşdırın və müştəri mətni olan loqları qoruyun.
İşə saldıqdan sonra
- İnsan etiketlərinə qarşı həftəlik nümunə nəzərdən keçirilməsi.
- Drift monitorinqi: modelin sınaqdan keçirilmədiyi yeni kateqoriyaları və ya dil nümunələrini izləyin.
- Versiya nəzarəti: hər nəticəni hansı model versiyasının və sorğunun yaratdığını qeyd edin.
- Sorğuları, modelləri və ya incə tənzimləmə məlumatlarını dəyişdikdə planlaşdırılmış yenidən qiymətləndirmə.
Hansı səhvlər kiçik model layihələrini ləngidir?
Birincisi, modeli yalnız ictimai meyarlar əsasında seçməkdir. Meyarlar ümumi bacarıqları ölçür; tapşırığınız fərqli davrana bilər. İkincisi, yoxlamanı atlamaqdır ki, bu da təsadüfi səhv cavabların sistemləri pozmasına imkan verir. Üçüncüsü, öz-özünə yerləşdirmə üçün əməliyyat işlərini qiymətləndirməməkdir: yeniləmələr, monitorinq və GPU mövcudluğu vaxt tələb edir.
Modelin hazır olduğunu necə bilirsiniz?
Qəbul səviyyəsini nəticələri gördükdən sonra deyil, sınaqdan əvvəl təyin edin. Təsnifat tapşırığı üçün bu, iki insanın bir-biri ilə çatdığı səviyyəyə yaxın insan etiketləri ilə razılaşma, min element üçün cari üsuldan aşağı xərc və iş axınına uyğun gecikmə ola bilər. Əgər model test dəstində və son ayın təzə nümunəsində hər üçünə cavab verirsə, məhdud buraxılış üçün hazırdır. Əgər ikisinə cavab verirsə, daha irəli getməzdən əvvəl çatışmayanın sorğular, incə tənzimləmə və ya geri çəkilmə qaydası ilə düzəldilə biləcəyinə qərar verin.
Alien Road kiçik dil modellərini necə tətbiq edir
Tipik bir əməkdaşlıqda, kəşf mərhələsi müştərinin marketinq və xidmət əməliyyatlarında rəy etiketləmə, axtarış termini təsnifatı və məhsul məlumatlarının çıxarılması kimi mətn ağırlıqlı tapşırıqları siyahıya alır və onların aylıq həcmini qiymətləndirir. Məxfilik narahatlığı olan yüksək həcmli, dar tapşırıqlar adətən əsas namizədlərdir.
Quraşdırma müştərinin real məlumatlarından götürülmüş etiketli test dəsti ilə başlayır, ardınca kiçik və böyük modellərin dəqiqlik, xərc və sürət üzrə müqayisəsi aparılır. Kiçik model qalib gələrsə, məlumat həssaslığı və həcminə əsasən idarə olunan API və öz-özünə yerləşdirmə arasında seçim edirik və yoxlama və geri çəkilmə qaydaları qururuq.
Ölçmə üçün hər ay təzə insan etiketlərinə qarşı dəqiqliyi, min element üçün xərci və gecikməni izləyirik. Hesabatlara tapılan səhv halları daxildir ki, müştəri modelin harada etibarlı olduğunu və harada insanların və ya daha böyük modelin hələ də müdaxilə etdiyini görə bilsin.
Bu həftə haradan başlamaq lazımdır
Komandanızın əllə yerinə yetirdiyi bir təsnifat tapşırığını seçin, məsələn, müştəri mesajlarını beş kateqoriyaya ayırmaq. Həmkarınızla 200 son nümunəni etiketləyin. Sonra Ollama ilə yerli olaraq və ya host edilmiş oyun meydançası vasitəsilə aydın bir sorğu və sabit kateqoriya siyahısından istifadə edərək kiçik bir açıq modeli sınayın. Onun cavablarını etiketlərinizlə müqayisə edin. Razılaşma dərəcəsi sizə kiçik bir modelin düzgün pilot üçün dəyərli olub-olmadığını deyəcək.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması