Kiçik dil modelləri, adətən bir neçə milyard və ya daha az parametrə malik olan, noutbukda, telefonda və ya kiçik serverdə işləyə bilən yığcam AI modelləridir. Marketinq komandası üçün əsas risklər mürəkkəb tapşırıqlarda aşağı dəqiqlik, faktlar və zəif idarə olunan dillərdə əminliklə edilən səhvlər, həmçinin cihazlar arasında yayılan idarə olunmayan nüsxələrdir. İdarəetmə onları dar, yoxlanıla bilən tapşırıqlarla məhdudlaşdırmalı, istifadədən əvvəl qiymətləndirmə tələb etməli və hər bir modelin harada işlədiyini izləməlidir.
Nümunələrə Microsoft-un Phi ailəsi, Google-un Gemma-sı, Meta-nın kiçik Llama variantları, Mistral-ın kiçik modelləri, Alibaba-nın Qwen kiçik versiyaları və Gemini Nano və Apple-ın cihazdaxili təməl modeli kimi telefonlarda işləyən modellər daxildir. Ollama, LM Studio və llama.cpp kimi alətlər onları şəxsi kompüterdə yükləməyi və işlətməyi asanlaşdırır.
Onların cəlbediciliyi aydındır: tapşırıq başına aşağı xərc, sürətli cavablar, məlumatları tamamilə daxili sistemdə saxlamaq imkanı və onları xüsusi bir iş üçün ucuz şəkildə tənzimləmək bacarığı. Bu üstünlüklər realdır. Məhdudiyyətlər də həmçinin.
Kiçik modellər harada güclüdür?
Kiçik modellər dar və yaxşı müəyyən edilmiş tapşırıqlarda yaxşı nəticə verir. Dəstək mesajlarını kateqoriyalara ayırmaq, formalardan sahələri çıxarmaq, məhsul rəylərini mövzuya görə etiketləmək, qısa mətni sabit üslubda yenidən yazmaq və sadə marşrutlaşdırma qərarları buna yaxşı nümunələrdir.
Onlar həmçinin tənzimləndikdə yaxşı nəticə verirlər. Müəyyən bir tapşırığın bir neçə min nümunəsi üzərində təlim keçmiş kiçik bir model, həmin tapşırıqda böyük ümumi modeli üstələyə və ya ona bərabər ola bilər, üstəlik işləmə xərclərinin bir hissəsinə.
Onların məhdudiyyətləri nələrdir?
Mühakimə və uzun kontekst
Kiçik modellər çoxpilləli mühakimə, uzun sənədlər və eyni anda bir çox faktı saxlamağı tələb edən tapşırıqlarla mübarizə aparır. Kampaniya hesabatını təhlil etməyi və büdcə dəyişikliklərini tövsiyə etməyi tapşırmaq adətən səthi və ya yanlış məsləhətlə nəticələnir.
Bilik və faktlar
Daha az parametrlə onlar daha az dünya biliyi saxlayırlar. Onlar, xüsusilə niş mövzular haqqında faktları, adları və rəqəmləri uydurmağa və bunu səlis şəkildə etməyə daha çox meyllidirlər.
Dillər
Bir çox kiçik modellər əsasən ingilis dilində təlim keçib. Azərbaycan, türk və ya digər dillərdə keyfiyyət nəzərəçarpacaq dərəcədə aşağı ola bilər, qrammatik səhvlər və ya hərfi tərcümələr ola bilər. Hər bir dili ayrıca yoxlayın.
Təhlükəsizlik tənzimlənməsi
Kiçik modellər böyük kommersiya modellərinə nisbətən daha zəif təhlükəsizlik və imtina tənzimlənməsinə malik ola bilər. Pis təlimatlandırıldıqda və ya zərərli istifadəçi tərəfindən istifadə edildikdə, onlar uyğun olmayan məzmunu daha asanlıqla yarada bilərlər.
Hansı risklər idarəetmə tələb edir?
Kölgə tətbiqləri
Hər kəs bir modeli yükləyib noutbukda işlədə bildiyi üçün, komandalar İT şöbəsinin xəbəri olmadan onlardan istifadə etməyə başlaya bilər. Yerli modelə daxil edilmiş müştəri məlumatları məxfi qala bilər, lakin çıxışlar nəzərdən keçirilmədən istifadə edilə bilər və heç kim hansı model versiyasının nə yaratdığını bilmir.
Lisenziya şərtləri
Kiçik modellər müxtəlif lisenziyalar altında gəlir. Bəziləri Apache 2.0 kimi icazəvericidir, digərləri isə istifadə məhdudiyyətləri olan xüsusi şərtlərə malikdir. Lisenziyasını yoxlamadan modeli kommersiya məqsədilə istifadə etmək hüquqi riskdir.
Təsdiqlənməmiş çıxışlar
Potensial müştəriləri və ya dəstək biletlərini təsnif edən kiçik bir model, onların bir hissəsini səssizcə yanlış yönləndirə bilər. Qiymətləndirmə dəsti və monitorinq olmadan səhvlər yalnız şikayətlər kimi üzə çıxır.
Model təchizat zənciri
İctimai mərkəzlərdən yüklənən modellər dəyişdirilmiş versiyalar ola bilər. Rəsmi mənbələrdən istifadə edin və naşirləri yoxlayın. Bəzi köhnə formatlardakı model faylları hətta icra edilə bilən kod daşıya bilər, buna görə də safetensors kimi daha təhlükəsiz formatlara üstünlük verilir.
Hansı idarəetmə qaydaları ilk növbədə tətbiq edilməlidir?
- Təsdiqlənmiş siyahı: biznes istifadəsi üçün icazə verilən modelləri, onların rəsmi mənbəyini və lisenziyasını qeyd edin.
- İstifadə halının təsdiqi: hər bir yeni istifadə halı bir paraqrafda təsvir edilir və sahibi tərəfindən təsdiqlənir.
- İstifadədən əvvəl qiymətləndirmə: hər bir modeli tapşırıq və dil üzrə ən azı əlli real nümunə üzərində, qəbul həddi ilə sınaqdan keçirin.
- Nəzərdən keçirilməmiş müştəri yönümlü çıxış yoxdur: müştərinin gördüyü hər şey nəzərdən keçirilir və ya təhlükəsiz şablonlarla məhdudlaşdırılır.
- Məlumat qaydaları: hansı məlumatların emal edilə biləcəyi, modelin harada işlədiyi və jurnalların necə saxlandığı.
- Versiya izləmə: hər bir iş axını üçün istifadə olunan modelin adını və versiyasını qeyd edin.
- Dəyişiklik zamanı yenidən sınaq: model yeniləndikdə və ya dəyişdirildikdə, qiymətləndirmə dəstini yenidən işə salın.
Nə vaxt daha böyük model seçməlisiniz?
Tapşırıq mühakimə, uzun sənədlər, müştərilərin oxuyacağı açıq yazılar və ya yüksək keyfiyyətli bir çox dilləri əhatə etdikdə daha böyük model seçin. Ümumi dizayn hər ikisindən istifadə edir: sürətli təsnifat və marşrutlaşdırma üçün kiçik model, kiçik modelin qeyri-müəyyən hesab etdiyi hallar üçün isə daha böyük model.
Səhvlər yenidən işləməyə səbəb olarsa, yalnız xərc kiçik model seçmək üçün zəif səbəbdir. Yalnız token qiymətini deyil, nəzərdən keçirmə və düzəliş daxil olmaqla ümumi xərcləri müqayisə edin.
Alien Road kiçik dil modellərini necə tətbiq edir
Tipik bir işdə kiçik modellər məzmun yazmaqdan daha çox məlumat və əməliyyat tapşırıqlarında görünür. Kəşf prosesi rəyləri etiketləmək, daxil olan mesajları çeşidləmək və ya potensial müştəri formalarından sahələri çıxarmaq kimi yüksək həcmli, dar tapşırıqları müəyyən edir və əlaqəli dilləri yoxlayır.
Quraşdırma rəsmi mənbədən təsdiqlənmiş modeldən istifadə edir, idarə olunan host və ya Ollama və ya vLLM ilə müştərinin infrastrukturunda işlədilir. Biz müştərinin öz məlumatlarından qiymətləndirmə dəsti hazırlayırıq, kiçik modeli daha böyük olanla müqayisə edirik və nəticələri qeyd edirik. Kiçik model razılaşdırılmış dəqiqliyə çatarsa, o, qeyri-müəyyən hallar üçün daha böyük modelə və ya insana keçid imkanı ilə iş axınına daxil edilir.
Ölçmə həftəlik nümunə üzrə dəqiqliyi, keçid dərəcəsini və tapşırıq başına düşən xərci izləyir. Hesabatlar bunları zamanla göstərir və hər hansı bir sapmanı, məsələn, daxil olan məlumatlardakı dəyişiklikdən sonra dəqiqliyin azalmasını qeyd edir.
Kiçik modeli işə saldıqdan sonra necə izləyirsiniz?
İşə salmazdan əvvəl qiymətləndirmə kifayət deyil, çünki daxil olan məlumatlar dəyişir. Yeni məhsul çeşidi, yeni dildə kampaniya və ya müştəri suallarında mövsümi dəyişiklik kiçik modeli yaxşı idarə etdiyi sahədən kənara çıxara bilər. Hər həftə bir sıra çıxışları nümunə götürün və bir insana onları orijinal qiymətləndirmədə istifadə olunan eyni standarta qarşı qiymətləndirməsini tapşırın.
Keçid dərəcəsini də izləyin. Əgər daha çox hal daha böyük modelə və ya insana ötürülürsə, qiymətləndirilmiş nümunə yaxşı görünsə belə, kiçik model çətinlik çəkir.
Bu həftə haradan başlamaq lazımdır
Komandanızın hazırda AI istifadə etdiyi hər yeri siyahıya alın və noutbuklarda yerli olaraq işləyən hər şey daxil olmaqla, arxasında hansı modellərin olduğunu qeyd edin. Siz təsdiq olunmadan istifadə olunan kiçik modellər tapa bilərsiniz.
Sonra bir dar, yüksək həcmli tapşırıq seçin və real məlumatlardan əlli nümunəlik test dəsti qurun. Üzərində kiçik və böyük model işlədin və dəqiqliyi və xərci müqayisə edin. Bu tək müqayisə kiçik modelin iş axınınıza aid olub-olmadığını sizə deyir.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması