Kiçik dil modelləri, adətən bir neçə milyard və ya daha az parametrə malik olan, sürətli və ucuz işləyən, bəzən birbaşa noutbuk və ya telefonda çalışan yığcam AI modelləridir. Marketoloqlar üçün onlar məzmunun etiketlənməsi, potensial müştərilərin təsnifatı, qısa reklam variantlarının hazırlanması və rəylərin xülasə edilməsi kimi dar, təkrarlanan işlərə uyğundur, burada böyük modelin əlavə mühakimə qabiliyyəti çox dəyər qatmadan xərcləri artırır.
Kiçik dil modeli nə sayılır?
Rəsmi bir sərhəd yoxdur, lakin bu termin adətən bir milyarddan on milyarda qədər parametrə malik modelləri əhatə edir. Nümunələrə Microsoft-un Phi ailəsi, Google-un Gemma, Meta-nın kiçik Llama variantları, Mistral-ın yığcam modelləri və Qwen-in kiçik buraxılışları daxildir. Apple və Google da öz əməliyyat sistemlərində cihaz daxili modellər təqdim edir.
Böyük sərhəd modelləri isə daha böyükdür və adətən yalnız provayderin məlumat mərkəzində işləyir. İkisi arasındakı fərq azalıb. Yaxşı təlim keçmiş kiçik modellər indi bir çox gündəlik dil tapşırıqlarını yaxşı yerinə yetirir, baxmayaraq ki, onlar hələ də uzunmüddətli mühakimə, geniş dünya bilikləri və mürəkkəb təlimatlar baxımından geri qalırlar.
Marketinq komandası niyə maraqlanmalıdır?
Üç səbəb: xərc, sürət və məxfilik. Kiçik model hər sorğu üçün daha az xərc tələb edir, göz qırpımında cavab verir və nəzarətinizdə olan avadanlıqda işləyə bilir, buna görə də müştəri məlumatlarının sistemlərinizdən çıxmasına ehtiyac qalmır.
Həcm yüksək olduqda bu vacibdir. 50.000 bloq şərhini və ya dəstək e-poçtunu böyük model ilə etiketləmək mümkündür, lakin bu yavaşdır və hesab tez artır. Həmin iş üçün təlim keçmiş və ya yönləndirilmiş kiçik model çox vaxt kifayət qədər yaxşı iş görür.
Hansı marketinq tapşırıqları kiçik modellərə uyğundur?
Model sadədir: qısa giriş, aydın çıxış formatı, dar sahə. Əgər düzgün cavabı bir cümlə ilə təsvir edə bilirsinizsə, kiçik modeli sınaqdan keçirməyə dəyər.
- Gələn potensial müştərilərin büdcə diapazonu, xidmət marağı və ya dil kimi kateqoriyalara görə çeşidlənməsi
- Məhsul komandası üçün rəylərin mövzu və əhval-ruhiyyəyə görə etiketlənməsi
- Sabit bir brifdən reklam başlığının bir çox qısa variantının yazılması
- Təchizatçı mətnindən məhsul atributlarının (rəng, ölçü və material kimi) çıxarılması
- Zəng transkriptlərinin CRM qeydi üçün üç bəndlik xülasəyə çevrilməsi
- Mesajın dilinin aşkarlanması və düzgün komandaya yönləndirilməsi
Daha böyük modellərdə saxlanılmalı tapşırıqlar: uzun məqalələr, strategiya sənədləri, çoxpilləli araşdırmalar və yenilənmiş faktlar və ya bir çox mənbə üzrə diqqətli mühakimə tələb edən hər şey.
Kiçik modellər necə uğursuz olur?
Onlar səssizcə uğursuz olurlar. Kiçik model çox vaxt heç öyrənmədiyi faktlar haqqında soruşulduqda yanlış, lakin əminliklə mətn yaradır. O, həmçinin uzun təlimatın hissələrini görməzdən gələ və ya tələb olunan çıxış formatını poza bilər.
Ümumi uğursuzluq əlamətləri
- Mənbə mətnində olmayan məhsul detallarının uydurulması
- Giriş qeyri-adi olduqda JSON çıxışından sahənin silinməsi
- Çoxdilli girişlərdə cavabın ortasında dilin dəyişdirilməsi
- Azərbaycan, türk və ya daha az təlim məlumatına malik digər dillərdə zəif performans
Həlli tapşırığı daha da daraltmaq, sorğuda iki və ya üç nümunə vermək və çıxışları kodla yoxlamaqdır. Əgər bir sahə beş dəyərdən biri olmalıdırsa, onu avtomatik yoxlayın və uğursuzluqları birbaşa insana göndərin.
Kiçik modeli incə tənzimləməlisinizmi (fine-tune)?
İncə tənzimləmə modelin öz nümunələriniz üzərində bir az daha təlim keçməsi deməkdir. Kiçik modellər üçün bu əlverişlidir və çox vaxt zəif nəticəni yaxşıya çevirən addımdır. Bir neçə yüzdən bir neçə minə qədər təmiz nümunə modelə sizin kateqoriyalarınızı və tonunuzu öyrədə bilər.
İncə tənzimləmədən əvvəl, əvvəlcə nümunələrlə yaxşı bir sorğu (prompt) sınayın. Dəqiqlik hələ də ehtiyac duyduğunuz səviyyədə deyilsə, komandanızın keçmiş işlərindən real etiketlənmiş məlumatları toplayın. LoRA kimi texnikalar incə tənzimləməni tək bir kirayə GPU-da işlədəcək qədər ucuzlaşdırır. Tənzimlənmiş modelin daha yaxşı olduğunu sübut etmək üçün kənarda saxlanılan test dəstini qoruyun.
Bulud və cihaz daxili arasında necə seçim edirsiniz?
Hugging Face Inference, Amazon Bedrock və ya Google Vertex AI kimi provayder vasitəsilə buludda kiçik model işlətmək ən asan başlanğıcdır. Ollama və ya LM Studio kimi alətlərlə öz serverinizdə və ya noutbukunuzda işlətmək tam nəzarət verir və hər sorğu üçün ödəniş tələb etmir.
- Bulud: başlamaq üçün sürətli, tələbə uyğun miqyaslanır, məlumatlar provayderin şərtləri altında provayderə gedir
- Öz serveriniz: sabit xərc, məlumatlar içəridə qalır, saxlamaq üçün kimsə lazımdır
- Tətbiqdə cihaz daxili: sıfır server xərci və oflayn istifadə, lakin istifadəçinin avadanlığı ilə məhdudlaşır
Əksər marketinq komandaları üçün bulud yolu düzgün ilk addımdır. Yalnız həcm və ya məlumat qaydaları bunu əsaslandırdıqda öz-özünə hostinqə keçin.
Alien Road kiçik dil modellərini necə tətbiq edir
Tipik bir əməkdaşlıqda biz müştərinin komandasının artıq böyük modellərdən harada istifadə etdiyini yoxlayırıq və daha kiçik bir modelə keçə biləcək təkrarlanan tapşırıqları qeyd edirik. Potensial müştərilərin etiketlənməsi və rəylərin təsnifatı ən çox qarşıya çıxanlardır.
Biz müştərinin öz məlumatlarından etiketlənmiş test dəsti qururuq, iki və ya üç kiçik modeli cari böyük modelə qarşı sınaqdan keçiririk və dəqiqliyi və hər sorğu üçün xərci müqayisə edirik. Kiçik model tələblərə cavab verərsə, biz onu formatları yoxlayan və qeyri-müəyyən halları insana və ya daha böyük modelə yönləndirən sadə yoxlama qatının arxasında yerləşdiririk.
Hesabatlar aylıq nümunə üzrə dəqiqliyi, ehtiyat variantına göndərilən halların payını və min sorğu üçün xərci əhatə edir. Müştəri kiçik modelin harada kömək etdiyini və harada etmədiyini dəqiq görür.
Kiçik modelin işləməsi nə qədər başa gəlir?
Dəqiq qiymətlər tez-tez dəyişir, ona görə də istənilən rəqəmə anlıq görüntü kimi baxın. Ümumi model isə belədir: kiçik hostinq modelləri üçün token dərəcələri adətən sərhəd model dərəcələrinin kiçik bir hissəsidir və yerli model işlədən noutbuk qurulduqdan sonra hər sorğu üçün heç bir xərc tələb etmir.
Gizli xərc insanlardır. Kimsə sorğunu yazmalı, test dəstini qurmalı, nəticələri yoxlamalı və tapşırıq dəyişdikdə quraşdırmanı yeniləməlidir. İlk pilot üçün bir neçə günlük iş, ondan sonra isə ayda bir neçə saatlıq iş büdcəsi ayırın. Əgər tapşırıq bu vaxtı ödəmək üçün kifayət qədər tez-tez yerinə yetirilmirsə, onu artıq istifadə etdiyiniz böyük modeldə saxlayın.
Bu həftə haradan başlamaq lazımdır
Komandanızın əllə etdiyi bir çeşidləmə və ya etiketləmə tapşırığını seçin. Düzgün etiketlərlə 200 keçmiş nümunəni ixrac edin. Noutbukda Ollama quraşdırın, Gemma və ya Phi variantı kimi kiçik bir model yükləyin və onu qısa sorğu və üç nümunə ilə sınaqdan keçirin. Neçəsini düzgün tapdığını ölçün. Öz məlumatlarınızda 85-90 faizdən keçərsə, kiçik bir pilot planlaşdırın; əgər keçməzsə, tapşırığın daha böyük modelə ehtiyacı olduğunu ucuz yolla öyrənmiş olursunuz.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması