Kiçik dil modelləri, qabaqcıl sistemlərdən daha az parametrlərə malik olan, adətən bir milyarddan az və ya bir neçə on milyard parametrlə, buludda və ya tək bir maşında ucuz şəkildə işləyə bilən AI modelləridir. Marketinq işində onlar axtarış terminlərinin təsnifatı, məzmunun etiketlənməsi, məlumatların təmizlənməsi və mesajların yönləndirilməsi kimi sürət, xərc və məlumat nəzarətinin geniş mühakimədən daha vacib olduğu dar, təkrarlanan tapşırıqlarda ən yaxşısıdır.
Məşhur ailələrə Microsoft-un Phi modelləri, Google-un Gemma, Meta-nın kiçik Llama variantları, Mistral-ın yığcam modelləri və Alibaba-nın Qwen xətti, həmçinin böyük provayderlərin API-ləri vasitəsilə təklif etdiyi “mini”, “flash” və ya “haiku” səviyyələri daxildir. Bir çox açıq çəkili modellər Ollama, llama.cpp və ya LM Studio kimi alətlərlə yüklənə və yerli olaraq işlədilə bilər, beləliklə məlumat heç vaxt şirkətin öz aparatından çıxmır.
Kiçik və böyük model arasındakı fərq nədir?
Ölçü modelin nə bildiyinə və bir çox addım boyunca necə mühakimə yürütdüyünə təsir edir. Böyük bir qabaqcıl model strategiya hazırlaya, uzun təlimatlara əməl edə və qeyri-adi sorğuları idarə edə bilər. Kiçik bir model daha dardır: aydın, yaxşı müəyyən edilmiş bir tapşırığı tez bir zamanda yerinə yetirir, lakin qeyri-müəyyən təlimatlarda və ya təlimindən kənar suallarda büdrəmə ehtimalı daha yüksəkdir.
Praktik fərqlər xərc və sürətdir. Kiçik bir model, böyük bir modelin bir hissəsini idarə etdiyi müddətdə minlərlə qısa elementi, element başına daha aşağı qiymətə emal edə bilər. İş “bu 50.000 axtarış terminini on iki niyyət qrupuna etiketlə” olduqda, bu fərq layihənin əlverişli olub-olmadığını müəyyən edir.
Hansı marketinq tapşırıqları kiçik modellərə uyğundur?
Ümumi cəhət yüksək həcm, qısa girişlər və mümkün çıxışların sabit dəstidir.
- Axtarış termininin təsnifatı: Google Ads axtarış terminlərini niyyət qruplarına və ya mənfi açar söz namizədlərinə görə çeşidləmək.
- Məzmun etiketlənməsi: minlərlə səhifəyə və ya yazıya kateqoriyalar, mövzular və ya məhsul növləri təyin etmək.
- Rəylər, sosial şərhlər və sorğu cavabları üçün əhval-ruhiyyə və mövzu etiketlənməsi.
- Məlumatların təmizlənməsi: CRM ixracatlarında şirkət adlarını, vəzifə adlarını və ya ünvanları normallaşdırmaq.
- Yönləndirmə: daxil olan forma və ya mesajı hansı komandanın idarə etməli olduğuna qərar vermək.
- Çoxdilli məzmun üzrə dil aşkarlanması və sadə tərcümə yoxlamaları.
Mühakimə, yaradıcılıq və ya uzun sənədlər tələb edən tapşırıqlar adətən daha böyük modellərdə və ya insanlarda qalır.
Modeli yerli olaraq işlətmək niyə vacibdir?
Bəzi məlumatlar üçüncü tərəf API-yə getməməlidir: müştəri siyahıları, buraxılmamış kampaniya planları, sağlamlıq və ya maliyyə məlumatları. Müştərinin öz serverində və ya şəxsi bulud nümunəsində işləyən kiçik bir açıq çəkili model bu məlumatı yerində saxlayır ki, bu da GDPR və Türkiyənin KVKK qaydalarına uyğunluğu sadələşdirir.
Yerli modellər həm də proqnozlaşdırıla bilən xərclər verir. Avadanlıq mövcud olduqdan sonra, növbəti yüz min sətiri emal etmək API haqlarından daha çox elektrik enerjisi xərcləyir. Mübadilə baxımdır: kimsə quraşdırmanı yeniləməli, izləməli və təhlükəsizliyini təmin etməlidir.
Alien Road kiçik dil modellərini necə tətbiq edir
Tipik bir əməkdaşlıqda bizim AI optimallaşdırma komandamız kiçik modellərdən çat alətləri kimi deyil, daha böyük boru kəmərləri daxilində işçilər kimi istifadə edir. Kəşf tapşırıq siyahısı ilə başlayır: insanların hazırda cədvəllərdə etdiyi təkrarlanan təsnifat və ya təmizləmə işlərini axtarırıq və aylıq həcmi qiymətləndiririk.
Əvvəlcə etiketli nümunə hazırlayın
Model seçməzdən əvvəl, müştərinin mütəxəssislərinə bir neçə yüz real nümunəni, məsələn, axtarış terminləri və ya rəyləri, faktiki istifadə etdikləri kateqoriyalarla etiketlədiririk. Bu nümunə sınadığımız hər bir model üçün test dəsti olur.
Modelləri bu nümunə üzərində müqayisə edin
Biz iki və ya üç namizədi, adətən kiçik bir açıq çəkili model, kiçik bir API modeli və istinad kimi böyük bir modeli etiketli nümunəyə qarşı işlədirik. Əgər kiçik model insan etiketləri ilə böyük model qədər tez-tez razılaşırsa, o, xərc və sürət baxımından qalib gəlir. Əgər yoxdursa, sorğunu tənzimləyirik, nümunələr əlavə edirik və ya həmin tapşırıq üçün böyük modeli saxlayırıq.
İnsanları kənarlarda yerləşdirin
Aşağı etibarlı elementlər insan baxışı növbəsinə gedir. Reklam hesabları üçün model mənfi açar sözlər təklif edir; mütəxəssis onları Google Ads və ya Microsoft Advertising-ə çatmazdan əvvəl təsdiqləyir.
Ölçmə üçün biz zamanla insan etiketləri ilə razılaşmanı, baxış növbəsinin ölçüsünü, min element üçün emal xərcini və azad edilmiş saatları izləyirik. Aylıq hesabatlar hər hansı bir sapmanı qeyd edir, məsələn, yeni bir məhsul xətti modelin səhv təsnif etdiyi axtarış terminləri yaratdıqda.
Məhdudiyyətlər və risklər nələrdir?
Kiçik modellər böyük modellərdən fərqli səhvlər edir və onlar kənar hallarda bunu daha tez-tez edirlər.
- Format təlimatlarına daha az etibarlı əməl edirlər; çıxışları kodda icazə verilən etiketlərə qarşı yoxlayın.
- Bilik daha nazikdir, ona görə də nümunələr olmadan niş brend və ya məhsul adlarını tanımaya bilərlər.
- Türk dilində və digər qeyri-ingilis dillərində performans modelə görə dəyişir; real yerli məlumatlarla sınaqdan keçirin.
- Lisenziyalar açıq çəkili modellər arasında fərqlənir və bəziləri kommersiya istifadəsini məhdudlaşdırır; yerləşdirməzdən əvvəl yoxlayın.
- Yerli quraşdırma hələ də hər hansı bir server kimi təhlükəsizlik yamalarına və giriş nəzarətinə ehtiyac duyur.
İncə tənzimləmə (fine-tuning) və sorğulama (prompting) arasında necə qərar verirsiniz?
Sorğulama və sorğuda bir ovuc nümunə ilə başlayın. Dəyişdirmək ucuzdur və çox vaxt kifayət qədər yaxşıdır. Kiçik bir modeli bir neçə min etiketli nümunə üzərində incə tənzimləmək dar bir tapşırıqda dəqiqliyi artıra bilər, lakin bu, təlim işini və saxlanılacaq model versiyasını artırır. Biz bunu yalnız sorğulama tələb olunan razılaşma səviyyəsindən aşağı düşdükdə və tapşırıq həcmi səyi doğrultduqda nəzərdən keçiririk.
Kiçik bir modelin işləməsi nə qədər başa gəlir?
Xərclər marşrutdan asılıdır. API vasitəsilə kiçik model səviyyələri token başına qiymətləndirilir və adətən böyük səviyyənin bir hissəsidir; tez-tez dəyişdiyi üçün cari qiymət səhifələrini yoxlayın. Yerli olaraq işləyərkən, kifayət qədər yaddaşı olan yeni bir noutbuk sınaq üçün bir neçə milyard parametrlik modelləri idarə edə bilər, istehsal həcmləri isə adətən xüsusi server və ya bulud GPU nümunəsini doğruldur. Gizli xərc insanlardır: quraşdırma, monitorinq və etiketli nümunəyə qarşı dövri təkrar sınaq.
Başlamazdan əvvəl sadə bir yoxlama siyahısı
- Tapşırığı açıq sual kimi deyil, qapalı çıxışlar dəsti kimi müəyyən edin.
- Ən azı 200-300 real nümunə toplayın və etiketləyin.
- Hansı məlumatların sistemlərinizdən çıxa biləcəyinə və hansıların çıxa bilməyəcəyinə qərar verin.
- Eyni nümunə üzərində ən azı bir kiçik və bir böyük modeli sınaqdan keçirin.
- Etibarlılıq həddi və ondan aşağı olan elementlər üçün insan baxışı yolu təyin edin.
- Səhvlərin izlənilə bilməsi üçün giriş və çıxışları qeyd edin.
Bu həftə haradan başlamaq lazımdır
Keçən ayın axtarış terminləri hesabatını bir Google Ads hesabından ixrac edin. Təsadüfi 300 sətir götürün və hər birini özünüz üç-dörd niyyət qrupu ilə, üstəgəl “əlaqəsiz” olaraq etiketləyin. Sonra həmin sətirləri bu qrupları sadalayan qısa bir sorğu ilə kiçik bir modeldən keçirin və sizinlə harada razılaşdığını sayın. Həmin bir günorta sizə həftəlik axtarış terminləri baxışını avtomatlaşdırmanın real olub-olmadığını deyir.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması