Kiçik dil modelləri adi noutbukda və ya aşağı qiymətli API vasitəsilə işləyə bilən yığcam AI modelləridir ki, bu da onları yerli və kiçik bizneslər üçün praktik bir ilk addım edir. Müştəri mesajlarını çeşidləmək və ya ümumi suallara cavab layihələri hazırlamaq kimi dar, təkrarlanan bir tapşırıqla başlayın və ona etibar etməzdən əvvəl öz keçmiş məlumatlarınızla sınaqdan keçirin.
Kiçik bir biznes niyə kiçik bir model seçməlidir?
ChatGPT, Claude və ya Gemini kimi böyük AI köməkçiləri ümumi və güclüdür, bir çox sahibkar üçün onlar doğru alətdir. Kiçik modellər üç vəziyyətdə məntiqlidir: öz kompüterinizdə saxlamağa üstünlük verdiyiniz həssas müştəri məlumatları ilə işlədikdə, eyni sadə tapşırığı yüzlərlə dəfə təkrarladıqda və ya artan aylıq ödəniş əvəzinə sabit bir xərc istədikdə.
Stomatoloji klinika, mühasibatlıq ofisi və ya ailə oteli çox vaxt bunlardan ən azı birinə uyğun gəlir. Pasiyent qeydləri, müştəri vergi sənədləri və qonaq məlumatları sahiblərin ictimai çat-bota daxil etməkdən çəkindiyi məlumatlardır.
Kiçik bir model nəyi yaxşı edə bilər?
Kiçik modellər proqnozlaşdırıla bilən cavabı olan qısa, aydın işlər üçün yaxşıdır. Onlar geniş bilik və ya cari faktlar tələb edən açıq suallarda zəifdirlər.
- Daxil olan e-poçtları və ya WhatsApp mesajlarını “bron”, “şikayət”, “qiymət sorğusu” və ya “digər” kateqoriyalarına çeşidləmək
- Müştərilərin ən çox verdiyi on suala nəzakətli cavablar hazırlamaq
- Uzun təchizatçı e-poçtunu üç sətirdə xülasə etmək
- Səsli qeydləri və ya qaralama qeydləri səliqəli bir paraqrafa çevirmək
- Məhsul və ya menyu təsvirlərini orfoqrafiya və ardıcıl üslub baxımından yoxlamaq
- Fakturalardan tarixləri, adları və məbləğləri cədvələ çıxarmaq
Kiçik bir modeldən hüquqi məsləhət, vergi qaydaları və ya bugünkü məzənnə haqqında soruşsanız, o, əminliklə və səhv cavab verə bilər. Bu sualları bir insana və ya etibar etdiyiniz bir mənbəyə saxlayın.
Hansı alətlər bunu asanlaşdırır?
Kiçik bir modeli sınamaq üçün proqramçıya ehtiyacınız yoxdur. Bir neçə pulsuz masaüstü proqramı modelləri bir neçə kliklə yükləyir və işə salır.
Masaüstü seçimləri
- Ollama: Mac, Windows və Linux üçün sadə bir əmr və ya köməkçi proqram vasitəsilə modelləri yükləyən və işlədən pulsuz alət
- LM Studio: çat pəncərəsi və model brauzeri olan, texniki bilikləri olmayan istifadəçilər üçün uyğun masaüstü proqramı
- GPT4All: modelləri yerli və gizli şəkildə işlətməyə yönəlmiş başqa bir pulsuz masaüstü proqramı
Sınanacaq modellər
Yazı zamanı populyar kiçik ailələrə Google-un Gemma, Microsoft-un Phi, Meta-nın kiçik Llama modelləri, Mistral-ın yığcam modelləri və Alibaba-nın Qwen modelləri daxildir. Hər biri bir neçə ölçüdə olur. Bir neçə milyard parametrli model adətən 16 GB yaddaşı olan müasir noutbukda işləyir; daha böyükləri daha çox tələb edir.
Dil dəstəyi dəyişir. Müştəriləriniz azərbaycanca yazırsa, hər modeli real mesajlarla sınaqdan keçirin. Bəziləri bunu yaxşı idarə edir; digərləri dilləri qarışdırır və ya qrammatik səhvlər edir.
Təhlükəsiz bir ilk sınağı necə keçirmək olar?
İlk ayı bir eksperiment kimi qəbul edin. Modelin müştərilərin fərq edəcəyi səhvlər etmədən vaxta qənaət edib-etmədiyini yoxlayırsınız.
- Bir tapşırıq seçin və hər həftə əllə nə qədər vaxt apardığını qeyd edin
- Doğru cavablarla 50-100 real keçmiş nümunə toplayın
- Bir masaüstü proqramı və bir model quraşdırın
- Qısa bir təlimat yazın və ona iki-üç nümunə daxil edin
- Keçmiş nümunələrinizi işə salın və neçəsinin düzgün çıxdığını sayın
- Nəticə yaxşıdırsa, onu yeni işdə istifadə edin, lakin iki həftə ərzində hər bir çıxışı yoxlayın
İlk mərhələdə modelin müştərilərə özbaşına mesaj göndərməsinə icazə verməyin. Onu layihə hazırlamaq üçün istifadə edin; bir insan təsdiqləsin.
Məxfilik və KVKK haqqında nə demək olar?
Türkiyədə Şəxsi Məlumatların Qorunması Qanunu (KVKK), Avropanın GDPR-i ilə ruhən oxşar olan şəxsi məlumatların işlənməsi qaydalarını müəyyən edir. Modeli öz kompüterinizdə yerli olaraq işlətmək o deməkdir ki, müştəri məlumatları kənar AI provayderinə getmir, bu da uyğunluğun bir hissəsini sadələşdirir.
Bu, digər vəzifələrinizi aradan qaldırmır. Məlumatları təhlükəsiz saxlamalı, kimin daxil ola biləcəyini məhdudlaşdırmalı və müştərilərə məlumatlarının necə istifadə edildiyini bildirməlisiniz. Əgər bunun əvəzinə bulud API-dən istifadə edirsinizsə, provayderin məlumat şərtlərini oxuyun və emalın harada baş verdiyini yoxlayın.
- Modeli işlədən noutbuku şifrələnmiş və parolla qorunan saxlayın
- Bitirdikdən sonra şəxsi məlumatları olan sınaq fayllarını silin
- Modelin nə üçün istifadə edildiyi və kimin istifadə edə biləcəyi barədə bir səhifəlik qeyd yazın
Kiçik bir model nə vaxt yanlış seçimdir?
Tapşırığınız hər dəfə dəyişirsə, araşdırma tələb edirsə və ya çox cilalanmış olmalıdırsa, böyük bir köməkçi daha yaxşıdır. Kiçik bir model həm də iş əlavə edir: kimsə yeniləmələri quraşdırmalı və yeni versiyaları sınaqdan keçirməlidir. Kompüterdə özünü rahat hiss etməyən bir biznes üçün yaxşı məxfilik parametrləri olan pullu bir köməkçi daha sadə ola bilər.
Dürüst sınaq vaxtdır. Kiçik modeli qurmaq və yoxlamaq tapşırığı əllə yerinə yetirməkdən daha çox vaxt aparırsa, dayandırın.
Alien Road kiçik bizneslər üçün kiçik dil modellərini necə tətbiq edir
Tipik bir əməkdaşlıqda komandamız sahibkarın təkrarlanan tapşırıqlarını və hər birinin əhatə etdiyi məlumatları siyahıya almaq üçün qısa bir zənglə başlayır. Biz tez-tez baş verən, sadə və həssas tapşırıqları qeyd edirik; bunlar kiçik model namizədləridir.
Sonra müştərinin maşınlarından birində masaüstü aləti quraşdırırıq, müştərinin dilini idarə edən bir model seçirik və biznesin öz mesajlarından nümunələrlə bir sorğu hazırlayırıq. İşçilər bir saatlıq təlim sessiyası və çap olunmuş yoxlama siyahısı alırlar.
Ölçmə üçün, tapşırığa sərf olunan saatları əvvəl və sonra müqayisə edirik və ilk ay üçün hər həftə çıxışların bir nümunəsini nəzərdən keçiririk. Hesabat qısadır: qənaət edilmiş vaxt, səhv dərəcəsi və saxlamaq, düzəltmək və ya dayandırmaq üçün tövsiyə.
Bu həftə haradan başlamaq lazımdır
Keçən ayın müştəri mesajlarını e-poçtunuzdan və ya WhatsApp Business-dən ixrac edin. Onlardan 50-sini sadə bir kateqoriya ilə əllə etiketləyin. LM Studio və ya Ollama quraşdırın, kiçik bir model yükləyin və ondan eyni 50-ni etiketləməsini istəyin. Onun cavablarını öz cavablarınızla müqayisə edin. Əgər onların çoxunda razılaşırsa, hər səhər gələnlər qutunuzu çeşidləyə bilən bir alətiniz var; razılaşmırsa, bir günortanızı sərf etmisiniz və faydalı bir şey öyrənmisiniz.
Nəticəni hər iki halda yazın: tapşırıq, model, xal və sərf olunan vaxt. Altı aydan sonra daha yeni bir model ilə yenidən cəhd etsəniz, müqayisə etmək üçün ədalətli bir baza xəttiniz olacaq və eyni quraşdırma işini sıfırdan təkrarlamayacaqsınız.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması