Kiçik dil modelləri, adətən bir neçə milyard və ya daha az parametrə malik olan və təsnifat, çıxarış və qısa yenidən yazma kimi dar tapşırıqları böyük modellərin xərclərinin bir hissəsinə yerinə yetirən yığcam AI modelləridir. Onların xərcləri hostinq və ya aşağı token başına API haqları, üstəgəl quraşdırma və qiymətləndirmədən ibarətdir. ROI, eyni keyfiyyət səviyyəsinə malik böyük model bazası ilə müqayisədə yüksək həcmli tapşırıqlarda daha aşağı xərclər və daha sürətli cavablardan əldə edilir.
Kiçik dil modeli nə sayılır?
Dəqiq bir sərhəd yoxdur, lakin bu termin adətən tək bir GPU, noutbuk və ya hətta telefonda işləyə bilən modelləri əhatə edir. Nümunələrə Microsoft-un Phi ailəsi, Google-un Gemma modelləri, Meta-dan kiçik Llama variantları, Mistral-ın yığcam modelləri və Qwen-in kiçik versiyaları daxildir. Bulud provayderləri həmçinin “mini”, “flash” və ya “haiku” variantları kimi öz modellərinin kiçik səviyyələrini satırlar.
Mübadilə aydındır: kiçik modellər daha ucuz və daha sürətlidir, lakin ümumi bilikləri daha azdır və mürəkkəb tapşırıqlarda mühakimə qabiliyyətləri daha zəifdir. Onlar tapşırıq yaxşı müəyyən edildikdə parlayırlar.
Hansı marketinq tapşırıqları kiçik modellər üçün uyğundur?
- Dəstək biletlərini, rəyləri və ya potensial müştəriləri sabit kateqoriyalara təsnif etmək.
- Mətnlərdən sahələri çıxarmaq, məsələn, təchizatçı təsvirlərindən məhsul atributlarını çıxarmaq.
- Sosial şərhlərdə əhval-ruhiyyənin etiketlənməsi.
- Məhsul adlarını uzunluq limitinə qədər qısaltmaq kimi ciddi qaydalarla qısa yenidən yazmalar.
- Marşrutlaşdırma: sorğunu hansı böyük modelin və ya insan növbəsinin idarə etməli olduğuna qərar vermək.
Strateji xülasələr və ya uzun formalı məzmun kimi geniş bilik, uzun sənədlər və ya diqqətli mühakimə tələb edən tapşırıqlar hələ də böyük modellər üçün daha uyğundur.
Xərclər harada yerləşir?
Seçim 1: API vasitəsilə yerləşdirilən kiçik modellər
Bir çox provayder API vasitəsilə kiçik modellər təklif edir və token başına əsas modellərindən xeyli aşağı qiymətlərlə hesablanır. Quraşdırma sürətlidir və işlətmək üçün infrastruktur tələb olunmur.
Seçim 2: öz-özünə yerləşdirilən açıq çəkili modellər
Açıq çəkili modellər vLLM, Ollama və ya llama.cpp kimi alətlərlə öz serverlərinizdə və ya bulud GPU-larınızda işlədilə bilər. Modelin məşğul olub-olmamasından asılı olmayaraq hesablama üçün, üstəgəl yerləşdirmə, monitorinq və yeniləmələr üçün mühəndislik vaxtına görə ödəniş edirsiniz. Öz-özünə hostinq həcm yüksək və sabit olduqda və ya məlumatlar infrastrukturunuzun daxilində qalmalı olduqda özünü doğruldur.
Paylaşılan xərclər
- Qiymətləndirmə: test dəsti qurmaq və modelləri müqayisə etmək.
- Kiçik modellərin böyüklərə nisbətən daha çox ehtiyac duyduğu prompt işi və ya incə tənzimləmə (fine-tuning).
- Zamanla keyfiyyətin azalmasının monitorinqi.
Büdcəni necə qurursunuz?
Tapşırıq həcmi və mövcud xərclərlə başlayın. Məsələn, elektron ticarət şirkəti ayda 50.000 müştəri rəyini təsnif edə bilər və hazırda hamısını böyük bir modelə göndərə bilər.
- Element başına tokenləri və ayda elementləri təxmin edin.
- Böyük model bazasını cari qiymətlərlə qiymətləndirin.
- İki və ya üç kiçik model seçimini qiymətləndirin: host edilmiş API və əgər varsa, öz-özünə yerləşdirilən hesablama.
- Qiymətləndirmə və prompt tənzimləməsi üçün quraşdırma saatlarını əlavə edin.
- Monitorinq və yenidən sınaq üçün aylıq müavinət əlavə edin.
Hər seçim üçün başabaş nöqtəsini hesablayın. Host edilmiş kiçik modellər tez-tez dərhal başabaş olur; öz-özünə hostinq adətən daha yüksək həcm tələb edir.
Keyfiyyətin kifayət qədər yaxşı olduğunu necə sübut edirsiniz?
Çıxış keyfiyyəti biznesin qəbul etdiyi səviyyədən aşağı düşərsə, xərc qənaətinin mənası yoxdur. Seçim etməzdən əvvəl qiymətləndirmə dəsti qurun.
- Bir şəxs tərəfindən razılaşdırılmış düzgün cavabları olan bir neçə yüz real nümunə toplayın.
- Böyük modeli və hər bir kiçik modeli eyni dəstdə işlədin.
- Dəqiqliyi, format uyğunluğunu və uğursuzluq növlərini qiymətləndirin.
- Biznes sahibi ilə minimum məqbul bal təyin edin.
Çox vaxt kiçik model əksər kateqoriyalarda hədəfə çatır, lakin bir neçəsində uğursuz olur. Ümumi bir nümunə marşrutlaşdırmadır: kiçik model əmin olduğu elementləri idarə edir, qalanları isə daha böyük modelə və ya insana gedir.
Hansı ROI göstəricilərini bildirməlisiniz?
- Emal edilmiş element başına xərc, əvvəl və sonra.
- Tapşırıq üçün aylıq xərc.
- Qiymətləndirmə dəstinə qarşı dəqiqlik, hər ay təzə nümunələrdə yenidən yoxlanılır.
- Median cavab müddəti, çat marşrutlaşdırması kimi real vaxt xüsusiyyətləri üçün vacibdir.
- Daha böyük modelə və ya insana yönləndirilən elementlərin payı.
Xərc və keyfiyyəti birlikdə təqdim edin. Gizli səhv dərəcəsi ilə gələn qənaət, adətən yenidən işləmə kimi geri qayıdır.
Alien Road AI optimallaşdırılmasında kiçik dil modellərini necə tətbiq edir
Tipik bir əməkdaşlıq müştərinin cari AI istifadəsi və hesablarının nəzərdən keçirilməsi ilə başlayır. Komanda tapşırıqları həcm və mürəkkəbliyə görə siyahıya alır və yüksək həcmli, dar tapşırıqları kiçik model namizədləri kimi qeyd edir.
Quraşdırma müştərinin real məlumatlarından qiymətləndirmə dəstinin qurulmasını, əvvəlcə host edilmiş kiçik modellərin, yalnız həcm və ya məlumat qaydalarının onları əsaslandırdığı hallarda isə öz-özünə yerləşdirilən variantların sınaqdan keçirilməsini əhatə edir. Marşrutlaşdırma qaydaları qeyri-müəyyən elementləri daha böyük modelə göndərir.
Ölçmə aylıqdır: element başına xərc, təzə nümunələrdə dəqiqlik, eskalasiya payı və cavab müddəti. Hesabat kiçik modellərin başqa bir tapşırığa genişləndirilməsini və ya marşrutlaşdırma həddinin tənzimlənməsini tövsiyə edir. Model seçimləri provayderlər yeni kiçik səviyyələr buraxdıqda yenidən nəzərdən keçirilir, çünki qiymətləndirmə dəstini keçən ən ucuz model zamanla dəyişir.
Qısa bir ssenari: bazar satıcısı üçün rəy etiketlənməsi
Hər bir daxil olan məhsul rəyini mövzuya görə etiketləyən bir bazar satıcısını nəzərdən keçirin: ölçü, keyfiyyət, çatdırılma, qablaşdırma və qiymət. Hazırda bunun üçün böyük bir modeldən istifadə edir və hesab rəy həcmi ilə birlikdə artır. Komanda dörd yüz rəyi əllə etiketləyir və böyük modelə qarşı iki host edilmiş kiçik modeli sınaqdan keçirir.
Bir kiçik model beş mövzudan dördündə böyük modelə uyğun gəlir, lakin qablaşdırma və çatdırılma şikayətlərini qarışdırır. Satıcı marşrutlaşdırma qaydası əlavə edir: qutular, kuryerlər və ya zədələnmə haqqında bəhs edən rəylər böyük modelə, qalan hər şey isə kiçik modelə gedir. Rəy başına xərc kəskin şəkildə azalır, test dəstində dəqiqlik razılaşdırılmış hədəfdən yuxarı qalır və marşrutlaşdırma həddi aylıq olaraq nəzərdən keçirilir.
Bu həftə haradan başlamaq lazımdır
Yığınınızdakı ən yüksək həcmli AI tapşırığını tapın və bir neçə yüz giriş nümunəsini ixrac edin. Düzgün çıxışları əllə etiketləyin. Həmin nümunəni kiçik bir host edilmiş model vasitəsilə işlədin və nəticələri cari modelinizlə müqayisə edin. Kiçik model yaxındırsa, pilot üçün güclü bir əsasınız var; deyilsə, bunu ucuz yolla öyrənmisiniz. Hər iki halda, etiketlənmiş nümunəni saxlayın. Bu, həmin tapşırıq üzrə gələcək hər bir model qərarı üçün qiymətləndirmə dəsti olur və qiymətlər və ya modellər dəyişdikdə onu yenidən işlətmək heç bir xərc tələb etmir.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması