Kiçik dil modellərini ölçmək, daha ucuz və sürətli bir modelin müəyyən bir işi kifayət qədər yaxşı yerinə yetirdiyini sübut etmək və qənaəti rəqəmlərlə göstərmək deməkdir. Microsoft Phi, Google Gemma, Meta-nın kiçik Llama variantları və Mistral Small kimi kiçik modellər API vasitəsilə və ya öz aparatınızda ucuz şəkildə işləyə bilər. Əhəmiyyətli KPI-lar tapşırıq keyfiyyəti, gecikmə, tapşırıq başına xərc və tapşırığın dəstəklədiyi biznes nəticəsidir.
Kiçik dil modelləri niyə öz ölçülmələrinə ehtiyac duyur?
Böyük modellər çox vaxt nüfuzuna görə seçilir. Kiçik modellər isə bir güzəşt əsasında seçilir: sürət, xərc və nəzarət üçün ümumi qabiliyyətdə müəyyən itkini qəbul edirsiniz. Bu güzəşt yalnız onu görə bildiyiniz zaman təhlükəsizdir. Ölçmə olmadan, komanda ya sadə tapşırıqlarda böyük bir model üçün artıq ödəniş edir, ya da on cavabdan birini səhv verən kiçik bir modeli səssizcə istifadəyə verir.
Kiçik modellər həm də daha dar çərçivəli olmağa meyllidir. Dəstək biletlərini yaxşı etiketləyən bir model zəif reklam mətni yaza bilər. Ölçmə modelə görə deyil, tapşırığa görə aparılmalıdır.
Əvvəlcə nəyi ölçməlisiniz?
Dörd metrik qrupu ilə başlayın. Hər biri biznesdəki fərqli bir şəxsin fərqli sualına cavab verir.
- Keyfiyyət: çıxış standartlara cavab verirmi? Etiketlənmiş test dəstinə qarşı ölçülür.
- Gecikmə: cavab nə qədər vaxt aparır? Median və 95-ci persentil vaxtı kimi ölçülür.
- Xərc: təkrar cəhdlər və insan düzəlişləri daxil olmaqla, bir tamamlanmış tapşırıq neçəyə başa gəlir?
- Biznes təsiri: cavab müddəti, konversiya və ya qənaət edilmiş saatlar kimi aşağı axın KPI-ı hərəkət etdimi?
Keyfiyyət və xərc adətən marketinq komandaları üçün ən vacib olanlardır. Gecikmə çat və ya saytdaxili axtarış kimi müştərinin gözlədiyi hər şey üçün vacibdir.
Tapşırıq növünə görə keyfiyyət metrikləri
Keyfiyyət metriki işdən asılıdır. Lead ballama, niyyət etiketləmə və ya sentiment kimi təsnifat tapşırıqları üçün insanın təyin etdiyi etiketlərə qarşı dəqiqlik, dəqiqlik (precision) və xatırlama (recall) istifadə edin. Ekstraksiya tapşırıqları üçün düzgün doldurulmuş sahələrin payını hesablayın. Yazı tapşırıqları üçün insanlar tərəfindən və ya hakim rolunu oynayan daha güclü model tərəfindən qiymətləndirilən rubrikadan istifadə edin, hakimin razılaşdığını təsdiqləmək üçün insanlar tərəfindən yoxlanılan bir nümunə ilə.
Token başına xərc deyil, tapşırıq başına xərc
Token qiymətləri kiçik görünür və çaşdırır. Tamamlanmış tapşırıq başına xərci hesablayın: tapşırıq başına tokenlər qiymətə vurulur, üstəgəl təkrar cəhdlərin xərci, üstəgəl insanın pis çıxışları düzəltməyə sərf etdiyi dəqiqələr. Tez-tez düzəliş tələb edən kiçik bir model, ümumilikdə, bunu etməyən daha böyük bir modeldən daha baha başa gələ bilər.
Qiymətləndirmə dəstini necə qurursunuz?
Qiymətləndirmə dəsti, məlum yaxşı çıxışları olan real girişlərin sabit toplusudur. Bu, idarəetmə panelinizdəki hər bir rəqəmin təməlidir.
- Uydurma deyil, tapşırıqdan 100-300 real nümunə toplayın.
- Hər biri üçün düzgün çıxışı etiketləmək və ya yazmaq üçün bir şəxs təyin edin.
- Çətin halları daxil edin: yazım səhvləri, qarışıq dillər, kənar kateqoriyalar.
- Dəsti dondurun və ona versiya nömrəsi verin.
- Hər bir namizəd modeli və sorğunu eyni dəstə qarşı işlədin.
Hər ay toplanan yeni nümunələrdən ibarət ayrı bir kiçik dəst saxlayın. Əgər dondurulmuş dəst sabit qaldığı halda təzə məlumatlar üzrə performans düşərsə, real girişləriniz dəyişib və model və ya sorğu yenilənməlidir.
Faydalı bir idarəetmə paneli necə görünür?
Kiçik dil modelləri üçün idarəetmə paneli bir ekrana sığmalı və üç suala cavab verməlidir: işləyirmi, ucuzdurmu və kömək edirmi. Looker Studio, Power BI və ya Grafana işləyir; vacib olan arxasındakı məlumatdır.
Üst sıra: sağlamlıq
Gündəlik sorğular, xəta dərəcəsi, median və 95-ci persentil gecikməsi. Bunlar birbaşa tətbiq jurnallarından gəlir. Burada qəfil dəyişiklik adətən model problemi deyil, texniki problem deməkdir.
Orta sıra: keyfiyyət
Dondurulmuş qiymətləndirmə dəstində ən son bal, aylıq təzə nümunədə bal və insanın istifadədən əvvəl dəyişdirdiyi çıxışların payı olan insan ləğvetmə dərəcəsi. Ləğvetmə dərəcəsi çox vaxt istehsalda sahib olduğunuz ən dürüst keyfiyyət siqnalıdır.
Alt sıra: dəyər
Zamanla tapşırıq başına xərc, ayda qənaət edilmiş saatlar (tapşırıqlar tapşırıq başına qənaət edilən dəqiqələrə vurulur, bir dəfə insanların vaxtı ölçülməklə hesablanır) və tapşırıqla bağlı biznes KPI-ı. Lead etiketləmə modeli üçün bu, forma doldurulmasından ilk satış əlaqəsinə qədər olan vaxt ola bilər.
Kiçik bir modeli böyük bir model ilə necə müqayisə edirsiniz?
Hər ikisini eyni sorğu strukturu ilə eyni qiymətləndirmə dəstində işlədin. Keyfiyyəti tapşırıq başına xərcə qarşı qrafikləşdirin. Çox vaxt nəticə aydındır: kiçik model dar tapşırıqlarda böyük modelin balının çox hissəsinə xərclərin bir hissəsi ilə çatır və açıq uçlu yazıda və ya mühakimədə ciddi şəkildə geri qalır. Sonra tapşırıq başına qərar verin.
Marşrutlaşdırma quruluşu geniş yayılmışdır: kiçik model tapşırığı əvvəlcə idarə edir və aşağı etimad bildirdiyi və ya sadə bir qaydanın şübhə yaratdığı hallar daha böyük modelə gedir. Yuxarı yönləndirilən trafikin payını ölçün; əgər artarsa, kiçik model artıq yaxşı uyğun gəlmir.
Alien Road kiçik dil modellərini necə tətbiq edir və onları necə ölçür
Tipik bir əməkdaşlıqda AI optimallaşdırma komandamız müştərinin AI tapşırıqlarını və onların cari modelini siyahıya alır, sonra məhsul atributlarının çıxarılması, rəy etiketləmə və ya lead təsnifatı kimi kiçik model üçün namizəd kimi yüksək həcmli, dar tapşırıqları seçir.
Biz qiymətləndirmə dəstini müştərinin öz məlumatları ilə qururuq, iki və ya üç kiçik modeli cari modelə qarşı test edirik və gecikmə, xərc və ləğvetmələr üçün jurnal qeydiyyatını qururuq. İdarəetmə paneli müştərinin öz BI alətində təqdim olunur, ona görə də bizdən asılı deyil.
Hesabat aylıqdır: dondurulmuş və təzə dəstlərdə keyfiyyət, tapşırıq başına xərc, ləğvetmə dərəcəsi və əlaqəli biznes KPI, həmin ay edilən hər hansı model və ya sorğu dəyişikliyi haqqında qısa qeydlə.
Hansı səhvlər rəqəmləri çaşdırıcı edir?
Ən çox yayılmışı, real məlumatlardan daha təmiz olan və balları şişirdən uydurma nümunələr üzərində test etməkdir. İkincisi, real xərci gizlədən insan düzəliş vaxtına məhəl qoymamaqdır. Üçüncüsü, sorğunu və modeli eyni vaxtda dəyişdirməkdir, beləliklə heç kim hansı dəyişikliyin kömək etdiyini bilmir. Hər testdə bir şeyi dəyişdirin.
Digər bir tələ, bir modelin digərini yoxlamalar olmadan mühakimə etməsinə icazə verməkdir. Hakim modelin öz qərəzləri var, o cümlədən daha uzun cavablara üstünlük vermək. Hər ay onun ballarının bir nümunəsini əllə yoxlayın.
Bu həftə haradan başlamaq lazımdır
Komandanızın artıq böyük bir model vasitəsilə işlətdiyi bir yüksək həcmli tapşırıq seçin. Qəbul edilmiş çıxışları ilə 100 real girişi çəkin, eyni sorğu ilə kiçik bir modeli onlara qarşı işlədin və sadə bir cədvəldə dəqiqliyi və tapşırıq başına xərci müqayisə edin. Bu tək müqayisə sizə idarəetmə panelinin növbəti dəfə qurulmağa dəyər olub-olmadığını deyir.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması