Mistral ai performansını və biznes dəyərini ölçmək

2023-cü ildə Google DeepMind və Meta-nın keçmiş tədqiqatçıları tərəfindən qurulan Mistral, tez bir zamanda Avropanın ən tanınmış AI model şirkəti oldu. Yazı zamanı onun çeşidinə müxtəlif ölçülü ümumi modellər, Codestral kimi kodlaşdırma modelləri, sənəd və OCR modelləri və kənar cihazlara uyğun kiçik modellər daxildir. Bir neçə model icazəli lisenziyalar altında buraxılır, ona görə də şirkətlər onları öz serverlərində işlədə bilərlər.

Bizneslər Mistral-dan üç yolla istifadə edirlər. Digər model təminatçıları kimi, onun API-si olan La Plateforme vasitəsilə. Fərdlər və komandalar üçün köməkçisi olan, müəssisə seçimləri ilə Le Chat vasitəsilə. Və ya açıq çəkili modelləri öz infrastrukturunda və ya Azure, AWS və Google Cloud kimi bulud tərəfdaşları vasitəsilə öz-özünə yerləşdirməklə.

Bir çox Avropa və Türkiyə şirkətləri üçün cəlbedicilik xərc, məlumat yeri seçimləri və modelləri şəxsi şəkildə işlətmək seçiminin qarışığıdır.

AI layihələri çox vaxt təcrübə kimi başlayır. Kimsə API-ni çat-bota və ya məzmun alətinə qoşur, faydalı görünür və yayılır. Aylar sonra heç kim onun pul qənaət edib-etmədiyini və ya hansı keyfiyyəti təmin etdiyini deyə bilmir. Büdcəyə baxış keçiriləndə layihəni müdafiə etmək çətin olur.

Ölçmə həm də ona görə ötürülür ki, model çıxışları mətndir və mətn keyfiyyəti subyektiv hiss olunur. Hər tapşırıq üçün “yaxşı” mənasının nə olduğunu müəyyən etdikdə və nümunəni mütəmadi olaraq qiymətləndirdikdə bu daha az subyektiv olur.

Texniki KPI-lar sizə sistemin işləyib-işləmədiyini və nəyə başa gəldiyini bildirir. Əksəriyyəti birbaşa API qeydlərindən gəlir.

• İstifadənin harada artdığını görmək üçün gündəlik və istifadə halı üzrə sorğular.
• Xərcə səbəb olan sorğu başına giriş və çıxış tokenləri.
• Yalnız aylıq ümumi xərc deyil, tapşırıq başına xərc, məsələn, ümumiləşdirilmiş bilet və ya məhsul təsviri başına xərc.
• Gecikmə: median və yavaş cavab müddətləri, çünki istifadəçilər yavaş cavabları hiss edirlər.
• Xəta və vaxt aşımı dərəcəsi, o cümlədən limit dərəcəsi xətaları.
• Öz-özünə yerləşdirilən modellər üçün: GPU istifadəsi və min sorğu üçün xərc.

Hər sorğu ilə model adını qeyd edin. Məsələn, kiçik və böyük Mistral modeli arasında keçid etdikdə, xərc və keyfiyyət dəyişikliyini aydın görmək istəyirsiniz.

Keyfiyyət üçün test dəsti lazımdır. Hər bir istifadə halı üçün 50-dən 200-ə qədər real nümunə toplayın, məsələn, müştəri e-poçtları, məhsul məlumat qeydləri və ya dəstək sualları, razılaşdırılmış yaxşı cavab və ya qiymətləndirmə bələdçisi ilə.

Çıxışları tapşırıq üçün vacib olan bir neçə meyar üzrə qiymətləndirin:

• Dəqiqlik: faktlar düzgündürmü və təqdim olunan kontekstdən götürülübmü?
• Tamlıq: cavab istifadəçinin soruşduğunu əhatə edirmi?
• Format: tələb olunan struktura, uzunluğa və tona uyğundurmu?
• Dil keyfiyyəti: xüsusilə türk və digər ingilis dili olmayan çıxışlar üçün qrammatika təbiidirmi?
• Təhlükəsizlik: verilməyən qiymətlər kimi deməməli olduğu şeylərdən qaçırmı?

İnsan rəyçiləri hər ay bir nümunəni qiymətləndirə bilərlər. Bəzi komandalar həmçinin çıxışları əvvəlcədən qiymətləndirmək üçün hakim kimi daha güclü modeldən istifadə edir, sonra daha kiçik bir dəsti əllə yoxlayırlar. Modeli, sorğunu və ya parametrləri hər dəyişdikdə eyni test dəstini işə salın.

Rəhbərlik nəticələrlə maraqlanır. Hər bir istifadə halını bir və ya iki biznes metriki ilə əlaqələndirin və tətbiqdən əvvəl baza xəttini qeyd edin.

Müştəri dəstəyi üçün ilk cavab müddətini, eskalasiya olmadan həll olunan biletlərin payını və müştəri məmnuniyyəti ballarını izləyin. Məzmun və marketinq üçün aktiv başına vaxtı, dərc olunan aktivlərin sayını və AI qaralamaları üzərində redaktə vaxtını izləyin. Daxili bilik köməkçiləri üçün qısa sorğular vasitəsilə qənaət edilən axtarış vaxtını və insan eksperti olmadan cavablandırılan sualların sayını izləyin.

Qənaət edilən vaxtı diqqətlə pula çevirin. Real saatlıq xərclərdən istifadə edin və mühafizəkar olun; rəhbərlik şişirdilmiş qənaətləri nəzərə almayacaq.

Üç səviyyəyə uyğun gələn üç bölməli bir idarəetmə paneli qurun. Qeydlərinizin harada yerləşməsindən asılı olaraq Looker Studio, Power BI, Grafana və ya Metabase işləyir.

• Üst: aylıq, baza xəttinə qarşı istifadə halı üzrə biznes KPI-ları.
• Orta: trend xətləri ilə ən son test dəsti işindən keyfiyyət balları.
• Alt: tapşırıq başına xərc, gecikmə və xətalar daxil olmaqla texniki göstəricilər.
• Yan panel: yeni modellər, sorğular və ya məlumat mənbələri kimi dəyişikliklər haqqında qeydlər.

Onu bir səhifədə saxlayın. İdarəetmə panelinin bələdçiyə ehtiyacı varsa, o, çox mürəkkəbdir.

Rəqəmləri nə qədər tez-tez nəzərdən keçirməlisiniz?

Aylıq yaxşı bir defoltdur. Texniki göstəricilər sistemi işlədən şəxs tərəfindən həftəlik yoxlanıla bilər, çünki xərc artımları və xəta partlayışları sürətli hərəkət tələb edir. Keyfiyyət balları aylıq dövrə ehtiyac duyur ki, rəyçilər yüklənməsin. Biznes KPI-ları yavaş hərəkət edir və rəhbərliklə rüblük nəzərdən keçirilməsi ən yaxşısıdır. Model və ya sorğuda hər hansı bir dəyişiklikdən dərhal sonra tam test dəstini yenidən işə salın, nə qədər kiçik olsa da; bir tapşırığı yaxşılaşdıran sorğu dəyişikliyi digərinə sakitcə zərər verə bilər.