Ən çox yayılmış Mistral AI səhvləri modeli tapşırığa görə deyil, başlıqdakı göstəricilərə görə seçmək, hər modelin eyni açıq lisenziyaya malik olduğunu güman etmək, öz məlumatlarınız üzərində qiymətləndirməni ötürmək və öz-özünə hostinq işini qiymətləndirməməkdir. Mistral, xüsusilə Avropa məlumat ehtiyacları üçün faydalı yerləşdirmə seçimləri ilə bacarıqlı modellər təklif edir, lakin bu üstünlüklər yalnız quraşdırma işə uyğun olduqda görünür.
Mistral AI, 2023-cü ildə Google DeepMind və Meta-nın keçmiş tədqiqatçıları tərəfindən qurulmuş Paris mərkəzli bir şirkətdir. O, Apache 2.0 kimi icazəverici lisenziyalar altında buraxılan açıq çəkili modellərin və API, La Plateforme və bulud bazarları vasitəsilə əldə edilə bilən kommersiya modellərinin qarışığını dərc edir. Onun çat köməkçisinin adı Le Chat-dır. Sıra tez-tez dəyişir, buna görə də bu məqalədəki model adları cari kataloq deyil, nümunələrdir.
Səhv 1: Varsayılan olaraq ən böyük modeli seçmək
Daha böyük modellər adətən mürəkkəb mühakimə yürütməkdə daha yaxşıdır, lakin onlar token başına daha çox başa gəlir və daha yavaş cavab verir. Şərhlərin təsnif edilməsi, məhsulların etiketlənməsi və ya formalardan sahələrin çıxarılması kimi bir çox marketinq tapşırıqları daha kiçik modellərdə yaxşı işləyir. Mistral-ın daha kiçik və kənara yönəlmiş modelləri məhz bu işlər üçün mövcuddur.
- Təsnifat və çıxarış: kiçik bir modellə başlayın və yalnız dəqiqlik kifayət etmədikdə irəliləyin
- Layihələşdirmə və ümumiləşdirmə: əvvəlcə orta ölçülü bir modeli sınaqdan keçirin
- Mürəkkəb mühakimə və ya uzun sənədlər: böyük bir modeli orta ölçülü seçimlə müqayisə edin
- Kodun yaradılması: mövcud olduqda Mistral-ın kod üçün ixtisaslaşmış modellərini sınaqdan keçirin
- Şəkil anlayışı: görmə girişini dəstəkləyən bir modeldən istifadə edin
Səhv 2: Hər Mistral modelinin açıq olduğunu güman etmək
Bəzi Mistral modelləri Apache 2.0 altında açıq çəkilərlə buraxılır. Digərləri yalnız API vasitəsilə və ya məhdudiyyətləri olan tədqiqat və ya kommersiya lisenziyaları altında mövcuddur. Komandalar bəzən öz-özünə hostinq yerləşdirməyi planlaşdırır, sonra isə sınaqdan keçirdikləri modelin bu istifadə üçün mövcud olmadığını aşkar edirlər.
Hər hansı bir şey qurmazdan əvvəl model kartındakı lisenziyanı yoxlayın. Lisenziyanı layihə sənədlərində qeyd edin və daha yeni versiyaya keçdikdə yenidən yoxlayın, çünki şərtlər buraxılışlar arasında fərqli ola bilər.
Səhv 3: Öz testləriniz əvəzinə göstəricilərə etibar etmək
İctimai göstəricilər ictimai məlumat dəstlərində ümumi bacarıqları ölçür. Sizin tapşırığınız spesifikdir: məhsul adlarınız, tonunuz, dilləriniz. Riyaziyyat göstəricisində yaxşı nəticə göstərən bir model hələ də türk məhsul təsvirlərini korlaya bilər.
- Gözlədiyiniz nəticə ilə 50-dən 100-ə qədər real nümunə toplayın
- Onları eyni sorğu ilə iki və ya üç namizəd model vasitəsilə işlədin
- Dəqiqliyi, format uyğunluğunu və dil keyfiyyətini qiymətləndirin
- Sorğu başına xərci və gecikməni qeyd edin
- Provayder yeni versiya buraxdıqda testi təkrarlayın
Bu bir və ya iki gün çəkir. Bu, ümumiyyətlə hansı modelin daha yaxşı olması ilə bağlı həftələrlə mübahisə etməkdən xilas edir, bu da yanlış sualdır.
Səhv 4: Öz-özünə hostinqi qiymətləndirməmək
Açıq çəkiləri öz serverlərinizdə işlətmək yüksək həcmdə məlumat və xərc üzərində nəzarəti təmin edir. Bu, həmçinin sizi GPU-lar, vLLM kimi proqram təminatı, miqyaslama, təhlükəsizlik yamaları və monitorinq üçün məsuliyyət daşıyır. Kiçik bir komanda üçün bu xərclər API haqlarını keçə bilər.
Orta seçimlər mövcuddur. Mistral modelləri Azure, Amazon Bedrock və Google Vertex AI daxil olmaqla əsas buludlar vasitəsilə və Aİ hostinqi ilə Mistral-ın öz platforması vasitəsilə təklif olunur. Bunlar sizə serverləri özünüz işlətmədən region seçməyə və məlumatların işlənməsi şərtlərini imzalamağa imkan verir. Öhdəlik götürməzdən əvvəl hər üç yolu müqayisə edin.
Səhv 5: Zəif sorğular və çıxış formatının olmaması
Komandalar tez-tez başqa bir provayderdən bir sorğunu köçürür və eyni nəticələri gözləyirlər. Hər model ailəsi təlimatlara fərqli cavab verir. Sorğular qısa, açıq qaydalar və nümunələr tələb edir və çıxışlar strukturlaşdırılmalıdır.
- Rol və qaydalar üçün sistem sorğusundan, tapşırıq üçün istifadəçi mesajından istifadə edin
- Nəticə başqa bir sistemə daxil olduqda JSON çıxışı tələb edin və dəstəkləndiyi yerdə JSON rejimindən istifadə edin
- Giriş və düzgün çıxışın iki və ya üç nümunəsini verin
- Çıxarış və təsnifat üçün temperaturu aşağı qoyun
- Hər cavabı yoxlayın və uğursuzluq halında yenidən cəhd edin və ya işarələyin
Məlumatın yeri burada niyə bu qədər vacibdir?
Bir çox komanda Mistral-ı qismən Aİ hostinq seçimləri olan Avropa şirkəti olduğu üçün seçir. Bu, GDPR müzakirələrinə kömək edir, lakin onları əvəz etmir. Sizə hələ də məlumatların işlənməsi müqaviləsi, aydın məqsəd və sorğulara hansı şəxsi məlumatların daxil olması ilə bağlı qaydalar lazımdır.
KVKK altında işləyən türk şirkətləri sərhədlərarası köçürmə ilə bağlı oxşar suallarla üzləşirlər. Xüsusi son nöqtənin məlumatları harada emal etdiyini, sorğuların saxlanılıb-saxlanılmadığını və planınız altında təlim üçün istifadə edilib-edilə bilməyəcəyini yoxlayın. Cavabları yazın.
Alien Road Mistral AI-ni necə tətbiq edir
Tipik bir AI optimallaşdırma işində biz Mistral-ı model siyahısında bir namizəd kimi qəbul edirik, varsayılan kimi deyil. Kəşf tapşırığı, məlumat həssaslığını, dilləri və gözlənilən həcmi müəyyən edir. Sonra müştərinin real nümunələrindən bir qiymətləndirmə dəsti qururuq və Mistral modellərini dəqiqlik, xərc və sürət baxımından digər provayderlərin alternativləri ilə sınaqdan keçiririk.
Əgər Mistral bir tapşırıq üçün qalib gələrsə, biz müştərinin uyğunluq ehtiyaclarına uyğun olan marşrut vasitəsilə, çox vaxt düzgün regionda bulud bazarı vasitəsilə yerləşdiririk və giriş və çıxışın yoxlanılmasını əlavə edirik. Hesabatlar qiymətləndirmə dəstindəki dəqiqliyi, min sorğu üçün xərci və istehsalatdakı səhv dərəcələrini göstərir. Məsələn, məhsul etiketləmə işi, sınaqlar daha böyük alternativdən daha aşağı xərclə oxşar dəqiqliyi göstərdikdən sonra kiçik bir Mistral modelinə keçə bilər.
İşə salındıqdan sonra monitorinq
Mistral modeli canlı olduqdan sonra qiymətləndirmə dəsti reqressiya testinə çevrilir. Biz onu aylıq və provayder model yeniləməsi və ya ləğvi elan etdikdə yenidən işlədirik, çünki köhnə versiyalar cədvəl üzrə təqaüdə çıxır. Dəqiqlik düşərsə, dəyişiklik müştərinin qəribə nəticələri görməsi ilə deyil, sınaq zamanı tutulur.
- Hər sorğu ilə model adını və versiyasını qeyd edin
- Artan səhv və ya yenidən cəhd dərəcələri barədə xəbərdarlıq edin
- Min sorğu üçün xərci büdcəyə qarşı izləyin
- Son nöqtə mövcud olmadıqda ehtiyat modelini konfiqurasiya edin
Ehtiyat variantı çox vaxt nəzərdən qaçırılır. İstənilən provayderin kəsilməsi ola bilər və bir son nöqtədən asılı olan iş axını o kəsildikdə dayanır. Sınaqdan keçirilmiş ikinci seçim, hətta bir az daha az dəqiq olsa belə, işin davam etməsini təmin edir.
Bu həftə haradan başlamaq lazımdır
Bir təkrarlanan mətn tapşırığı seçin və düzgün cavablarla əlli real nümunə toplayın. Mistral API hesabı yaradın, iki namizəd model üçün lisenziya və məlumat şərtlərini oxuyun və nümunələrinizi hər ikisi vasitəsilə işlədin. Nəticələri bu gün istifadə etdiyiniz modellə müqayisə edin. Bu tək test Mistral-ın sizin yığınınızda yer tutmağa layiq olub-olmadığını göstərəcək.
Oxumağa davam edin: AI Optimizasiyası · AI Optimizasiyası