En yaygın Mistral AI hataları, bir modeli göreve göre değil de başlık benchmark’ına göre seçmek, her modelin aynı açık lisansa sahip olduğunu varsaymak, kendi verileriniz üzerinde değerlendirmeyi atlamak ve kendi kendine barındırma işini hafife almaktır. Mistral, özellikle Avrupa veri ihtiyaçları için yararlı dağıtım seçenekleriyle yetenekli modeller sunar, ancak bu avantajlar yalnızca kurulum işe uygun olduğunda ortaya çıkar.
Mistral AI, 2023 yılında Google DeepMind ve Meta’dan eski araştırmacılar tarafından kurulan Paris merkezli bir şirkettir. Apache 2.0 gibi izin verici lisanslar altında yayınlanan açık ağırlıklı modellerin ve API, La Plateforme ve bulut pazarları aracılığıyla sunulan ticari modellerin bir karışımını yayınlar. Sohbet asistanının adı Le Chat’tir. Seri sık sık değişir, bu nedenle bu makaledeki model adları güncel bir katalog değil, örnektir.
Hata 1: Varsayılan olarak en büyük modeli seçmek
Daha büyük modeller genellikle karmaşık akıl yürütmede daha iyidir, ancak token başına daha maliyetlidirler ve daha yavaş yanıt verirler. Yorumları sınıflandırma, ürünleri etiketleme veya formlardan alanları çıkarma gibi birçok pazarlama görevi daha küçük modellerde iyi çalışır. Mistral’in daha küçük ve uç odaklı modelleri tam olarak bu işler için mevcuttur.
- Sınıflandırma ve çıkarma: küçük bir modelle başlayın ve yalnızca doğruluk yeterli değilse yükseltin
- Taslak oluşturma ve özetleme: önce orta boy bir modeli test edin
- Karmaşık akıl yürütme veya uzun belgeler: büyük bir modeli orta boy seçenekle karşılaştırın
- Kod oluşturma: mevcut olduğunda Mistral’in kod uzmanı modellerini test edin
- Görüntü anlama: görüntü girişini destekleyen bir model kullanın
Hata 2: Her Mistral modelinin açık olduğunu varsaymak
Bazı Mistral modelleri Apache 2.0 altında açık ağırlıklarla yayınlanır. Diğerleri yalnızca API aracılığıyla veya kısıtlamaları olan araştırma veya ticari lisanslar altında mevcuttur. Ekipler bazen kendi kendine barındırılan bir dağıtım planlar, ardından test ettikleri modelin bu kullanım için mevcut olmadığını keşfederler.
Bir şey inşa etmeden önce model kartındaki lisansı kontrol edin. Lisansı proje belgelerine kaydedin ve daha yeni bir sürüme yükselttiğinizde tekrar kontrol edin, çünkü koşullar sürümler arasında farklılık gösterebilir.
Hata 3: Kendi testleriniz yerine benchmark’lara güvenmek
Halka açık benchmark’lar, halka açık veri kümelerindeki genel becerileri ölçer. Sizin göreviniz özeldir: ürün adlarınız, tonunuz, dilleriniz. Matematik benchmark’ında iyi puan alan bir model, yine de Türkçe ürün açıklamalarını bozabilir.
- Beklediğiniz çıktıyla 50 ila 100 gerçek örnek toplayın
- Bunları aynı istemle iki veya üç aday model üzerinden çalıştırın
- Doğruluğu, format uyumluluğunu ve dil kalitesini puanlayın
- İstek başına maliyeti ve gecikmeyi kaydedin
- Bir sağlayıcı yeni bir sürüm yayınladığında testi tekrarlayın
Bu bir veya iki gün sürer. Hangi modelin genel olarak daha iyi olduğu konusunda haftalarca tartışmaktan kurtarır, ki bu yanlış sorudur.
Hata 4: Kendi kendine barındırmayı hafife almak
Açık ağırlıkları kendi sunucularınızda çalıştırmak, yüksek hacimde veri ve maliyet üzerinde kontrol sağlar. Ayrıca sizi GPU’lar, vLLM gibi sunucu yazılımları, ölçeklendirme, güvenlik yamaları ve izleme konusunda sorumlu kılar. Küçük bir ekip için bu maliyetler API ücretlerini aşabilir.
Orta seçenekler mevcuttur. Mistral modelleri, Azure, Amazon Bedrock ve Google Vertex AI dahil olmak üzere büyük bulutlar aracılığıyla ve AB barındırma ile Mistral’in kendi platformu aracılığıyla sunulur. Bunlar, sunucuları kendiniz çalıştırmadan bir bölge seçmenize ve veri işleme şartlarını imzalamanıza olanak tanır. Taahhütte bulunmadan önce her üç yolu da karşılaştırın.
Hata 5: Zayıf istemler ve çıktı formatının olmaması
Ekipler genellikle başka bir sağlayıcıdan bir istemi taşır ve aynı sonuçları bekler. Her model ailesi talimatlara farklı yanıt verir. İstemler kısa, açık kurallar ve örnekler gerektirir ve çıktılar yapılandırılmalıdır.
- Rol ve kurallar için sistem istemini, görev için kullanıcı mesajını kullanın
- Sonuç başka bir sisteme beslendiğinde JSON çıktısı isteyin ve desteklenen yerlerde JSON modunu kullanın
- Giriş ve doğru çıktı için iki veya üç örnek verin
- Çıkarma ve sınıflandırma için sıcaklığı düşük ayarlayın
- Her yanıtı doğrulayın ve başarısızlık durumunda yeniden deneyin veya işaretleyin
Veri konumu burada neden bu kadar önemli?
Birçok ekip Mistral’i kısmen AB barındırma seçeneklerine sahip bir Avrupa şirketi olduğu için seçiyor. Bu, GDPR tartışmalarına yardımcı olur, ancak onların yerini almaz. Yine de bir veri işleme sözleşmesine, net bir amaca ve istemlere hangi kişisel verilerin girdiği konusunda kurallara ihtiyacınız var.
KVKK kapsamında çalışan Türk şirketleri, sınır ötesi transfer konusunda benzer sorularla karşı karşıyadır. Belirli uç noktanın verileri nerede işlediğini, istemlerin saklanıp saklanmadığını ve planınız kapsamında eğitim için kullanılıp kullanılamayacağını kontrol edin. Cevapları yazın.
Alien Road Mistral AI’yi nasıl uyguluyor
Tipik bir AI optimizasyon çalışmasında Mistral’i varsayılan olarak değil, model kısa listesindeki bir aday olarak ele alıyoruz. Keşif aşaması görevi, veri hassasiyetini, dilleri ve beklenen hacmi tanımlar. Ardından müşterinin gerçek örneklerinden bir değerlendirme seti oluşturuyoruz ve Mistral modellerini doğruluk, maliyet ve hız açısından diğer sağlayıcıların alternatifleriyle test ediyoruz.
Mistral bir görev için kazanırsa, müşterinin uyumluluk ihtiyaçlarına uyan rota üzerinden, genellikle doğru bölgedeki bir bulut pazarı aracılığıyla dağıtıyoruz ve günlük kaydı ile çıktı doğrulaması ekliyoruz. Raporlar, değerlendirme setindeki doğruluğu, bin istek başına maliyeti ve üretimdeki hata oranlarını gösterir. Örneğin, bir ürün etiketleme işi, testler daha büyük bir alternatife göre daha düşük maliyetle benzer doğruluk gösterdikten sonra küçük bir Mistral modeline geçebilir.
Başlatma sonrası izleme
Bir Mistral modeli canlıya geçtiğinde, değerlendirme seti bir regresyon testine dönüşür. Bunu aylık olarak ve sağlayıcı bir model güncellemesi veya kullanımdan kaldırma duyurduğunda yeniden çalıştırıyoruz, çünkü eski sürümler programlı olarak emekliye ayrılır. Doğruluk düşerse, değişiklik bir müşteri garip çıktılar fark etmeden önce test sırasında yakalanır.
- Her istekte model adını ve sürümünü kaydedin
- Artan hata veya yeniden deneme oranları hakkında uyarı verin
- Bin istek başına maliyeti bütçeye göre takip edin
- Bir uç nokta kullanılamadığında yedek bir model yapılandırılmış halde tutun
Yedekleme genellikle göz ardı edilir. Herhangi bir sağlayıcı kesinti yaşayabilir ve bir uç noktaya bağlı olan bir iş akışı, o kesildiğinde durur. Test edilmiş ikinci bir seçenek, biraz daha az doğru olsa bile, işin devam etmesini sağlar.
Bu hafta nereden başlamalı
Tekrarlayan bir metin görevi seçin ve doğru cevaplarla elli gerçek örnek toplayın. Bir Mistral API hesabı oluşturun, iki aday model için lisans ve veri şartlarını okuyun ve örneklerinizi her ikisi üzerinden çalıştırın. Sonuçları bugün kullandığınız modelle karşılaştırın. Bu tek test, Mistral’in yığınınızda bir yeri hak edip etmediğini gösterecektir.
Okumaya devam edin: AI Optimizasyonu · AI Optimizasyonu