Mistral AI, büyük dil modelleri oluşturan, bazılarını açık ağırlıklı indirmeler, diğerlerini ise La Plateforme API ve Le Chat asistanı aracılığıyla sunan Paris merkezli bir şirkettir. Mistral’ı üretimde uygulamak net bir yolu izler: bir görev için doğru modeli seçin, gerçek örnekler üzerinde test edin, veri kurallarınıza uyan bir barındırma seçin, güvenlik kontrolleri ekleyin ve görev başına maliyeti takip edin. Bu kontrol listesi her aşamayı kapsar.
Ekipler neden Mistral’ı seçiyor?
Üç neden en sık karşımıza çıkıyor. Birincisi, Avrupa veri yerleşimi: Mistral bir AB şirketidir ve işlemleri Avrupalı sağlayıcılar içinde tutmak isteyen kuruluşlar için bu önemlidir. İkincisi, model seçimi: Mistral, sınıflandırma, çıkarma ve kısa üretim için uygun olan küçük ve verimli modeller de dahil olmak üzere farklı boyutlarda modeller yayınlar. Üçüncüsü, lisanslama: birkaç model, ticari kullanım için izin verici olan Apache 2.0 lisansı altında yayınlanmıştır.
Kullanmayı planladığınız belirli modelin lisansını kontrol edin, çünkü her Mistral modeli aynı şartları taşımaz. Bazıları yalnızca API aracılığıyla veya ticari ya da araştırma lisansı altında mevcuttur.
1. Aşama: bir görev ve başarı testini tanımlayın
Pilotlar görev belirsiz olduğunda başarısız olur. “Pazarlama için AI kullanın” bir görev değildir. “Gelen potansiyel müşterileri şirket açıklamasına göre beş sektöre sınıflandırın” bir görevdir.
Doğru bir cevabın nasıl göründüğünü ve onu nasıl puanlayacağınızı yazın. Ardından, üzerinde anlaşılan cevaplarla 100 ila 300 arasında gerçek örnek toplayın. Bu set, sonraki her kararın temelidir.
2. Aşama: modelleri kısa listeye alın
Görevinizde küçük ve büyük bir seçeneği karşılaştırın. Yazıldığı sırada, Mistral’ın ürün yelpazesi birkaç boyutta genel modelleri, kodlama odaklı bir aileyi ve vizyon girişli modelleri içerir. İsimler ve sürümler değişir, bu yüzden Mistral’ın dokümantasyon sitesindeki güncel model listesini okuyun.
Örneklerinizi aynı istemle her adaydan geçirin. Çıktıları puanlayın, gecikmeyi not edin ve yayınlanan token fiyatlarından örnek başına maliyeti hesaplayın. Genellikle küçük bir model, fiyatın bir kısmına kabul edilebilir kaliteye ulaşır.
3. Aşama: barındırma seçin
Mistral modelleri birkaç yerde çalışabilir. Her birinin artıları ve eksileri vardır:
- La Plateforme, Mistral’ın kendi API’si: AB tabanlı barındırma seçenekleriyle en basiti.
- Azure AI, AWS Bedrock ve Google Vertex AI gibi bulut pazaryerleri: şirketiniz zaten bir bulut üzerinden satın alıyorsa kullanışlıdır.
- vLLM gibi bir çıkarım sunucusu ile açık ağırlıklı modellerin kendi kendine barındırılması: en fazla kontrol, daha fazla mühendislik.
- Gecikme veya çevrimdışı ihtiyaçlar için en küçük modellerin cihaz üzerinde veya uçta dağıtımı.
Seçimi veri politikanıza göre uyarlayın. Müşteri verileri ortamınızdan çıkmamalıysa, açık ağırlıklı bir modeli kendi kendine barındırmak en temiz cevaptır.
4. Aşama: veri koruma kontrolleri
Herhangi bir gerçek müşteri verisi bir modele ulaşmadan önce, bu soruları yazılı olarak yanıtlayın:
- Girdilerde hangi kişisel veriler var ve bunlara ihtiyaç var mı?
- Sağlayıcı girdileri saklıyor mu veya planınız kapsamında eğitim için kullanıyor mu?
- Veriler coğrafi olarak nerede işleniyor?
- Bir veri işleme sözleşmesi mevcut mu?
- Göndermeden önce tanımlayıcıları maskeleyebilir veya kaldırabilir misiniz?
Maskeleme genellikle göründüğünden daha kolaydır. Aramadan önce isimleri, e-postaları ve telefon numaralarını yer tutucularla değiştirmek, özetleme veya sınıflandırma gibi görevler için riskin çoğunu ortadan kaldırır.
5. Aşama: değerlendirmeyi sürüm sürecine dahil edin
Pilot setiniz bir regresyon testine dönüşür. İstem’i her değiştirdiğinizde, model sürümünü değiştirdiğinizde veya ayarları ayarladığınızda, testi çalıştırın ve puanları karşılaştırın. Üretim bir hata ortaya çıkardığında yeni örnekler ekleyin.
Takip etmeye değer metrikler
Doğruluğu rubriğinize göre, bir insanın düzenlediği çıktıların payını, 95. yüzdelik dilimdeki yanıt süresini ve tamamlanan görev başına maliyeti takip edin. Düzenleme oranını yakından inceleyin; bu, modelin zaman kazandırıp kazandırmadığının en dürüst işaretidir.
6. Aşama: güvenlik ve çıktı kontrolleri
Mistral, platformunda moderasyon API’si ve korkuluklar için bir sistem istemi seçeneği sunar. Kendi kendine barındırılan modeller için kendi kontrollerinizi sağlarsınız. Pazarlama çalışmaları için tipik kontroller arasında yasaklı iddialar listesi, rakip isimleri için kontroller, yapılandırılmış çıktılar için format doğrulama ve yayınlanan her şey için insan onayı bulunur.
Yapılandırılmış çıktı çok yardımcı olur. Mistral’ın API’sinin desteklediği tanımlanmış bir şema ile JSON istemek, çıktıların otomatik olarak doğrulanmasını kolaylaştırır.
Alien Road, Mistral’ı AI optimizasyon projelerinde nasıl uyguluyor
Tipik bir etkileşim keşif ile başlar: tekrarlayan metin görevlerini, her birinin dokunduğu verileri ve bu verilerin nerede işlenebileceğine dair müşteri kurallarını listelemek. Mistral genellikle bir müşteri Avrupa işleme veya daha sonra barındırabileceği açık ağırlıklı bir model istediğinde ortaya çıkar.
Kurulum yukarıdaki aşamaları izler. Ekip, değerlendirme setini müşterinin personeli ile oluşturur, küçük ve büyük bir Mistral modelini en az bir alternatif sağlayıcı ile karşılaştırır ve seçimin şeffaf olması için sonuçları belgeler. İstemler, şemalar ve test setleri müşterinin kendi deposunda bulunur.
Ölçüm ilk ay haftalık, sonrasında aylık olarak yapılır. Raporlar, regresyon setindeki doğruluğu, insan düzenleme oranını, görev başına maliyeti ve herhangi bir olayı, kalıp kalmama, model boyutunu değiştirme veya barındırmayı taşıma önerisiyle birlikte gösterir.
7. Aşama: üretime hazırlık kontrol listesi
Sistemi canlıya almadan önce bunların her birini onaylayın:
- Regresyon testleri, dağıtılan tam model sürümünde geçer.
- API kapalıysa geri dönüş yolu mevcuttur: yeniden deneme, alternatif model veya insan kuyruğu.
- Günlükler, kişisel veriler maskelenmiş olarak girdileri ve çıktıları saklar.
- Harcama uyarıları günlük olarak ayarlanır.
- Lisans ve veri işleme şartları, inceleme tarihleriyle birlikte dosyalanır.
- Bir atanmış sahip, model güncellemelerini yönetir.
Maliyetleri nasıl öngörülebilir tutarsınız?
Token fiyatları maliyetin sadece bir parçasıdır. Uzun sistem istemleri, tekrarlanan bağlam ve hatalı biçimlendirilmiş çıktılardan sonra yeniden denemeler faturayı sessizce katlayabilir. Pilot sırasında görev başına ortalama giriş ve çıkış tokenlerini ölçün ve taahhütte bulunmadan önce beklenen aylık hacimle çarpın.
Sonra sınırlayın. La Plateforme’de veya bulut konsolunuzda aylık bir bütçe limiti belirleyin, bu limitin bir kısmında günlük bir uyarı ekleyin ve görev türü başına token kullanımını kaydedin. Bir görev türü beklenenden daha hızlı büyürse, bunu fatura döneminin sonunda değil, bir gün içinde görürsünüz. İstemleri kısaltmak ve desteklenen yerlerde tekrarlanan talimatları önbelleğe almak genellikle ilk tasarruflardır.
Bu hafta nereden başlamalı
Ekibinizin elle yaptığı tek bir sınıflandırma veya çıkarma görevi seçin. 150 gerçek örnek çekin, her biri için doğru cevabı yazın ve bunları La Plateforme’de bir küçük ve bir büyük Mistral modelinden geçirin. Doğruluğu ve örnek başına maliyeti karşılaştırın. Küçük model yakınsa, üçüncü aşama için hazır, ucuz, hızlı bir pilotunuz var.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu