Mistral AI, büyük dil modelleri oluşturan, bazılarını açık ağırlıklarla yayınlayan, diğerlerini ise API platformu ve Le Chat asistanı aracılığıyla sunan Paris merkezli bir şirkettir. Bir Mistral dağıtımını ölçmek, üç katmanı izlemek anlamına gelir: gecikme, maliyet ve hata oranları gibi teknik performans; sabit bir test setine karşı çıktı kalitesi; ve tasarruf edilen saatler, çözülen biletler veya gönderilen içerik gibi iş sonuçları. Her üçünü de birleştiren bir gösterge paneli, liderliği ikna eden şeydir.
Mistral AI ne sunuyor?
2023 yılında Google DeepMind ve Meta’dan eski araştırmacılar tarafından kurulan Mistral, hızla Avrupa’nın en tanınmış yapay zeka modeli şirketi haline geldi. Yazının yazıldığı sırada ürün yelpazesi, farklı boyutlarda genel modelleri, Codestral gibi kodlama modellerini, belge ve OCR modellerini ve uç cihazlara uygun daha küçük modelleri içerir. Birkaç model izin verici lisanslar altında yayınlanır, böylece şirketler bunları kendi sunucularında çalıştırabilirler.
İşletmeler Mistral’ı üç şekilde kullanır. Diğer model sağlayıcıları gibi API’si olan La Plateforme aracılığıyla. Bireyler ve ekipler için asistanı olan, kurumsal seçenekleri bulunan Le Chat aracılığıyla. Veya açık ağırlıklı modelleri kendi altyapılarında ya da Azure, AWS ve Google Cloud gibi bulut ortakları aracılığıyla kendi kendine barındırarak.
Birçok Avrupalı ve Türk şirketi için çekicilik; maliyet, veri konumu seçenekleri ve modelleri özel olarak çalıştırma seçeneğinin bir karışımıdır.
Ölçüm neden genellikle atlanır?
Yapay zeka projeleri genellikle deney olarak başlar. Birisi API’yi bir sohbet botuna veya içerik aracına bağlar, yararlı görünür ve yayılır. Aylar sonra kimse para tasarrufu sağlayıp sağlamadığını veya ne kalitede sonuç verdiğini söyleyemez. Bütçe incelemesi geldiğinde, projeyi savunmak zordur.
Ölçüm ayrıca model çıktıları metin olduğu ve metin kalitesi öznel hissettirdiği için atlanır. Her görev için “iyi”nin ne anlama geldiğini tanımladığınızda ve bir örneği düzenli olarak puanladığınızda bu daha az öznel hale gelir.
Hangi teknik KPI’ları takip etmelisiniz?
Teknik KPI’lar size sistemin çalışıp çalışmadığını ve neye mal olduğunu söyler. Çoğu doğrudan API günlüklerinden gelir.
- Kullanımın nerede büyüdüğünü görmek için günlük ve kullanım durumu başına istekler.
- Maliyeti artıran, istek başına giriş ve çıkış tokenları.
- Sadece toplam aylık harcama değil, özetlenmiş bilet veya ürün açıklaması başına maliyet gibi görev başına maliyet.
- Gecikme: kullanıcılar yavaş yanıtları fark ettiğinden, medyan ve yavaş uç yanıt süreleri.
- Hız sınırı hataları dahil olmak üzere hata ve zaman aşımı oranı.
- Kendi kendine barındırılan modeller için: GPU kullanımı ve bin istek başına maliyet.
Her istekte model adını günlüğe kaydedin. Örneğin, küçük ve büyük bir Mistral modeli arasında geçiş yaptığınızda, maliyet ve kalite değişimini net bir şekilde görmek istersiniz.
Çıktı kalitesini nasıl ölçersiniz?
Kalite için bir test seti gerekir. Müşteri e-postaları, ürün veri kayıtları veya destek soruları gibi her kullanım durumu için, üzerinde anlaşılan iyi bir yanıt veya puanlama kılavuzu ile 50 ila 200 gerçek örnek toplayın.
Çıktıları görev için önemli olan birkaç kritere göre puanlayın:
- Doğruluk: gerçekler doğru mu ve sağlanan bağlamdan mı alınmış?
- Tamlık: yanıt kullanıcının sorduğunu kapsıyor mu?
- Biçim: gerekli yapıya, uzunluğa ve tona uyuyor mu?
- Dil kalitesi: özellikle Türkçe ve İngilizce olmayan diğer çıktılar için dil bilgisi doğal mı?
- Güvenlik: kendisine verilmeyen fiyatlar gibi söylememesi gereken şeylerden kaçınıyor mu?
İnsan gözden geçirenler her ay bir örneği puanlayabilir. Bazı ekipler ayrıca çıktıları önceden puanlamak için yargıç olarak daha güçlü bir model kullanır, ardından daha küçük bir seti elle kontrol eder. Modeli, istemi veya ayarları her değiştirdiğinizde aynı test setini çalıştırın.
Hangi iş KPI’ları değeri kanıtlar?
Liderlik sonuçlarla ilgilenir. Her kullanım durumunu bir veya iki iş metriğine bağlayın ve dağıtımdan önce bir temel kaydedin.
Müşteri desteği için ilk yanıt süresini, yükseltme olmadan çözülen biletlerin payını ve müşteri memnuniyet puanlarını takip edin. İçerik ve pazarlama için varlık başına süreyi, yayınlanan varlık sayısını ve yapay zeka taslakları üzerindeki düzenleme süresini takip edin. Dahili bilgi asistanları için kısa anketler yoluyla tasarruf edilen arama süresini ve insan uzman olmadan yanıtlanan soru sayısını takip edin.
Tasarruf edilen süreyi dikkatlice paraya dönüştürün. Gerçek saatlik maliyetleri kullanın ve muhafazakar olun; liderlik şişirilmiş tasarrufları dikkate almayacaktır.
Gösterge paneli neleri içermelidir?
Üç katmanla eşleşen üç bölümlü bir gösterge paneli oluşturun. Günlüklerinizin nerede yaşadığına bağlı olarak Looker Studio, Power BI, Grafana veya Metabase’in hepsi çalışır.
- Üst: aylık olarak, temele karşı kullanım durumu başına iş KPI’ları.
- Orta: trend çizgileriyle en son test seti çalışmasından kalite puanları.
- Alt: görev başına maliyet, gecikme ve hatalar dahil teknik metrikler.
- Yan panel: yeni modeller, istemler veya veri kaynakları gibi değişikliklerle ilgili notlar.
Tek sayfada tutun. Gösterge paneli bir kılavuza ihtiyaç duyuyorsa, çok karmaşıktır.
Rakamları ne sıklıkla gözden geçirmelisiniz?
Aylık iyi bir varsayılandır. Teknik metrikler, maliyet artışları ve hata patlamaları hızlı eylem gerektirdiğinden sistemi çalıştıran kişi tarafından haftalık olarak kontrol edilebilir. Kalite puanları, gözden geçirenlerin aşırı yüklenmemesi için aylık bir döngüye ihtiyaç duyar. İş KPI’ları yavaş hareket eder ve liderlikle üç ayda bir gözden geçirilmesi en iyisidir. Model veya istemde herhangi bir değişiklikten hemen sonra tam test setini yeniden çalıştırın, ne kadar küçük olursa olsun; bir görevi iyileştiren bir istem ayarı, sessizce diğerine zarar verebilir.
Alien Road, Mistral AI ölçümünü nasıl uygular
Tipik bir çalışmada yapay zeka ekibimiz keşifle başlar: müşterinin hangi görevleri otomatikleştirmek istediği, hangi verilerin dahil olduğu, kendi kendine barındırmanın gerekli olup olmadığı ve başarının bugün nasıl tanımlandığı. Genellikle seçmeden önce aynı test setinde bir Mistral modelini bir veya iki alternatifle karşılaştırırız.
Kurulum, model ve kullanım durumu etiketleriyle istek günlüğünü, müşterinin ekibiyle test setlerinin oluşturulmasını ve bir puanlama kılavuzunun yazılmasını içerir. Ardından günlükleri ve puanları tek bir gösterge paneline bağlarız.
Ölçüm aylık olarak yapılır: test seti yeniden puanlanır, maliyetler gözden geçirilir ve iş KPI’ları güncellenir. Rapor, nelerin değiştiğini, daha küçük veya daha büyük bir modelin maliyet ve kalite açısından daha iyi bir denge sağlayıp sağlamayacağını ve bir sonraki aşamada hangi kullanım durumunun genişletileceğini açıklar.
Bu hafta nereden başlamalı
Zaten yerinde olan bir Mistral kullanım durumu veya planladığınız ilkini seçin. 50 gerçek girdi toplayın, her biri için iyi bir çıktının nasıl göründüğünü yazın ve bunları modelden geçirin. Sonuçları doğruluk, tamlık ve biçim açısından puanlayın ve API kullanım sayfasından görev başına maliyeti not edin. Bu üç rakam, gösterge panelinizin ilk satırlarıdır.
Okumaya devam et: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu