Mistral AI Maliyetleri ve ROI Ölçümleme Rehberi

Mistral AI, büyük dil modelleri geliştiren Paris merkezli bir şirkettir. La Plateforme API ve Le Chat asistanı aracılığıyla sunulan ticari modellerin yanı sıra, izin verici lisanslar altında açık ağırlıklı birkaç model yayınlamasıyla tanınır. Ürün yelpazesi küçük, hızlı modelleri, daha büyük genel modelleri, kodlama odaklı modelleri ve belge anlama için ayarlanmış modelleri içerir.

Bu karışım bütçeleme için önemlidir. Çoğu özel sağlayıcıda sadece erişim kiralarsınız. Mistral ile genellikle API aracılığıyla token başına ödeme yapmak veya açık ağırlıklı bir model indirip donanım için kendiniz ödeme yapmak arasında seçim yapabilirsiniz. İkinci yol, öngörülebilir bir çağrı başına fiyatı sabit altyapı ve mühendislik maliyetleriyle değiştirir.

Fiyatlar sık sık değişir, bu nedenle bir tahmin oluşturmadan önce resmi fiyatlandırma sayfasını kontrol edin. Ancak yapı, planlama yapmak için yeterince stabildir.

Çoğu model sağlayıcısı gibi, Mistral da token üzerinden faturalandırır. Token, metnin bir parçasıdır ve ortalama olarak yaklaşık üç ila dört İngilizce karakterdir. Giriş tokenleri (isteminiz, talimatlarınız ve tüm belgeler) ve çıkış tokenleri (modelin yanıtı) genellikle ayrı ayrı fiyatlandırılır ve çıkış daha maliyetlidir.

Model boyutu oranı belirler. Daha küçük modeller milyon token başına çok daha ucuzdur ve daha hızlı yanıt verir; daha büyük modeller daha fazla maliyetlidir ve daha zorlu akıl yürütmeleri yönetir. Pazarlama çalışmaları için, arama sorgularını sınıflandırma, incelemeleri etiketleme veya ürün özellik listeleri yazma gibi görevlerin şaşırtıcı bir kısmı küçük bir modelde iyi çalışır.

Dikkat edilmesi gereken diğer maliyet faktörleri:

• Uzun bağlam: her istekte 40 sayfalık bir özet göndermek giriş tokenlerini hızla çoğaltır.
• Yeniden denemeler ve başarısız çağrılar: ikinci bir deneme gerektiren kötü biçimlendirilmiş çıktılar, o adımın maliyetini ikiye katlar.
• Sunulduğunda, toplu veya eşzamansız işleme, anında yanıt gerektirmeyen işler için birim fiyatları düşürebilir.
• İnce ayarın (fine-tuning), kullanıma ek olarak kendi eğitim ve barındırma ücretleri vardır.
• Kendi kendine barındırma (self-hosting), faturayı GPU’lara, depolamaya, izlemeye ve personel süresine kaydırır.

Bir bütçe fiyat listesinden değil, görevlerden başlamalıdır. Modelin yapmasını istediğiniz işleri listeleyin, hacmi tahmin edin, ardından görev başına tokenleri tahmin edin.

İşte açıklayıcı sayılarla çalışılmış bir örnek. Dış mekan ekipmanları satan bir Shopify mağazası, üç dilde 2.000 SKU için ürün açıklamaları istiyor. Her istek yaklaşık 600 giriş tokeni (nitelikler, ton kılavuzu, örnek) gönderiyor ve yaklaşık 400 çıkış tokeni alıyor. Bu, 6.000 istek ve toplamda yaklaşık 6 milyon token demektir. Seçtiğiniz modelin mevcut oranıyla çarpın, test ve yeniden denemeler için yüzde 20 ila 30 ekleyin ve gerçekçi bir ilk tahmininiz olsun.

Ardından alternatifle karşılaştırın. Bir metin yazarı açıklama başına on dakikaya ihtiyaç duyarsa, 6.000 açıklama çok sayıda saat anlamına gelir. Her çıktının insan tarafından düzenlenmesi için bütçe ayırdıktan sonra bile, fark genellikle büyüktür. Önemli olan, herhangi bir harcama yapmadan önce karşılaştırmayı yazılı hale getirmektir.

Basit bir bütçeleme kontrol listesi

• Görevi ve kabul edilebilir kalite seviyesini yazılı olarak tanımlayın.
• Üç model boyutunu 20 gerçek örnek üzerinde test edin ve geçen en küçüğünü seçin.
• Tahminlerden değil, bu testlerden ortalama giriş ve çıkış tokenlerini ölçün.
• Beklenen aylık hacimle çarpın ve yeniden denemeler için bir tampon ekleyin.
• Platform konsolunda katı bir harcama limiti ve altında bir uyarı belirleyin.

Çoğu pazarlama ekibi için barındırılan API daha ucuzdur. Sadece kullandığınız kadar ödersiniz ve bakım gerektiren bir sunucu yoktur. Açık ağırlıklı bir modeli kendi kendine barındırmak, hacim yüksek ve sabit olduğunda, verilerin yasal veya sözleşmesel nedenlerle kendi ortamınızda kalması gerektiğinde veya tamamen kontrol ettiğiniz ince ayarlı bir modele ihtiyaç duyduğunuzda finansal olarak mantıklıdır.

Kendi kendine barındırmanın gizli maliyetleri arasında GPU kiralama veya satın alma, çıkarım sunucusunu çalışır durumda tutan mühendis, izleme, güvenlik güncellemeleri ve yeni model sürümlerini değerlendirmek için harcanan zaman yer alır. Ayda birkaç milyon token gönderen bir ekip bu maliyetleri nadiren geri kazanır. Milyarlarca token işleyen bir platform bunu yapabilir.

Bazı şirketler orta bir yol izler: Mistral modellerini Azure AI Foundry, Amazon Bedrock veya Google Vertex AI gibi bir bulut pazaryeri aracılığıyla kullanırlar, bu da faturalandırmayı mevcut bir bulut sözleşmesi içinde tutar.

ROI en zor kısımdır, çünkü fayda genellikle gelirden ziyade zaman olarak ortaya çıkar. Çözüm, lansmandan önce metrikleri seçmek ve bir temel çizgisi kaydetmektir.

Faydalı ölçümler üç gruba ayrılır:

• Verimlilik: görev başına önceki ve sonraki saatler, haftada üretilen varlık sayısı, özetten yayına kadar geçen süre.
• Kalite: editör revizyon oranı, 1.000 kelime başına olgusal hata sayısı, gözden geçiren kontrol listesinden marka tonu puanı.
• İş sonucu: model destekli metinlerin olduğu sayfalardaki dönüşüm oranı, yükseltme olmadan çözülen destek biletleri, potansiyel müşteri yeterlilik doğruluğu.

Yapabildiğiniz yerde kontrollü bir karşılaştırma yapın. Örneğin, yeni bir ürün yelpazesinin yarısını model destekli açıklamalarla, yarısını eski süreçle yayınlayın ve altı ila sekiz hafta boyunca dönüşüm ve getiri oranlarını karşılaştırın. Mükemmel bir deney değil, ama varsayımda bulunmaktan daha iyidir.

Üç rakamlı aylık bir sayfa tutun: model harcaması, yüklenen saatlik maliyetle çarpılan tasarruf edilen saatler ve ölçülebilir herhangi bir gelir artışı. İkinci ve üçüncü sütunlar birlikte bir çeyrekten sonra ilkini açıkça geçmiyorsa, kullanım durumunu veya modeli değiştirin.