Mistral AI, büyük dil modelleri geliştiren, bazılarını açık ağırlıklarla yayınlayan, diğerlerini ise kendi API’si ve Le Chat asistanı aracılığıyla sunan Paris merkezli bir şirkettir. Bir ekip onu benimsemeden önce, ilk yönetişim kuralları hangi modelin onaylandığını, verilerin nerede işlendiğini, çıktısını kimin yayınlayabileceğini ve sonuçların nasıl kontrol edildiğini kapsamalıdır. Bu dört kural, sorunların çoğunu önler.
Şirket, kısmen Avrupalı olması ve kısmen de modellerinin birçoğunun indirilip kendi sunucularınızda çalıştırılabilmesi nedeniyle Avrupa’da dikkat çekti. Bu seçenek risk tablosunu değiştirir. Kendi kendine barındırılan bir model, verileri altyapınızda tutar, ancak aynı zamanda barındırılan bir sağlayıcının aksi takdirde halledeceği güvenlik, güncellemeler ve izleme konusunda sizi sorumlu kılar.
Mistral AI kullanmanın temel riskleri nelerdir?
Riskler, Mistral’in sunduğu dağıtım seçeneklerinden kaynaklanan birkaç farklılık dışında, herhangi bir dil modelininkine benzer.
- Olgusal hatalar: model, ürün özellikleri, fiyatlar ve yasal iddialar dahil olmak üzere yanlış gerçekleri akıcı bir şekilde ifade edebilir
- Veri ifşası: personel, müşteri verilerini, sözleşmeleri veya kimlik bilgilerini bir sohbet penceresine yapıştırabilir
- Lisans karmaşası: farklı Mistral modelleri farklı lisanslar altında yayınlanmıştır ve ticari kullanım koşulları aynı değildir
- Kendi kendine barındırma boşlukları: yamalanmamış bir sunucudaki açık ağırlıklı modelin sağlayıcı tarafında bir kötüye kullanım filtresi yoktur
- Çıktı kayması: bir model sürümünden diğerine geçmek tonu ve doğruluğu değiştirebilir
Lisans karmaşası dikkat gerektirir. Kullanmayı planladığınız tam modelin lisansını, yazıldığı tarihte Mistral’in kendi belgelerinden kontrol edin ve kaydedin. Bir modelin izin verici bir lisans altında yayınlanmış olması nedeniyle, aynı şirketten gelen her modelin de öyle olduğunu varsaymayın.
Ekipler hangi sınırları planlamalıdır?
Her modelin bir bağlam penceresi, yani tek bir istekte okuyabileceği maksimum metin miktarı vardır. Uzun özetler, tam marka yönergeleri ve büyük elektronik tablolar bunu aşabilir ve model ya reddedecek ya da parçaları sessizce atacaktır. Uzun materyali bölün veya önce özetleyin.
Dil kapsamı bir diğer sınırdır. Mistral’in modelleri İngilizce ve büyük Avrupa dillerinde güçlüdür. Türkçe, Azerbaycan dili veya diğer diller için, yayınlanmış içerik için ona güvenmeden önce çıktı kalitesini ana dili konuşan biriyle test edin. Dilbilgisi dili bilmeyen birine iyi görünebilir, ancak deyimler ve resmiyet seviyeleri yanlış olabilir.
Barındırılan ve kendi kendine barındırılan
Barındırılan API’nin başlatılması hızlıdır ve Mistral ölçeklendirmeyi yönetir. vLLM veya Ollama gibi araçlarla kendi kendine barındırma, GPU’lar, onları koruyabilecek bir mühendis ve kendi hız sınırlamanızı gerektirir. Çoğu pazarlama ekibi için barındırılan yol veya bulut pazaryeri aracılığıyla erişim pratik seçimdir.
Hangi yönetişim kurallarını ilk önce belirlemelisiniz?
Politikanızın ilk sürümünü tek sayfada tutun. Kimsenin okumadığı uzun bir politika kimseyi korumaz. Bu beş kural, pazarlama kullanımının çoğunu kapsar.
- Onaylı modeller: personelin kullanabileceği belirli modelleri ve erişim yollarını listeleyin ve iş verileri için kişisel hesapları yasaklayın
- Veri sınıfları: müşteri kişisel verileri, şifreler ve yayınlanmamış finansallar gibi asla gönderilmemesi gerekenleri tanımlayın
- İnsan incelemesi: yayınlanacak, bir müşteriye gönderilecek veya bir reklamda kullanılacak herhangi bir metin, adlandırılmış bir kişi tarafından okunmalı ve onaylanmalıdır
- İddia kontrolü: istatistikler, fiyatlar, yasal beyanlar ve rakip karşılaştırmaları kullanımdan önce bir kaynağa göre doğrulanır
- Günlük tutma: sorunların izlenebilmesi için kararlaştırılan iş akışları için istemleri ve çıktıları saklayın
Politikanın sahibinin kim olduğunu yazın. Bir pazarlama operasyonları lideri veya veri koruma görevlisi yaygın bir seçimdir. Bu kişi yeni kullanım durumlarını onaylar ve politikayı her çeyrekte gözden geçirir.
Mistral AI, GDPR ve AB AI Yasası ile nasıl uyum sağlar?
Avrupalı bir sağlayıcı yükümlülüklerinizi ortadan kaldırmaz. GDPR kapsamında, kişisel verileri işlemek için hala yasal bir temele, sağlayıcıyla bir veri işleme sözleşmesine ve verilerin nerede saklandığına dair bir cevaba ihtiyacınız vardır. İtibara güvenmek yerine Mistral’in veri saklama ve eğitim kullanımıyla ilgili mevcut şartlarını okuyun.
AB AI Yasası, en doğrudan yükümlülükleri genel amaçlı modellerin sağlayıcılarına ve yüksek riskli kullanımlara yükler. Metin hazırlamak veya raporları özetlemek gibi tipik pazarlama görevleri yüksek riskli değildir. Şeffaflık görevleri yine de geçerli olabilir, örneğin insanlar bir sohbet botuyla etkileşime girdiğinde ve bunun otomatik olduğunu bilmeleri gerektiğinde. Hukuk danışmanından özel kullanımlarınızı haritalandırmasını isteyin.
Çıktıya güvenmeden önce onu nasıl test edersiniz?
Gerçek görevlerden oluşan küçük bir test seti oluşturun: on ürün açıklaması, on reklam başlığı, beş rapor özeti. İyi bir cevabın nasıl göründüğünü yazın. Her aday modeli sete karşı çalıştırın ve sonuçları basit bir rubrik ile puanlayın. Model sürümünü veya istemi her değiştirdiğinizde testi tekrarlayın.
Özellikle emin hatalara dikkat edin. “Emin değilim” diyen bir modeli yönetmek, bir özellik uyduran bir modelden daha kolaydır. Uydurulmuş gerçekleri stil sorunlarından ayrı olarak sayın, çünkü farklı risk taşırlar.
Kısa bir olay süreci politikayı tamamlar. Birisi yayınlanmış bir hata veya veri sızıntısı fark ederse, kime söyleyeceğini, ne kadar süre içinde ve içeriğin nasıl düzeltileceğini veya geri çekileceğini bilmelidir.
Alien Road, Mistral AI’yi nasıl uygular
Tipik bir müşteri için mevcut AI kullanımının denetimiyle başlarız: çalışanlar halihazırda hangi araçları açıyor, içine hangi veriler giriyor ve ne çıkıyor. Bu keşif genellikle kişisel hesapları ve günlüğe kaydedilmemiş kullanımı ortaya çıkarır, yönetişim kuralları da buna yanıt verir.
Ardından, onaylı bir erişim yolu, genellikle barındırılan API veya bulut pazaryeri bağlantısı kurarız ve müşterinin pazarlama ve hukuk liderleriyle tek sayfalık politikayı yazarız. Müşterinin kendi içeriğinden bir test seti oluşturur ve Mistral modellerini doğruluk, ton ve dil kalitesi açısından en az bir alternatifle karşılaştırırız.
Ölçüm süreklidir. Onaylı iş akışları için istemleri ve çıktıları günlüğe kaydeder, her ay örnekler alır ve hata türleri, inceleme süresi ve herhangi bir politika ihlali hakkında rapor veririz. Yeni bir model sürümü göründüğünde, geçiş yapmadan önce test setini yeniden çalıştırırız ve rapor neyin değiştiğini kaydeder.
Bu hafta nereden başlamalı
Ekibinizin geçen ay kullandığı her AI aracını ve içine ne yapıştırıldığını listeleyin. Ardından yukarıdaki beş kuralı tek bir sayfada hazırlayın ve yorum için dolaşıma sokun. Neyi koruduğunuzu bildiğinizde model seçmek daha kolaydır.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu