Açık Ağırlıklı Modelleri Ölçme: Başarı İçin KPI'lar

Açık ağırlıklı model, eğitilmiş parametreleri genellikle kullanım koşullarını belirleyen bir lisans altında indirilmek üzere yayınlanan modeldir. Örnekler arasında Meta’nın Llama ailesi, Mistral’in açık modelleri, Alibaba’nın Qwen’i, Google’ın Gemma’sı ve Çinli bir yapay zeka laboratuvarı olan DeepSeek’in modelleri yer alır. Açık ağırlıklar her zaman katı anlamda açık kaynak değildir: eğitim verileri ve tam kod gizli kalabilir.

DeepSeek, 2025’in başlarında akıl yürütme modeli DeepSeek-R1, birkaç halka açık kıyaslamada önde gelen kapalı modellere yakın performans gösterdiğinde ve şirket nispeten düşük eğitim maliyetleri açıkladığında geniş ilgi gördü. Modelleri, işletmelerin bunları kendi donanımlarında veya üçüncü taraf barındırıcılarda çalıştırmalarına izin veren izin verici lisanslar altında yayınlanır.

Pazarlama ekipleri için çekicilik kontrol ve maliyettir. Sorular, kalitenin gerçek görevlerde korunup korunmadığı ve modelleri kendiniz çalıştırmanın ne gibi gizli maliyetleri olduğudur.

Halka açık kıyaslamalar matematik, kodlama ve genel bilgiyi ölçer. Sizin kampanyalarınız farklı şeylerle ilgilenir. Dört gruptan oluşan bir puan kartı oluşturun.

Kalite

• Kabul oranı: büyük düzenlemeler olmadan onaylanan çıktıların payı.
• Düzenleme süresi: bir gözden geçirenin onaydan önce çıktı başına harcadığı dakika.
• Fiili hata oranı: spot kontrollerde 100 çıktı başına bulunan hatalar.
• Talimatlara uyum: bir betiğin kontrol edebileceği format, uzunluk ve yasaklı kelime kurallarına uyan çıktıların payı.

Maliyet

• Tokenler veya donanım ve gözden geçiren süresi dahil olmak üzere bitmiş öğe başına maliyet.
• Kendi kendine barındırılıyorsa, boşta kalma süresi dahil aylık altyapı maliyeti.

Hız

• Etkileşimli kullanımlar için ilk tokene kadar geçen süre ve toplam yanıt süresi.
• Toplu işler için verim, örneğin saatte işlenen öğe sayısı.

Risk

• Veri ifşası: istemlerin ve çıktıların nerede işlendiği ve saklandığı.
• Amaçlanan ticari kullanımınız için lisans uygunluğu.
• Marka dışı veya uygunsuz çıktılar gibi içerik güvenliği olayları.

Bir karşılaştırma ancak her model aynı girdileri aynı koşullar altında görürse adildir. Ürün açıklamaları, reklam varyantları, e-posta konu satırları ve rapor özetleri gibi işinizden 50 ila 200 gerçek görevden oluşan bir test seti oluşturun. Görev türü başına bir istem yazın ve onu sabit tutun.

Açık modeli ve mevcut kapalı modelinizi tüm set üzerinde çalıştırın. Hangi modelin hangi çıktıyı ürettiğini gizleyin, ardından gözden geçirenlerin bunları puanlamasını sağlayın. Kör puanlama önemlidir çünkü insanlar daha iyi olmasını bekledikleri markayı tercih etme eğilimindedir.

Model sürümünü, nicemleme seviyesini veya istemi her değiştirdiğinizde testi tekrarlayın. Daha küçük bir GPU’ya sığan ağır nicemlenmiş bir model, hassasiyet gerektiren görevlerde kalite kaybedebilir.

Bir modeli kendiniz çalıştırmak, token başına fatura yerine bir dizi başka sorumluluk getirir:

• Boştayken bile para maliyeti olan GPU donanımı veya bulut örnekleri.
• vLLM veya Ollama gibi servis yazılımları ve onu sürdürecek biri.
• İzleme, günlük kaydı ve güvenlik yamaları.
• Model güncellemeleri ve regresyon testleri.
• İşler bozulduğunda mühendislik süresi.

Düşük veya düzensiz hacimler için, birkaç çıkarım sağlayıcısı tarafından sunulan açık modeller için barındırılan API’ler, donanıma sahip olmaktan genellikle daha ucuzdur. Kendi kendine barındırma, istikrarlı yüksek hacim veya katı veri kontrol gereksinimleri ile genellikle karşılığını verir.

İki sorun tekrar tekrar ortaya çıkıyor. Birincisi, DeepSeek’in kendi barındırılan uygulaması ve API’si verileri Çin yasalarına tabi sunucularda işler ve birkaç hükümet ve kuruluş bu nedenle kullanımlarını kısıtlamıştır. Açık ağırlıkları kendi altyapınızda veya güvenilir bir sağlayıcının altyapısında çalıştırmak, verilerin DeepSeek sunucularına gönderilmesini önler.

İkincisi, araştırmacılar ve gazeteciler, modelin çıktılarının belirli siyasi konulardaki içerik kısıtlamalarını yansıttığını bildirmiştir. Bu, ürün kopyasını nadiren etkiler, ancak haberlerle ilgili veya PR çalışmaları için önemlidir. Herhangi bir modele güvenmeden önce markanız için önemli olan konuları test edin.

Tipik bir etkileşimde, keşif aşaması, yapay zekanın zaten kullanıldığı veya planlandığı görevleri, aylık hacimlerle ve çıktıların şu anda nasıl gözden geçirildiğiyle toplar. Ayrıca veri hassasiyetini de not ederiz, çünkü bu genellikle kendi kendine barındırmanın gerekli olup olmadığına karar verir.

Kurulum, test setini müşterinin gerçek işinden oluşturur ve güvenilir bir ana bilgisayar veya yerel altyapı kullanarak mevcut model ve iki veya üç açık ağırlıklı seçenek aracılığıyla çalıştırır. Gözden geçirenler kör puanlama yapar ve biz her çalıştırma için maliyeti ve hızı kaydederiz.

Ölçüm lansmandan sonra devam eder. Üretim çıktılarından küçük bir örnek her ay aynı ölçekte puanlanır, böylece kalite kayması erken görünür hale gelir. Müşteriye raporlama, her şey için tek bir model yerine görev türü başına bir öneri ile kabul oranı, düzenleme süresi, bitmiş öğe başına maliyet ve olaylar bazında modelleri karşılaştıran tek bir kontrol panelidir.

Tek bir ekranda tutun. İşe yarayan basit bir düzen:

• Üst satır: her model için bitmiş öğe başına maliyet ve kabul oranı, bu ay geçen aya karşı.
• Orta: görev türü başına düzenleme süresi dağılımı.
• Alt: olaylar ve veri işleme notları, artı model sürümü ve son test çalıştırmasının tarihi.

Looker Studio, Power BI veya paylaşılan bir elektronik tablo gibi araçlar yeterlidir. Amaç, bütçelere karar veren insanlara trendleri göstermektir, onları grafiklerle etkilemek değil.

Açık ağırlıklı modeller hızlı hareket eder. Her birkaç ayda bir yeni sürümler çıkar ve barındırma sağlayıcıları bazen varsayılan ayarları veya nicemlemeyi fazla bildirimde bulunmadan değiştirir. Sabit test setinde üç aylık bir yeniden test, çoğu ekip için makul bir ritimdir, sağlayıcıyı veya model sürümünü her değiştirdiğinizde ekstra bir çalıştırma ile.

Her test çalıştırmasını saklayın: tarih, model adı ve sürümü, ana bilgisayar, istem sürümü ve puanlar. Bir yıl boyunca bu geçmiş, bir modelin görevleriniz için daha iyi hale gelip gelmediğini veya kapalı bir modelin tekrar öne geçip geçmediğini gösterir. Ayrıca sizi, halka açık liderlik tablolarına liderlik ettiği için daha yeni bir modeli benimsemek, ancak belirli içeriğinizde daha kötü performans gösterdiğini fark etmek gibi yaygın bir tuzaktan korur.

Sonuçlar yakın olduğunda, operasyonel gerekçelerle seçim yapın. Biraz daha zayıf ama daha ucuz, daha hızlı ve veri kurallarınız dahilinde çalıştırılması daha kolay olan bir model genellikle daha iyi bir iş seçimidir.