Küçük dil modellerini ölçmek, daha ucuz ve hızlı bir modelin belirli bir işi yeterince iyi yaptığını kanıtlamak ve tasarrufu rakamlarla göstermek anlamına gelir. Microsoft Phi, Google Gemma, Meta’nın daha küçük Llama varyantları ve Mistral Small gibi küçük modeller, bir API aracılığıyla veya kendi donanımınızda ucuza çalışabilir. Önemli KPI’lar görev kalitesi, gecikme, görev başına maliyet ve görevin desteklediği iş sonucudur.
Küçük dil modelleri neden kendi ölçümlerine ihtiyaç duyar?
Büyük modeller genellikle itibarlarına göre seçilir. Küçük modeller ise bir ödünleşim üzerine seçilir: hız, maliyet ve kontrol için genel yetenekten bir miktar kayıbı kabul edersiniz. Bu ödünleşim ancak onu görebildiğinizde güvenlidir. Ölçüm olmadan, bir ekip basit görevlerde büyük bir model için fazla ödeme yapar ya da on cevaptan birini yanlış veren küçük bir modeli sessizce kullanıma sunar.
Küçük modeller ayrıca daha dar kapsamlı olma eğilimindedir. Destek biletlerini iyi etiketleyen bir model, kötü reklam metni yazabilir. Ölçüm modele göre değil, göreve göre yapılmalıdır.
İlk önce neyi ölçmelisiniz?
Dört metrik grubuyla başlayın. Her biri işletmedeki farklı bir kişinin farklı sorusuna cevap verir.
- Kalite: Çıktı standardı karşılıyor mu? Etiketlenmiş bir test setine göre ölçülür.
- Gecikme: Bir yanıt ne kadar sürer? Medyan ve 95. yüzdelik dilim süresi olarak ölçülür.
- Maliyet: Tekrar denemeler ve insan düzeltmeleri dahil olmak üzere tamamlanmış bir görev kaça mal olur?
- İş etkisi: Yanıt süresi, dönüşüm veya tasarruf edilen saatler gibi alt KPI’lar hareket etti mi?
Kalite ve maliyet genellikle pazarlama ekipleri için en önemli olanlardır. Gecikme, sohbet veya site içi arama gibi müşterinin beklediği her şey için önemlidir.
Görev türüne göre kalite metrikleri
Kalite metriği işe bağlıdır. Potansiyel müşteri puanlama, niyet etiketleme veya duygu analizi gibi sınıflandırma görevleri için, bir insan tarafından atanan etiketlere karşı doğruluk, kesinlik ve hatırlama kullanın. Çıkarma görevleri için doğru doldurulmuş alanların payını sayın. Yazma görevleri için, insanlar tarafından veya yargıç görevi gören daha güçlü bir model tarafından puanlanan bir rubrik kullanın ve yargıcın onayladığını doğrulamak için insanlar tarafından kontrol edilen bir örneklem kullanın.
Token başına maliyet değil, görev başına maliyet
Token fiyatları küçük görünür ve yanıltır. Tamamlanmış görev başına maliyeti hesaplayın: görev başına token sayısı fiyatla çarpılır, artı tekrar deneme maliyeti, artı bir kişinin kötü çıktıları düzeltmek için harcadığı dakikalar. Sık sık düzeltme gerektiren küçük bir model, toplamda bunu yapmayan daha büyük bir modelden daha pahalıya mal olabilir.
Bir değerlendirme seti nasıl oluşturulur?
Bir değerlendirme seti, bilinen iyi çıktılara sahip gerçek girdilerin sabit bir koleksiyonudur. Kontrol panelinizdeki her sayının temelidir.
- Görevden 100 ila 300 gerçek örnek toplayın, uydurma olanları değil.
- Her biri için doğru çıktıyı etiketlemesi veya yazması için bir kişi atayın.
- Zor vakaları dahil edin: yazım hataları, karışık diller, sınır kategoriler.
- Seti dondurun ve bir sürüm numarası verin.
- Her aday modeli ve istemi aynı sete karşı çalıştırın.
Her ay toplanan yeni örneklerden oluşan ayrı küçük bir set tutun. Donmuş set sabit kalırken taze verilerdeki performans düşerse, gerçek girdileriniz değişmiş demektir ve modelin veya istemin güncellenmesi gerekir.
Faydalı bir kontrol paneli nasıl görünür?
Küçük dil modelleri için bir kontrol paneli tek bir ekrana sığmalı ve üç soruyu yanıtlamalıdır: çalışıyor mu, ucuz mu ve yardımcı oluyor mu? Looker Studio, Power BI veya Grafana işe yarar; önemli olan arkasındaki veridir.
Üst satır: sağlık
Günlük istekler, hata oranı, medyan ve 95. yüzdelik dilim gecikmesi. Bunlar doğrudan uygulama günlüklerinden gelir. Buradaki ani bir değişiklik genellikle model sorunu değil, teknik bir sorun anlamına gelir.
Orta satır: kalite
Donmuş değerlendirme setindeki en son puan, aylık taze örnekteki puan ve bir kişinin kullanımdan önce değiştirdiği çıktıların payı olan insan geçersiz kılma oranı. Geçersiz kılma oranı genellikle üretimde sahip olduğunuz en dürüst kalite sinyalidir.
Alt satır: değer
Zaman içinde görev başına maliyet, ayda tasarruf edilen saatler (görevler, görev başına tasarruf edilen dakikalarla çarpılır, bir kez insanların zamanı ölçülerek hesaplanır) ve görevle bağlantılı iş KPI’ı. Bir potansiyel müşteri etiketleme modeli için bu, form doldurmadan ilk satış temasına kadar geçen süre olabilir.
Küçük bir modeli büyük bir modelle nasıl karşılaştırırsınız?
Her ikisini de aynı istem yapısıyla aynı değerlendirme setinde çalıştırın. Kaliteyi görev başına maliyete karşı grafiğe dökün. Genellikle sonuç açıktır: küçük model, dar görevlerde büyük modelin puanının çoğuna maliyetin bir kısmıyla ulaşır ve açık uçlu yazma veya akıl yürütmede ciddi şekilde geride kalır. Sonra göreve göre karar verin.
Bir yönlendirme kurulumu yaygındır: küçük model görevi önce ele alır ve düşük güven bildirdiği veya basit bir kuralın şüphe işaret ettiği durumlar daha büyük modele gider. Yukarı yönlendirilen trafiğin payını ölçün; eğer büyürse, küçük model artık iyi bir uyum değildir.
Alien Road küçük dil modellerini nasıl uygular ve ölçer
Tipik bir çalışmada, AI Optimization ekibimiz müşterinin AI görevlerini ve mevcut modelini listeler, ardından ürün özelliği çıkarma, inceleme etiketleme veya potansiyel müşteri sınıflandırma gibi küçük bir model için aday olarak yüksek hacimli, dar görevleri seçer.
Değerlendirme setini müşterinin kendi verileriyle oluştururuz, iki veya üç küçük modeli mevcut olana karşı test ederiz ve gecikme, maliyet ve geçersiz kılmalar için günlük kaydını ayarlarız. Kontrol paneli müşterinin kendi BI aracında teslim edilir, böylece bize bağlı kalmaz.
Raporlama aylıktır: donmuş ve taze setlerde kalite, görev başına maliyet, geçersiz kılma oranı ve bağlantılı iş KPI’ı, o ay yapılan herhangi bir model veya istem değişikliği hakkında kısa bir notla.
Hangi hatalar rakamları yanıltıcı kılar?
En yaygın olanı, gerçek verilerden daha temiz olan ve puanları şişiren uydurma örnekler üzerinde test etmektir. İkincisi, gerçek maliyeti gizleyen insan düzeltme süresini görmezden gelmektir. Üçüncüsü, istemi ve modeli aynı anda değiştirmektir, böylece kimse hangi değişikliğin yardımcı olduğunu bilmez. Test başına bir şeyi değiştirin.
Bir diğer tuzak, bir modelin diğerini kontroller olmadan yargılamasına izin vermektir. Bir yargıç modelin kendi önyargıları vardır, daha uzun cevaplara tercih dahil. Puanlarının bir örneklemini her ay elle kontrol edin.
Bu hafta nereden başlamalı
Ekibinizin zaten büyük bir model aracılığıyla çalıştırdığı yüksek hacimli bir görev seçin. Kabul edilen çıktılarıyla 100 gerçek girdi çekin, aynı istemle küçük bir modeli onlara karşı çalıştırın ve basit bir elektronik tabloda doğruluk ve görev başına maliyeti karşılaştırın. Bu tek karşılaştırma, bir kontrol paneli oluşturmaya değip değmeyeceğini size söyler.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu