Fine-tuning ve LoRA, özel bir model, kabul edilebilir bir maliyet ve gecikme ile, genel yeteneklerini kaybetmeden, sabit bir değerlendirme setinde iyi prompt edilmiş bir temel modeli geçtiğinde değerini kanıtlar. Bunu gösteren KPI’lar; ayrılmış bir test setine karşı görev kalitesi, insan düzenleme oranı, çıktı başına maliyet, yanıt süresi ve modelin zaten iyi yaptığı görevlerdeki regresyondur.
Fine-tuning, önceden eğitilmiş bir dil veya görüntü modelini kendi örnekleriniz üzerinde daha fazla eğiterek bir stil, format veya görev öğrenmesini sağlamak demektir. Düşük dereceli adaptasyonun kısaltması olan LoRA, modelin tüm ağırlıkları yerine küçük adaptör matrislerini eğiten parametre açısından verimli bir yöntemdir; bu, eğitimi daha ucuz hale getirir ve farklı görevler için adaptörleri değiştirmenize olanak tanır. Birçok ekip açık ağırlıklı modellerde LoRA kullanırken, barındırılan sağlayıcılar bazı modellerinde yönetilen fine-tuning sunar.
Ölçüm neden eğitimden daha zordur?
Bir LoRA adaptörünü eğitmek saatler sürebilir. İşe yarayıp yaramadığını bilmek planlama gerektirir. Üretilen metnin tek bir doğru cevabı yoktur, bu nedenle “doğruluk” bir tanıma ihtiyaç duyar. Ve karşılaştırma noktası önemlidir: fine-tuned bir model, yalnızca birkaç örnekle iyi bir prompt veya kendi belgelerinizden getirme gibi daha ucuz seçeneği geçtiğinde korunmaya değerdir.
Bir temel çizgi olmadan, ekipler genellikle özel bir modeli bir avuç etkileyici çıktıya göre yargılarlar. Projeler böyle onaylanır ve daha sonra sessizce terk edilir.
Adım 1: eğitimden önce bir değerlendirme seti oluşturun
Modelin eğitim sırasında hiç görmediği örnekleri bir kenara koyun. Marka sesi için bir metin yazma modeli için bu, onaylanmış insan tarafından yazılmış metinleri içeren birkaç yüz ürün özeti olabilir. Destek biletlerini sıralamak gibi bir sınıflandırma görevi için bu, nadir olanlar da dahil olmak üzere tüm kategorilerdeki etiketlenmiş biletlerdir.
- Test setini eğitim verilerinden ayrı tutun, yakın kopyalar olmasın.
- Uç durumları kapsayın: kısa girdiler, uzun girdiler, karışık diller, sıra dışı ürünler.
- Dondurun. Test setini projenin ortasında değiştirmek önceki puanları anlamsız kılar.
- Temel çalışma için kullanılan temel modeli, promptu ve ayarları kaydedin.
Hangi kalite KPI’ları önemlidir?
Doğru metrik göreve bağlıdır. Sınıflandırma ve çıkarma için sadece genel doğruluğu değil, kategori başına hassasiyet, geri çağırma ve F1’i kullanın, çünkü bir model her nadir sınıfta başarısız olurken iyi puan alabilir. Yapılandırılmış çıktılar için ayrıştırılan ve doğrulamadan geçen yanıtların payını ölçün.
Yazma görevleri için üç görünümü birleştirin. Doğruluk, marka uyumu ve kullanışlılık için basit bir ölçekte insan derecelendirmeleri. İncelemecilerin hangisinin hangisi olduğunu bilmeden temel ve fine-tuned çıktılar arasında seçim yaptığı ikili tercih. Ve üretimde düzenleme oranı: bir kişinin yayınlamadan önce her çıktının ne kadarını değiştirdiği. Düzenleme oranı, zamanla ilişkili olduğu için paydaşlar için genellikle en ikna edici sayıdır.
Güçlü bir modelin çıktıları bir rubriğe göre puanladığı model tabanlı değerlendirme iyi ölçeklenir. Önce bir örneklem üzerinde insan derecelendirmelerine göre kalibre edin; eğer derecelendirici sık sık insanlarla aynı fikirde değilse, ona tek başına güvenmeyin.
Hangi maliyet ve hız KPI’ları önemlidir?
- Çıktı başına maliyet: uzun promptlu temel modele karşı özel model için çıkarım maliyeti.
- Veri hazırlama süresi dahil eğitim ve yeniden eğitim maliyeti.
- Gecikme: medyan ve yavaş yanıt süreleri, çünkü kullanıcılar yavaş durumları fark eder.
- Model birçok kullanıcıya hizmet veriyorsa yük altında verim.
- İzleme ve güncellemeler için aylık bakım saatleri.
Fine-tuned daha küçük bir model bazen maliyet açısından kazanır çünkü büyük bir genel modelden daha kısa bir prompt ve daha az hesaplama gerektirir. Bu tasarruf yalnızca kalite korunursa sayılır.
Regresyonu nasıl kontrol edersiniz?
Fine-tuning, bir modelin eskiden iyi yaptığı şeylerde kötüleşmesine neden olabilir. Kısa reklam başlıkları üzerinde yoğun bir şekilde ayarlanmış bir model, daha uzun talimatları izlemede zayıflayabilir veya güvenlik davranışını kaybedebilir. Talimat izleme, alanınızdaki olgusal sorular ve açıkça uygunsuz isteklerin reddedilmesi gibi küçük bir genel test setini koruyun ve her eğitim turundan sonra çalıştırın.
LoRA ile regresyonu yönetmek daha kolaydır çünkü temel modele dokunulmaz; adaptörü kaldırmak orijinal davranışı geri yükler. Bu, herhangi bir iş vakasında belirtmeye değer pratik bir avantajdır.
Panel neyi göstermelidir?
Her eğitim turundan sonra ve üretimde haftalık olarak güncellenen bir sayfa.
- Dondurulmuş test setinde kalite puanı: temel, önceki sürüm ve mevcut sürüm.
- Temel modele karşı ikili kazanma oranı.
- Üretim düzenleme oranı ve eğilimi.
- Bin çıktı başına maliyet ve medyan gecikme.
- Regresyon testi geçme oranı.
- Hacim: üretilen çıktılar ve düzenleme olmadan kabul edilen pay.
- Veri değişiklikleri hakkında notlar, böylece puan hareketleri açıklanabilir.
MLflow veya Weights and Biases gibi araçlar eğitim çalışmalarını iyi takip ederken, basit bir elektronik tablo veya Looker Studio raporu genellikle iş görünümü için yeterlidir.
Fine-tuning ne zaman buna değmez?
Birkaç iyi örnek içeren bir prompt, fine-tuned modelin küçük bir marjına ulaşırsa, özel model nadiren bakımını haklı çıkarır. Görev, fiyatlar veya stok gibi sık değişen gerçeklere bağlıysa, getirme daha iyi bir araçtır, çünkü eğitim bayatlayan bilgileri içine işler. Ve çok az kalite örneği varsa, model gürültüyü öğrenir. Fine-tuning, görev kararlı olduğunda, format belirli olduğunda ve iyi örnekler bol olduğunda parlar.
Alien Road fine-tuning ve LoRA’yı nasıl uygular
Tipik bir çalışmada, keşif aşaması fine-tuning’in doğru cevap olup olmadığını kontrol eder. Görevi, hacmi, mevcut örnekleri ve müşterinin kaliteyi şu anda nasıl ölçtüğünü gözden geçiririz. Genellikle prompt ve getirme ile başlarız ve yalnızca temel çizgi net bir boşluk gösterdiğinde LoRA veya yönetilen fine-tuning öneririz.
Kurulum, müşterinin incelemecileriyle değerlendirme setinin oluşturulmasını ve dondurulmasını, temel çizginin çalıştırılmasını ve ardından temizlenmiş veriler üzerinde adaptörlerin eğitilmesini içerir. Her eğitim turu, üretime geçmeden önce kalite, maliyet, gecikme ve regresyon açısından puanlanır.
Ölçüm, lansmandan sonra düzenleme oranları ve temel modele karşı periyodik kör karşılaştırmalar yoluyla devam eder. Aylık raporlar yukarıdaki paneli kullanır, böylece müşteri temel modeller geliştikçe özel modelin yerini hak edip etmediğini görebilir.
Bu hafta nereden başlamalı
Fine-tuning için düşündüğünüz bir görevi seçin ve elli mükemmel çıktı örneği toplayın. Bunları güçlü bir prompt ile mevcut modelinizden geçirin ve iki kişinin sonuçları orijinallere karşı kör bir şekilde derecelendirmesini sağlayın. Bu temel çizgi, eğitime bir şey harcamadan önce özel bir modelin ne kadar gelişme alanı olduğunu size söyler.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu