LoRA ile fine-tuning, belirli bir sırayı takip ettiğinizde zaman kazandırır: prompting ve retrieval’ın görevi çözemeyeceğini doğrulayın, küçük ve temiz bir veri seti oluşturun, açık bir model üzerinde düşük dereceli (low-rank) bir adaptör eğitin, bunu ayrılmış bir setle değerlendirin ve ancak o zaman dağıtın. İlk ve dördüncü adımları atlamak, boşa harcanan GPU saatlerinin ve hayal kırıklığı yaratan modellerin ana nedenidir.
LoRA, yani Low-Rank Adaptation, büyük bir modelin her parametresini güncellemek yerine küçük bir ekstra ağırlık seti eğitir. Temel model dondurulmuş kalır ve adaptör değişikliği öğrenir. Adaptörler küçük dosyalardır, genellikle birkaç megabayttan birkaç yüze kadar değişir, bu nedenle farklı görevler için birkaç tane saklayabilir ve bunları tek bir temel model üzerinde değiştirebilirsiniz. QLoRA, temel modeli 4-bit hassasiyetle yükleyerek daha da ileri gider, bu da orta ölçekli modellerin tek bir tüketici veya bulut GPU’sunda eğitilmesine olanak tanır.
Fine-tuning ne zaman doğru araçtır?
Fine-tuning; stili, formatı ve dar kapsamlı davranışları iyi öğretir. Sık değişen yeni gerçekleri bir modele öğretmek için zayıf bir yoldur. Mevcut fiyat listenize dayalı cevaplara ihtiyacınız varsa, retrieval (ilgili belgeleri isteme beslemek) daha ucuzdur ve güncellenmesi daha kolaydır.
İyi fine-tuning görevleri bir modeli paylaşır: çıktı formatı tutarlıdır, yüzlerce veya binlerce iyi örneğiniz vardır ve genel bir model, dikkatli bir istemle bile tonu veya yapıyı biraz yanlış yapmaya devam eder.
- İyi uyum: katı bir kurumsal stilde ürün açıklamaları, kendi kategorilerinize göre sınıflandırma, dağınık belgelerden alan çıkarma.
- Zayıf uyum: sık güncellenen politikalar hakkında soruları yanıtlama, genel araştırma, yüzden az örneği olan görevler.
- Önce kontrol edin: güçlü bir barındırılan model üzerinde beş örnekle iyi yazılmış bir istem. Eğer bu kalite hedefinize ulaşıyorsa, durun.
Eğitim verilerini nasıl hazırlarsınız?
Veri kalitesi, sonucu herhangi bir hiperparametreden daha fazla belirler. Girdi ve istediğiniz çıktıların gerçek örneklerini toplayın, ardından bunları elle temizleyin. Çelişkileri, eski örnekleri ve eğitme hakkınız olmayan kişisel verileri içeren her şeyi kaldırın.
Her örneği, temel modelinizin beklediği sohbet şablonunda bir istem ve yanıt çifti olarak biçimlendirin. Şablon uyumsuzlukları, eğitimden sonra garip çıktıların klasik bir nedenidir, bu yüzden tam format için model kartını kontrol edin.
Seti bölmek
Örneklerin yüzde 10 ila 15’ini, modelin eğitim sırasında hiç görmediği bir değerlendirme seti olarak ayırın. Deneyler boyunca sabit tutun, aksi takdirde çalıştırmaları karşılaştıramazsınız. Örnekler müşteri veya ürüne göre kümeleniyorsa, benzer öğelerin sınırı aşmaması için gruplara göre bölün.
Tekrarlanabilir bir eğitim çalıştırması neye benzer?
Zaman kazandıran ekipler süreci bir kez yazar ve yeniden kullanır. Yaygın araçlar arasında PEFT kütüphanesi ile Hugging Face Transformers, denetimli fine-tuning için TRL ve kurulum işini azaltan Axolotl veya Unsloth gibi sarmalayıcılar bulunur. Barındırılan seçenekler de mevcuttur; birkaç model sağlayıcısı, verileri yüklediğiniz ve ayarlanmış bir model aldığınız yönetilen fine-tuning sunar.
- Lisansı kullanımınıza izin veren ve boyutu donanımınıza ve gecikme bütçenize uyan bir temel model seçin.
- Yaygın LoRA ayarlarıyla başlayın (rank 8’den 16’ya, alfa rank’in yaklaşık iki katı) ve her seferinde bir şeyi değiştirin.
- Her çalıştırmayı kaydedin: veri seti sürümü, temel model, ayarlar, eğitim kaybı ve değerlendirme puanları.
- Önce az sayıda epok için eğitin; aşırı uyum (overfitting), azalan eğitim kaybı ve daha kötü değerlendirme sonuçlarıyla kendini gösterir.
- Adaptörü, yapılandırmayı ve tam veri hash’ini birlikte kaydedin.
Bir LoRA adaptörünü nasıl değerlendirmelisiniz?
Kayıp eğrileri size eğitimin çalıştığını söyler, modelin yararlı olduğunu değil. Çıktıları, göreve bağlı kriterlerle ayrılmış sette puanlayın: sınıflandırma için tam eşleşme, çıkarma için alan doğruluğu ve yazma görevleri için bir rubrik. Yazma için, bir kişinin hangi çıktının ayarlanmış modelden, hangisinin temel çizgiden geldiğini bilmeden bir örneği körlemesine puanlamasını sağlayın.
Ayrıca regresyonları test edin. Ürün açıklamaları üzerinde sert bir şekilde ayarlanmış bir model, ilgisiz talimatları izlemede kötüleşebilir. Küçük bir genel test seti tutun ve her çalıştırmada kontrol edin.
Adaptörleri nasıl dağıtır ve bakımını yaparsınız?
vLLM gibi servis çerçeveleri, bir temel model üzerinde birkaç LoRA adaptörü yükleyebilir ve istek başına adaptörü seçebilir. Bu, marka veya görev başına ayrı adaptörler çalıştırdığınızda maliyetleri düşük tutar. Adaptörü temel ağırlıklarla birleştirmek, tek bir bağımsız modele ihtiyacınız olduğunda başka bir seçenektir.
Bakım esas olarak veri bakımıdır. Kurumsal stil değiştiğinde, örnekleri güncelleyin ve yeniden eğitin. Adaptörü en yeni temel modellerle karşılaştırdığınız üç aylık bir inceleme planlayın; bazen iyi bir isteme sahip daha yeni bir genel model, eski bir ayarlanmış modeli yener.
En büyük zaman kaybettiriciler nelerdir?
En büyüğü, değerlendirme seti var olmadan önce eğitim yapmaktır. Sabit test örnekleri olmadan, her çalıştırma umut verici görünür ve kimse hangisinin daha iyi olduğunu söyleyemez. İkincisi, aynı anda birkaç ayarı değiştirmektir, bu da neyin yardımcı olduğunu öğrenmeyi imkansız hale getirir. Üçüncüsü, yinelenen örnekler veya birbirini çelişen çıktılar gibi bariz veri sorunlarını görmezden gelirken küçük kayıp iyileştirmelerini kovalamaktır.
Altyapı da zaman tüketir. Kütüphane sürümlerini sabitleyin, eğitim için bir konteyner imajı tutun ve her proje için kısa bir README yazın. Bir sonraki kişi, genellikle üç ay sonra siz, size teşekkür edecektir.
Alien Road, fine-tuning ve LoRA’yı nasıl uygular
Tipik bir çalışmada, keşif aşamasını fine-tuning’in gerçekten gerekli olup olmadığını kanıtlayarak geçiriyoruz. Müşterinin görevini güçlü barındırılan modeller ve dikkatli istemlerle test ediyoruz ve birçok proje orada bir model yerine bir istem kütüphanesi ile sona eriyor.
Ayarlama haklı olduğunda, kurulum onaylanmış örneklerin toplanmasını, bunların müşterinin konu uzmanlarıyla temizlenmesini ve belgelenmiş bir dizi LoRA deneyinin çalıştırılmasını kapsar. Ölçüm, sabit bir değerlendirme seti ve sadece istem tabanlı temel çizgiye karşı kör insan puanlamalarını kullanır. Raporlama, kalite puanlarını, bin çıktı başına maliyeti ve net bir öneriyi gösterir: dağıtın, yineleyin veya istem yapmaya devam edin.
Bu hafta nereden başlamalı
Tekrarlayan bir üretim veya sınıflandırma görevi seçin. Beş örnekle yapabileceğiniz en iyi istemi yazın ve yirmi gerçek girdi üzerinde test edin. Kaç çıktının düzenlemeye ihtiyaç duyduğunu kaydedin. Bu sayı sizin temel çizginizdir; bir fine-tuning projesi ancak bir adaptörün bunu önemli ölçüde azaltabileceğine inandığınızda mantıklıdır.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu