Fine-tuning, önceden eğitilmiş bir AI modelini kendi örnekleriniz üzerinde daha fazla eğiterek daha dar bir göreve uyarlar ve LoRA (düşük dereceli adaptasyon), tüm model yerine küçük ek ağırlık matrislerini eğiterek bunu ucuza yapan popüler bir yöntemdir. En yaygın hatalar, daha iyi bir prompt yeterli olacakken fine-tuning yapmak, dağınık veriler üzerinde eğitim yapmak ve değerlendirmeyi atlamaktır.
Fine-tuning ve LoRA kısaca nedir?
Llama, Mistral veya Qwen gibi bir temel model genel bilgiye ve genel alışkanlıklara sahiptir. Fine-tuning ona yüzlerce veya binlerce girdi ve çıktı çifti gösterir, böylece belirli bir stili, formatı veya görevi öğrenir. Tam fine-tuning her parametreyi günceller, bu da ciddi GPU belleği ve zaman gerektirir.
Microsoft’un 2021 tarihli bir araştırma makalesinde açıklanan LoRA, orijinal ağırlıkları dondurur ve yanlarında küçük düşük dereceli matrisleri eğitir. Sonuç, genellikle modelin boyutunun küçük bir kısmı olan bir adaptör dosyasıdır. Bir temel modeli tutabilir ve farklı müşteriler veya görevler için adaptörleri değiştirebilirsiniz. QLoRA, temel modeli 4-bit hassasiyetle yükleyerek daha da ileri gider, bu da insanların oldukça büyük modelleri tek bir tüketici veya iş istasyonu GPU’sunda ayarlamasına olanak tanır.
Barındırılan seçenekler de mevcuttur. OpenAI, Google ve diğer sağlayıcılar, donanımı kendiniz yönetmeden eğitim verilerini yüklemenize ve seçilen modelleri platformları aracılığıyla fine-tuning yapmanıza olanak tanır.
Hata 1: promptlar ve retrieval denemeden önce fine-tuning
Birçok ekip fine-tuning’e yönelir çünkü bu ciddi bir seçenek gibi görünür. Uygulamada, pazarlama ihtiyaçlarının büyük bir kısmı iyi örnekleri olan net promptlar veya modelin yanıt verdiği anda ilgili belgeleri okuduğu retrieval-augmented generation (RAG) ile karşılanır.
Faydalı bir kural: fine-tuning formu öğretir, retrieval gerçekleri sağlar. Modelin bu ayın ürün fiyatlarını bilmesini istiyorsanız, fine-tuning yanlış araçtır, çünkü bilgi eğitim sırasında donar ve eskir. Ürün metinlerini her zaman belirli bir yapıda ve seste yazmasını istiyorsanız, fine-tuning yardımcı olabilir.
Hata 2: kimsenin temizlemediği veriler üzerinde eğitim
Fine-tuning yapılmış bir model, kötü olanlar da dahil olmak üzere eğitim setindeki her türlü deseni kopyalar. Pazarlama veri setlerindeki tipik sorunlar:
- Durdurulmuş ürünlerden veya süresi dolmuş tekliflerden bahseden eski metinler.
- Tutarsız biçimlendirme, böylece model net bir yapı öğrenemez.
- Birkaç örneği aşırı ağırlıklandıran kopyalar.
- Farklı standartlara sahip birçok yazar tarafından yazılmış metinler.
- Destek transkriptlerindeki müşteri adları gibi, asla ağırlıklara dahil edilmemesi gereken kişisel veriler.
Küçük, küratörlü veri setleri genellikle büyük, gürültülü olanları yener. Tam olarak istediğinizi temsil eden birkaç yüz özenle seçilmiş örnek, bir arşivden kazınmış binlerce örnekten daha iyi performans gösterebilir.
Veri inceleme kontrol listesi
- Bugün yayınlamayacağınız her şeyi kaldırın.
- Girdi formatını standartlaştırın, böylece her örnek aynı görünür.
- Kişisel bilgileri kaldırın veya değiştirin.
- Modelin eğitim sırasında asla görmediği ayrı bir test seti ayırın.
- Eğitim başlamadan önce bir kişinin rastgele bir örnek okumasını sağlayın.
Hata 3: değerlendirme yok, sadece izlenimler
Klasik başarısızlık, bir modeli eğitmek, beş prompt denemek, yanıtları beğenmek ve başarı ilan etmektir. Bu size çok az şey söyler. Sabit bir test setine ve çıktıları puanlamanın bir yoluna ihtiyacınız vardır; ister insan derecelendirmesi, ister kural tabanlı kontroller (uzunluk, yasaklı kelimeler, gerekli alanlar) veya iyi bir prompt ile temel modelle karşılaştırma olsun.
Aşırı uyum (overfitting) özel bir tehlikedir. Küçük bir sette çok uzun süre eğitilmiş bir model, eğitim örneklerini neredeyse kelimesi kelimesine yeniden üretebilir veya daha önce sahip olduğu genel yetenekleri kaybedebilir. Eğitim sırasında doğrulama kaybını izlemek ve görülmemiş girdiler üzerinde test etmek bunu yakalar.
Hata 4: LoRA için yanlış ayarlar
LoRA’nın önemli olan birkaç hiperparametresi vardır: derece (genellikle r olarak yazılır), ölçekleme faktörü alfa, hangi katmanların adaptör aldığı, öğrenme oranı ve epok sayısı. Farklı bir model boyutu veya görevi için oluşturulmuş rastgele bir eğitimden ayarları kopyalamak zayıf veya kararsız sonuçlara yol açar.
Hugging Face PEFT gibi kütüphaneler ve Axolotl veya Unsloth gibi araçlar mantıklı varsayılanlarla gelir ve bu varsayılanlar başlamak için makul bir yerdir. Her seferinde bir ayarı değiştirin ve sonucu kaydedin, aksi takdirde neyin yardımcı olduğunu söyleyemezsiniz.
Hata 5: lisanslamayı ve dağıtımı görmezden gelmek
Açık ağırlıklı modeller farklı lisanslarla gelir. Bazıları geniş ticari kullanıma izin verir, diğerleri kısıtlamalar veya atıf kuralları taşır. Üzerine bir müşteri ürünü inşa etmeden önce temel model sürümünün lisansını kontrol edin.
Dağıtım genellikle sonradan akla gelir. Fine-tuning yapılmış bir adaptörün, öngörülebilir maliyet ve gecikme ile çalışacak bir yere ihtiyacı vardır. vLLM gibi servis araçları LoRA adaptörlerinin yüklenmesini destekler ve birkaç bulut sağlayıcısı özel modelleri barındırır, ancak birinin izleme, güncellemeler ve geri almalardan sorumlu olması gerekir.
Alien Road fine-tuning ve LoRA’yı nasıl uygular
Tipik bir çalışmada keşif, fine-tuning’e gerçekten ihtiyaç olup olmadığını sorarak başlar. Önce görevin en iyi prompt-plus-retrieval sürümünü oluşturur ve ölçeriz. Sadece bu temel çizgi stil veya format tutarlılığında başarısız olduğunda eğitimi düşünürüz.
Eğitim devam ederse, kurulum veri setine odaklanır. Müşteriyle onaylanmış örnekleri seçmek, temizlemek, kişisel verileri kaldırmak ve bir test seti ayırmak için çalışırız. Açık ağırlıklı bir modelde küçük bir LoRA çalışması veya barındırılan bir fine-tuning, ayarlar ve veri sürümleri kaydedilerek bir sonraki adımdır.
Ölçüm, aynı test setinde üç sürümü karşılaştırır: basit bir prompt ile temel model, en iyi prompt ile temel model ve ayarlanmış model. Gözden geçirenler, hangi sürümün hangisini yazdığını bilmeden çıktıları körlemesine puanlar. Müşteriye yapılan raporlama bu puanları, her seçeneği çalıştırmanın maliyetini ve bazen prompting ile devam etmeyi öneren bir tavsiyeyi gösterir.
Fine-tuning ne zaman kesinlikle buna değer?
Bir görev dar olduğunda, yüksek hacimde tekrarlandığında ve tutarlılık açısından değerlendirildiğinde yerini hak eder. Örnekler arasında gelen potansiyel müşterilerin sabit kategorilere sınıflandırılması, ürün verilerinin katı bir şablona yeniden yazılması veya çok özel bir marka sesinde kısa reklam satırları üretilmesi yer alır. Bu gibi durumlarda, küçük bir ayarlanmış model, büyük bir genel modelden daha ucuz ve daha hızlı çalışabilir.
Geniş yaratıcı çalışmalar, hızla değişen gerçekler veya ayda birkaç kez yaptığınız görevler için nadiren buna değer.
Bu hafta nereden başlamalı
Fine-tuning gerektirdiğini düşündüğünüz tek görevi yazın. Üç iyi örnekle yapabileceğiniz en güçlü promptu oluşturun ve 30 gerçek girdi üzerinde çalıştırın. Sonuçları dürüstçe puanlayın.
Eğer birkaç çıktıdan fazlası format veya ses açısından başarısız olursa, onaylanmış örneklerden oluşan temiz bir veri seti toplamaya başlayın. Boyuttan ziyade kaliteyi hedefleyin, bir test seti ayırın ve ancak o zaman küçük bir LoRA deneyi planlayın.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu