Fine-tuning, önceden eğitilmiş bir dil veya görüntü modelini kendi örnekleriniz üzerinde daha fazla eğiterek belirli bir göreve uyarlar. Low-Rank Adaptation’ın kısaltması olan LoRA, tüm model yerine küçük adaptör ağırlıklarını eğiten, bu sayede hesaplama maliyetini ve depolama ihtiyacını azaltan bir yöntemdir. Bir uygulama kontrol listesi; ne zaman fine-tuning yapılacağını, verilerin nasıl hazırlanacağını, nasıl değerlendirme yapılacağını ve nasıl güvenli bir şekilde yayına alınacağını kapsar.
LoRA, 2021 yılında Microsoft araştırmacıları tarafından tanıtılmış ve Llama, Mistral ve Qwen gibi açık ağırlıklı modellerin yanı sıra Stable Diffusion gibi görüntü modellerini uyarlamak için standart haline gelmiştir. OpenAI ve Google dahil olmak üzere barındırılan sağlayıcılar, bazı modeller için kendi yönetilen fine-tuning hizmetlerini sunmakta ve arka planda genellikle benzer parametre verimliliği yöntemlerini kullanmaktadır.
Fine-tuning yapmalı mısınız?
Çoğu zaman hayır. Birçok pazarlama görevi iyi istemler (prompt), istem içindeki örnekler veya yanıt anında modele belgelerinizi besleyen RAG (Retrieval-Augmented Generation) ile daha iyi çözülür. Fine-tuning, aynı dar kapsamlı görev yüksek hacimde tekrarlandığında ve sadece istemler tutarsız çıktılar verdiğinde değerlidir.
Fine-tuning için iyi nedenler
- Modelin sürekli bozduğu sabit bir çıktı formatı, örneğin yapılandırılmış ürün özellikleri
- İstemlerin binlerce çıktı boyunca koruyamadığı bir marka sesi
- Destek biletlerini veya yorumları kategorilere ayırmak gibi sınıflandırma görevleri
- Görevi büyük bir modelden daha küçük, ayarlanmış bir modele taşıyarak maliyeti düşürmek
- Bir görüntü LoRA kullanarak görüntü oluşturma için tutarlı bir görsel stil
Kötü nedenler
- Modele fiyatlar veya stok seviyeleri gibi sık değişen gerçekleri öğretmek
- Henüz net bir şekilde tanımlamadığınız bir görevi düzeltmek
- Birkaç yüzden az iyi örneğe sahip olmak
Adım 1: görevi ve başarı kriterlerini tanımlayın
Girdiyi, beklenen çıktıyı ve ölçülebilir terimlerle “iyi”nin ne anlama geldiğini yazın. “Daha iyi metin” gibi belirsiz hedefler test edilemez ve test edilemeyen bir görev ayar (tune) edilemez. Bir ürün açıklaması görevi için “iyi”, doğru özellikler, belirli bir uzunluk aralığı, yasaklı iddiaların olmaması ve bir gözden geçiren tarafından yapılan stil puanlaması anlamına gelebilir.
Ardından, herhangi bir eğitimden önce bir değerlendirme seti oluşturun. 100 ila 300 gerçek girdi alın, ideal çıktıları yazın veya onaylayın ve bunları kenara koyun. Bu set asla eğitime dahil edilmez. Her model sürümü buna göre puanlanacaktır.
Adım 2: eğitim verilerini hazırlayın
Kalite nicelikten üstündür. Dar görevler için dikkatlice kontrol edilmiş birkaç yüz örnek, genellikle binlerce gürültülü örnekten daha iyi performans gösterir. Yinelenenleri kaldırın, biçimlendirme hatalarını düzeltin ve örneklerin çok kısa girdiler veya eksik alanlar gibi uç durumları kapsadığından emin olun.
Veri haklarını ve gizliliği kontrol edin. Müşteri e-postaları, destek sohbetleri ve yorumlar kişisel veriler içerebilir. İsimleri, e-postaları ve telefon numaralarını kaldırın ve müşterilerinizin nerede olduğuna bağlı olarak GDPR veya KVKK kapsamında verileri eğitim için kullanmak üzere yasal bir dayanağınız olduğunu doğrulayın.
Adım 3: temel modeli ve ayarları nasıl seçersiniz?
Görevi iyi yapabilen en küçük modeli seçin, çünkü küçük modelleri çalıştırmak daha ucuzdur. Önce ayarlanmamış temel modeli değerlendirme setinizde test edin; bu sonuç ile hedefiniz arasındaki fark, fine-tuning’in ne kadar iş yapması gerektiğini söyler.
LoRA için ana ayarlar rank (genellikle 8 ila 64), öğrenme oranı, epoch sayısı ve hangi katmanların adaptör alacağıdır. Hugging Face PEFT, Axolotl ve Unsloth gibi kütüphaneler mekaniği yönetir. Temel modeli 4-bit hassasiyetle yükleyen bir varyant olan QLoRA, orta ölçekli modelleri tek bir GPU üzerinde ayarlamanıza olanak tanır.
Adım 4: dürüstçe değerlendirin
Eğitilmiş her sürümü ayrılmış değerlendirme setinde puanlayın. Mümkün olduğunda format geçerliliği, gerekli alanlar ve uzunluk gibi otomatik kontrolleri ve bir örnek üzerinde ton ve doğruluk için insan incelemesini kullanın.
Aşırı uyumdan (overfitting) kaçının: eğitim kaybı düşerken değerlendirme puanları durur veya düşer. Bu olursa, daha büyük bir rank denemeden önce epoch’ları azaltın, öğrenme oranını düşürün veya daha çeşitli örnekler ekleyin. Ayrıca genel davranışı test edin. Bir görev üzerinde çok sert ayarlanmış bir model, temel talimatları takip etmede kötüleşebilir veya eğitim ifadelerini kelimesi kelimesine tekrarlamaya başlayabilir.
Adım 5: üretim dağıtımını planlayın
Dağıtım seçenekleri modele bağlıdır. Barındırılan fine-tune modelleri sağlayıcının uç noktasında çalışır. LoRA adaptörlerine sahip açık ağırlıklı modeller, vLLM veya Text Generation Inference gibi çıkarım sunucularında çalışabilir ve bazı kurulumlar bir temel modele birkaç adaptör yükler, bu da farklı müşteriler veya görevler için adaptörleriniz olduğunda maliyeti düşük tutar.
Üretim kontrol listesi
- Her adaptörü versiyonlayın ve eğitim verilerini ve değerlendirme puanını kaydedin
- Hızlı geri alma için önceki sürümü hazır tutun
- Kişisel verileri kaldırılmış girdileri ve çıktıları daha sonra incelemek üzere kaydedin
- Trafiğin bir kısmını önce yeni sürüme yönlendirin ve karşılaştırın
- Yeni onaylanmış örnekler üzerinde yeniden eğitmek için aylık gibi bir inceleme döngüsü belirleyin
Maliyet kontrolü
Eğitim maliyetleri genellikle ölçekli çıkarıma kıyasla küçüktür. Aylık istekleri, istek başına ortalama token sayısını ve token veya GPU saati başına fiyatı tahmin edin, ardından ayarlanmış küçük modeli ayarlanmamış büyük modelle karşılaştırın. Ayarlanmış seçenek, büyük model biraz daha iyi puan alsa bile genellikle işletme maliyetlerinde kazanır. Gizli maliyetleri de dahil edin: verileri hazırlamaya, çıktıları incelemeye ve görev değiştiğinde yeniden eğitime harcanan saatler. Personel zamanını görmezden gelen bir pilot proje, kağıt üzerinde olduğundan daha ucuz görünecektir.
Alien Road fine-tuning ve LoRA’yı nasıl uygular
Tipik bir çalışmada keşif, istemlerin veya veri alımının sorunu zaten çözüp çözmediğini test ederek başlar. Birçok istek orada biter, bu da müşteriyi bir eğitim projesinden kurtarır. Hacim ve tutarlılık ihtiyaçları bunu haklı çıkardığında, görevi tanımlar, müşteri ekibiyle değerlendirme setini oluşturur ve verileri kişisel bilgiler ve haklar açısından kontrol ederiz.
Kurulum, temel model seçimini, LoRA eğitim çalışmalarını ve temel modele karşı yan yana puanlamayı kapsar. Ölçüm, aynı kriterlere göre incelenen kayıtlı örnekler aracılığıyla lansmandan sonra devam eder ve raporlama kalite puanlarını, bin çıktı başına maliyeti ve herhangi bir sapmayı gösterir. Her adaptör sürümü belgelenir, böylece müşteri denetleyebilir veya geri alabilir.
Bu hafta nereden başlamalı
Tekrarlayan bir görev seçin ve ideal çıktılara sahip yirmi gerçek girdi yazın. Bunları mevcut modelinizden en iyi isteminizle geçirin ve sonuçları puanlayın.
İstem iyileştirmelerinden sonra ondan sekizi standardı karşılamıyorsa, birkaç yüz örnek daha toplayın. Bu, bir LoRA pilotunun mantıklı olmaya başladığı noktadır.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu