Küçük dil modelleri, genellikle birkaç milyar veya daha az parametreye sahip, hızlı ve ucuz çalışan, bazen doğrudan bir dizüstü bilgisayarda veya telefonda çalışan kompakt AI modelleridir. Pazarlamacılar için içerik etiketleme, potansiyel müşteri sınıflandırma, kısa metin varyantları hazırlama ve yorum özetleme gibi dar, tekrarlayan işlere uygundurlar; burada büyük bir modelin ekstra muhakeme yeteneği, fazla değer katmadan maliyeti artırır.
Küçük dil modeli ne sayılır?
Resmi bir sınır yoktur, ancak terim genellikle bir milyardan yaklaşık on milyara kadar parametreye sahip modelleri kapsar. Örnekler arasında Microsoft’un Phi ailesi, Google’ın Gemma’sı, Meta’nın daha küçük Llama varyantları, Mistral’in kompakt modelleri ve Qwen’in küçük sürümleri bulunur. Apple ve Google da işletim sistemlerinde cihaz içi modeller sunar.
Büyük sınır modelleri ise çok daha büyüktür ve genellikle yalnızca bir sağlayıcının veri merkezinde çalışır. İkisi arasındaki fark azaldı. İyi eğitilmiş küçük modeller artık birçok günlük dil görevini iyi bir şekilde yerine getiriyor, ancak uzun süreli muhakeme, geniş dünya bilgisi ve karmaşık talimatlar konusunda hala geride kalıyorlar.
Pazarlama ekibi neden ilgilenmeli?
Üç neden: maliyet, hız ve gizlilik. Küçük bir model, istek başına çok daha düşük maliyetlidir, göz açıp kapayıncaya kadar yanıt verir ve kontrolünüz altındaki donanımda çalışabilir, böylece müşteri verilerinin sistemlerinizden çıkmasına gerek kalmaz.
Hacim yüksek olduğunda bu önemlidir. 50.000 blog yorumunu veya destek e-postasını büyük bir modelle etiketlemek mümkündür, ancak yavaştır ve fatura hızla artar. O iş için eğitilmiş veya yönlendirilmiş küçük bir model genellikle yeterince iyi iş görür.
Hangi pazarlama görevleri küçük modellere uygundur?
Model basittir: kısa girdi, net çıktı formatı, dar alan. Doğru cevabı tek bir cümleyle tanımlayabiliyorsanız, küçük bir modeli test etmeye değer.
- Gelen potansiyel müşterilerin bütçe aralığı, hizmet ilgisi veya dil gibi kategorilere göre sıralanması
- Ürün ekibi için yorumların konu ve duygu durumuna göre etiketlenmesi
- Sabit bir brief’ten reklam başlığının birçok kısa varyantının yazılması
- Tedarikçi metninden renk, boyut ve malzeme gibi ürün özelliklerinin çıkarılması
- Çağrı transkriptlerinin CRM notu için üç maddelik bir özete dönüştürülmesi
- Mesajın dilinin algılanması ve doğru ekibe yönlendirilmesi
Daha büyük modellerde tutulması gereken görevler: uzun makaleler, strateji belgeleri, çok adımlı araştırmalar ve güncel gerçekler veya birçok kaynak üzerinde dikkatli muhakeme gerektiren her şey.
Küçük modeller nasıl başarısız olur?
Sessizce başarısız olurlar. Küçük bir model, özellikle hiç öğrenmediği gerçekler hakkında sorulduğunda genellikle yanlış ama kendinden emin bir metin üretir. Ayrıca uzun bir talimatın bölümlerini görmezden gelebilir veya gerekli bir çıktı formatını bozabilir.
Yaygın başarısızlık belirtileri
- Kaynak metinde olmayan ürün detaylarının uydurulması
- Girdi alışılmadık olduğunda JSON çıktısından bir alanın silinmesi
- Çok dilli girdilerde cevabın ortasında dilin değişmesi
- Türkçe, Azerbaycan Türkçesi veya daha az eğitim verisine sahip diğer dillerde zayıf performans
Çözüm, görevi daha da daraltmak, istemde (prompt) iki veya üç örnek vermek ve çıktıları kodla doğrulamaktır. Bir alan beş değerden biri olmalıysa, bunu otomatik olarak kontrol edin ve hataları bir insana gönderin.
Küçük bir modeli ince ayar (fine-tune) yapmalı mısınız?
İnce ayar, modelin kendi örnekleriniz üzerinde biraz daha eğitilmesi anlamına gelir. Küçük modeller için bu ekonomiktir ve genellikle zayıf bir sonucu iyiye dönüştüren adımdır. Birkaç yüzden birkaç bine kadar temiz örnek, modele kategorilerinizi ve tonunuzu öğretebilir.
İnce ayardan önce, önce örneklerle iyi bir istem deneyin. Doğruluk hala ihtiyacınız olan seviyede değilse, ekibinizin geçmiş çalışmalarından gerçek etiketlenmiş verileri toplayın. LoRA gibi teknikler, ince ayarı tek bir kiralanmış GPU’da çalıştıracak kadar ucuz hale getirir. İnce ayar yapılmış modelin daha iyi olduğunu kanıtlayabilmek için kenarda tutulan bir test seti bulundurun.
Bulut ve cihaz içi arasında nasıl seçim yaparsınız?
Hugging Face Inference, Amazon Bedrock veya Google Vertex AI gibi bir sağlayıcı aracılığıyla bulutta küçük bir model çalıştırmak en kolay başlangıçtır. Ollama veya LM Studio gibi araçlarla kendi sunucunuzda veya dizüstü bilgisayarınızda çalıştırmak tam kontrol sağlar ve istek başına ücret talep etmez.
- Bulut: başlaması hızlı, talebe göre ölçeklenir, veriler sağlayıcının şartları altında sağlayıcıya gider
- Kendi sunucunuz: sabit maliyet, veriler içeride kalır, bakım için birine ihtiyaç duyar
- Uygulamada cihaz içi: sıfır sunucu maliyeti ve çevrimdışı kullanım, ancak kullanıcının donanımıyla sınırlıdır
Çoğu pazarlama ekibi için bulut yolu doğru ilk adımdır. Yalnızca hacim veya veri kuralları bunu haklı çıkardığında kendi kendine barındırmaya geçin.
Alien Road küçük dil modellerini nasıl uyguluyor?
Tipik bir çalışmada, müşterinin ekibinin halihazırda büyük modelleri nerede kullandığını denetliyoruz ve daha küçük bir modele geçebilecek tekrarlayan görevleri işaretliyoruz. Potansiyel müşteri etiketleme ve yorum sınıflandırma en sık karşılaşılanlardır.
Müşterinin kendi verilerinden etiketlenmiş bir test seti oluşturuyoruz, iki veya üç küçük modeli mevcut büyük modele karşı test ediyoruz ve doğruluk ile istek başına maliyeti karşılaştırıyoruz. Küçük bir model çıtayı karşılarsa, onu formatları kontrol eden ve belirsiz durumları bir insana veya daha büyük bir modele yönlendiren basit bir doğrulama katmanının arkasına yerleştiriyoruz.
Raporlar aylık örneklemdeki doğruluğu, yedek seçeneğe gönderilen vakaların payını ve bin istek başına maliyeti kapsar. Müşteri, küçük modelin nerede yardımcı olduğunu ve nerede olmadığını tam olarak görür.
Küçük bir modelin çalışması ne kadara mal olur?
Tam fiyatlar sık sık değişir, bu yüzden herhangi bir rakamı anlık bir görüntü olarak kabul edin. Genel model ise şöyledir: küçük barındırılan modeller için token oranları genellikle sınır model oranlarının küçük bir kısmıdır ve yerel bir model çalıştıran bir dizüstü bilgisayar, kurulduktan sonra istek başına hiçbir maliyet getirmez.
Gizli maliyet insanlardır. Birinin istemi yazması, test setini oluşturması, sonuçları kontrol etmesi ve görev değiştiğinde kurulumu güncellemesi gerekir. İlk pilot çalışma için birkaç günlük, sonrasında ise ayda birkaç saatlik iş bütçesi ayırın. Bir görev bu süreyi karşılayacak kadar sık çalışmıyorsa, onu halihazırda kullandığınız büyük modelde bırakın.
Bu hafta nereden başlamalı?
Ekibinizin elle yaptığı bir sıralama veya etiketleme görevi seçin. 200 geçmiş örneği doğru etiketlerle dışa aktarın. Bir dizüstü bilgisayara Ollama kurun, Gemma veya Phi varyantı gibi küçük bir model yükleyin ve kısa bir istem ve üç örnekle test edin. Kaç tanesini doğru bildiğini ölçün. Kendi verilerinizde yüzde 85 ila 90’ı geçerse, küçük bir pilot planlayın; geçmezse, görevin daha büyük bir modele ihtiyacı olduğunu ucuza öğrenmiş olursunuz.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu