Küçük dil modelleri, genellikle birkaç milyar veya daha az parametreye sahip, dizüstü bilgisayarda, telefonda veya mütevazı bir sunucuda çalışabilen kompakt yapay zeka modelleridir. Bir pazarlama ekibi için temel riskleri; karmaşık görevlerde düşük doğruluk, kötü yönetilen gerçekler ve dillerde kendinden emin hatalar ve cihazlar arasında yayılan yönetilmeyen kopyalardır. Yönetişim, onları dar ve test edilebilir görevlerle sınırlandırmalı, kullanımdan önce değerlendirme gerektirmeli ve her modelin nerede çalıştığını takip etmelidir.
Örnekler arasında Microsoft’un Phi ailesi, Google’ın Gemma’sı, Meta’nın küçük Llama varyantları, Mistral’ın küçük modelleri, Alibaba’nın Qwen küçük sürümleri ve Gemini Nano ile Apple’ın cihaz içi temel modeli gibi telefonların içinde çalışan modeller yer alır. Ollama, LM Studio ve llama.cpp gibi araçlar, bunları kişisel bir bilgisayara indirip çalıştırmayı kolaylaştırır.
Cazibeleri açıktır: görev başına düşük maliyet, hızlı yanıtlar, verileri tamamen kurum içinde tutma seçeneği ve belirli bir iş için onları ucuza ince ayar yapabilme yeteneği. Bu avantajlar gerçektir. Sınırlar da öyle.
Küçük modeller nerede güçlüdür?
Küçük modeller, dar ve iyi tanımlanmış görevlerde iyi performans gösterir. Destek mesajlarını kategorilere ayırmak, formlardan alanları çıkarmak, ürün incelemelerini konuya göre etiketlemek, kısa metinleri sabit bir stilde yeniden yazmak ve basit yönlendirme kararları iyi örneklerdir.
Ayrıca ince ayar yapıldıklarında da iyi performans gösterirler. Belirli bir görevin birkaç bin örneği üzerinde eğitilmiş küçük bir model, o görevde büyük bir genel modeli yakalayabilir veya geçebilir, üstelik işletme maliyetinin çok küçük bir kısmıyla.
Sınırları nelerdir?
Akıl yürütme ve uzun bağlam
Küçük modeller, çok adımlı akıl yürütme, uzun belgeler ve aynı anda birçok gerçeği akılda tutmayı gerektiren görevlerle mücadele eder. Birinden bir kampanya raporunu analiz etmesini ve bütçe değişiklikleri önermesini istemek genellikle yüzeysel veya yanlış tavsiyelerle sonuçlanır.
Bilgi ve gerçekler
Daha az parametre ile daha az dünya bilgisi depolarlar. Özellikle niş konular hakkında gerçekleri, isimleri ve rakamları uydurmaya ve bunu akıcı bir şekilde yapmaya daha yatkındırlar.
Diller
Birçok küçük model ağırlıklı olarak İngilizce üzerinde eğitilmiştir. Türkçe, Azerbaycan Türkçesi veya diğer dillerdeki kalite, dilbilgisi hataları veya kelimesi kelimesine çevirilerle belirgin şekilde daha düşük olabilir. Her dili ayrı ayrı test edin.
Güvenlik ayarı
Küçük modeller, büyük ticari modellere göre daha zayıf güvenlik ve reddetme ayarlarına sahip olabilir. Kötü yönlendirildiklerinde veya kötü niyetli bir kullanıcı tarafından istendiğinde uygunsuz içeriği daha kolay üretebilirler.
Hangi riskler yönetişim gerektirir?
Gölge dağıtımlar
Herkes bir model indirip dizüstü bilgisayarda çalıştırabildiği için, ekipler BT’nin haberi olmadan bunları kullanmaya başlayabilir. Yerel bir modele yapıştırılan müşteri verileri gizli kalabilir, ancak çıktılar gözden geçirilmeden kullanılabilir ve kimse hangi model sürümünün ne ürettiğini bilmez.
Lisans koşulları
Küçük modeller farklı lisanslar altında gelir. Bazıları Apache 2.0 gibi izin vericidir, diğerleri kullanım kısıtlamaları olan özel koşullara sahiptir. Lisansını kontrol etmeden bir modeli ticari olarak kullanmak yasal bir risktir.
Doğrulanmamış çıktılar
Potansiyel müşterileri veya destek biletlerini sınıflandıran küçük bir model, bunların bir kısmını sessizce yanlış yönlendirebilir. Bir değerlendirme seti ve izleme olmadan, hatalar sadece şikayet olarak ortaya çıkar.
Model tedarik zinciri
Halka açık merkezlerden indirilen modeller değiştirilmiş sürümler olabilir. Resmi kaynakları kullanın ve yayıncıları doğrulayın. Bazı eski formatlardaki model dosyaları yürütülebilir kod bile taşıyabilir, bu yüzden safetensors gibi daha güvenli formatlar tercih edilir.
Hangi yönetişim kuralları ilk sırada gelmelidir?
- Onaylı liste: iş kullanımı için izin verilen modelleri, resmi kaynaklarını ve lisanslarını adlandırın.
- Kullanım durumu onayı: her yeni kullanım durumu bir paragrafta açıklanır ve bir sahibi tarafından onaylanır.
- Kullanımdan önce değerlendirme: her modeli görev ve dil başına en az elli gerçek örnek üzerinde, bir kabul eşiği ile test edin.
- Gözden geçirilmemiş müşteri odaklı çıktı yok: bir müşterinin gördüğü her şey gözden geçirilir veya güvenli şablonlarla sınırlandırılır.
- Veri kuralları: hangi verilerin işlenebileceği, modelin nerede çalıştığı ve günlüklerin nasıl tutulduğu.
- Sürüm takibi: her iş akışı için kullanılan model adını ve sürümünü kaydedin.
- Değişiklikte yeniden test: bir model güncellendiğinde veya değiştirildiğinde, değerlendirme setini yeniden çalıştırın.
Ne zaman daha büyük bir model seçmelisiniz?
Görev akıl yürütme, uzun belgeler, müşterilerin okuyacağı açık uçlu yazılar veya yüksek kalitede birçok dil içerdiğinde daha büyük bir model seçin. Yaygın bir tasarım her ikisini de kullanır: hızlı sınıflandırma ve yönlendirme için küçük bir model ve küçük modelin belirsiz olarak işaretlediği durumlar için daha büyük bir model.
Hatalar yeniden çalışmaya neden oluyorsa, sadece maliyet küçük bir model seçmek için zayıf bir nedendir. Sadece token fiyatını değil, gözden geçirme ve düzeltme dahil toplam maliyeti karşılaştırın.
Alien Road küçük dil modellerini nasıl uygular
Tipik bir çalışmada küçük modeller, içerik yazmaktan ziyade veri ve operasyon görevlerinde görünür. Keşif süreci; incelemeleri etiketleme, gelen mesajları sıralama veya potansiyel müşteri formlarından alanları çıkarma gibi yüksek hacimli, dar görevleri tanımlar ve ilgili dilleri kontrol eder.
Kurulum, resmi bir kaynaktan onaylı bir model kullanır, yönetilen bir ana bilgisayar aracılığıyla veya Ollama veya vLLM ile müşterinin altyapısında çalıştırılır. Müşterinin kendi verilerinden bir değerlendirme seti oluşturur, küçük modeli daha büyük olanla karşılaştırır ve sonuçları kaydederiz. Küçük model kararlaştırılan doğruluğa ulaşırsa, belirsiz durumlar için daha büyük bir modele veya bir kişiye geri dönüş ile iş akışına girer.
Ölçüm, haftalık bir örneklem üzerinde doğruluğu, geri dönüş oranını ve görev başına maliyeti takip eder. Raporlar bunları zaman içinde gösterir ve gelen verilerdeki bir değişiklikten sonra doğruluktaki düşüş gibi herhangi bir sapmayı işaretler.
Küçük bir modeli başlattıktan sonra nasıl izlersiniz?
Başlatmadan önceki değerlendirme yeterli değildir, çünkü gelen veriler değişir. Yeni bir ürün yelpazesi, yeni bir dilde kampanya veya müşteri sorularındaki mevsimsel bir kayma, küçük bir modeli iyi yönettiği alanın dışına itebilir. Her hafta bir çıktı örneği alın ve bir kişiye bunları orijinal değerlendirmede kullanılan aynı standarda göre derecelendirmesini sağlayın.
Geri dönüş oranını da izleyin. Daha fazla vaka daha büyük bir modele veya bir kişiye aktarılıyorsa, derecelendirilen örnek iyi görünse bile küçük model zorlanıyor demektir.
Bu hafta nereden başlamalı
Ekibinizin şu anda yapay zeka kullandığı her yeri listeleyin ve dizüstü bilgisayarlarda yerel olarak çalışan her şey dahil olmak üzere arkasında hangi modellerin olduğunu not edin. Onay olmadan zaten kullanılan küçük modeller bulabilirsiniz.
Ardından dar, yüksek hacimli bir görev seçin ve gerçek verilerden elli örnekli bir test seti oluşturun. Üzerinde küçük ve büyük bir model çalıştırın ve doğruluk ve maliyeti karşılaştırın. Bu tek karşılaştırma, küçük bir modelin iş akışınıza ait olup olmadığını size söyler.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu