Küçük dil modelleri, öncü sistemlere göre çok daha az parametreye sahip (yüz milyarlarca yerine genellikle birkaç milyar) yapay zeka modelleridir; bu da onların mütevazı sunucularda, dizüstü bilgisayarlarda ve hatta telefonlarda hızlı çalışmasını sağlar. Örnekler arasında Microsoft’un Phi ailesi, Google’ın Gemma’sı, Meta’nın daha küçük Llama modelleri, Mistral’in küçük modelleri ve Qwen bulunur. E-ticaret markaları için bunlar, hızın, maliyetin ve veri gizliliğinin geniş kapsamlı bilgiden daha önemli olduğu yüksek hacimli, dar kapsamlı işler için uygundur.
Küçük dil modeli ne sayılır?
Resmi bir sınır yoktur, ancak terim genellikle on ila on beş milyar parametrenin altındaki modelleri kapsar. Birçoğu açık ağırlıklarla yayınlanır, bu yüzden onları kendiniz barındırabilirsiniz. Gemini Nano ve Apple’ın cihaz içi modelleri gibi bazıları doğrudan telefonlarda çalışır.
Daha küçük modeller dünya hakkında daha az bilgiye sahiptir ve uzun, karmaşık akıl yürütmeleri daha kötü yönetir. Bunu hız ve maliyetle telafi ederler. Küçük bir model, milyonlarca arama sorgusunu veya ürün kaydını işlerken önemli olan, çalıştırılması düşük maliyetli donanımlarda saniyenin bir kısmında yanıt verebilir.
Hangi e-ticaret görevleri küçük modeller için uygundur?
Model çoğu iyi kullanımda aynıdır: net girdi, sınırlı olası çıktı kümesi ve çok yüksek hacim. Görev yaratıcı yazarlık veya geniş genel bilgi gerektirdiğinde, daha büyük bir model genellikle daha iyi bir seçimdir.
- Site içi aramada sorgu anlama: “ucuz siyah spor ayakkabı 42 numara” ifadesini renk, fiyat ve beden filtreleriyle eşleştirme.
- Ürün etiketleme: başlıklardan ve açıklamalardan kategoriler ve özellikler atama.
- İnceleme moderasyonu: yayınlamadan önce spam, istismar veya kişisel verileri işaretleme.
- Destek yönlendirme: gelen mesajları konuya ve aciliyete göre sınıflandırma.
- Filtre etiketleri veya snippet metni gibi katı şablonlar içinde kısa metin oluşturma.
- Yerel diller için yazım düzeltme ve eş anlamlı yönetimi.
Neden büyük yerine küçük bir model seçmeli?
Ölçekte maliyet
Büyük barındırılan modeller token başına ücret alır. Her aramada veya her yeni üründe çalışan bir görev için bu hızla artar. Kendi barındırdığınız küçük bir modelin, ne kadar sık çalışırsa çalışsın sabit bir sunucu maliyeti vardır.
Hız
Arama ve otomatik tamamlama milisaniyeler içinde yanıt gerektirir. Yakındaki bir sunucudaki küçük bir model, arama kutusunun içinde oturacak kadar hızlı yanıt verebilir. İnternet üzerinden çağrılan büyük bir model genellikle bunu yapamaz.
Gizlilik
Müşteri mesajları ve sipariş verileri kendi altyapınızda kalabilir. GDPR veya Türkiye’nin KVKK’sı kapsamında verileri işleyen markalar için bu, veri işleme sözleşmelerini ve transfer sorularını basitleştirir.
Küçük bir modeli göreviniz için nasıl iyi hale getirirsiniz?
Kutudan çıktığı haliyle küçük bir model tam işinizde vasat olabilir. Üç teknik boşluğun çoğunu kapatır ve birleştirilebilirler.
- Örneklerle net istemler ve izin verilen değerlerle JSON gibi sabit bir çıktı formatı.
- Birkaç bin kendi etiketli örneğiniz üzerinde ince ayar (fine-tuning) veya LoRA.
- Damıtma (Distillation): verileri etiketlemek için büyük bir model kullanmak, ardından küçük modeli bu etiketler üzerinde eğitmek.
- Getirme (Retrieval): yanıt anında modele ürün verilerinizi veya yardım makalelerinizi vermek.
- Çıkarım motorunun yalnızca listenizdeki çıktılara izin verdiği kısıtlı kod çözme.
Damıtma özellikle pratiktir. Bir eğitim setini etiketlemek için büyük bir modele bir kez ödeme yaparsınız, bir örneği elle kontrol edersiniz ve ardından ucuz küçük modeli sonsuza kadar çalıştırırsınız.
Sınırlar nelerdir?
Küçük modeller daha fazla olgusal hata yapar ve bir istemin nasıl ifade edildiğine karşı daha hassastır. Eğitim verilerinde nadir bulunan dillerde zorlanabilirler; onlara güvenmeden önce Türkçe, Azerice veya Rusça dillerinde dikkatlice test edin.
Kendi kendine barındırma aynı zamanda çalışma süresi, güncellemeler ve güvenlikten sorumlu olduğunuz anlamına gelir. Ekipte sunucu bakımı yapabilecek kimse yoksa, API aracılığıyla küçük açık modeller sunan yönetilen bir barındırma hizmeti kullanın; bu, aynı hacim için öncü modellerden hala çok daha ucuzdur.
Alien Road küçük dil modellerini nasıl uygular
Yapay zeka optimizasyon ekibimiz, hacmin yüksek olduğu ve çıktının bir etiket veya kısa yapılandırılmış bir yanıt olduğu işleri arar. Arama sorgusu ayrıştırma ve ürün etiketleme en yaygın başlangıç noktalarıdır.
Kurulum genellikle bir damıtma rotasını izler: büyük bir model bir örneği etiketler, müşterinin mağazacıları onu düzeltir ve küçük bir model düzeltilmiş set üzerinde ayarlanır. Bunu müşterinin veri kurallarının gerektirdiği yerde, genellikle bir AB veya yerel sunucuda barındırırız.
Ölçüm, küçük modeli mevcut yöntemle doğruluk, yanıt süresi ve aylık maliyet açısından karşılaştırır. Arama için, öncesi ve sonrası sıfır sonuç oranını ve arama çıkış oranını da takip ederiz.
Taahhütte bulunmadan önce küçük bir model nasıl test edilir?
Kataloğu bilen biri tarafından yazılmış veya kontrol edilmiş doğru yanıtlarla birkaç yüz gerçek örnekten oluşan bir test seti oluşturun. Aynı sette iki veya üç küçük model ve bir büyük model çalıştırın. Doğruluğu, istek başına hızı ve gerçek hacminizdeki tahmini aylık maliyeti kaydedin.
En iyi küçük model büyük olana birkaç puan yaklaşıyorsa, maliyet ve hız avantajı genellikle kararı verir. Boşluk genişse, vazgeçmeden önce ince ayar yapmayı deneyin, çünkü ayarlanmış küçük bir model dar bir görevde genellikle ayarlanmamış büyük bir modeli geride bırakır.
Küçük modeller alıcının cihazında çalışabilir mi?
Evet ve bu büyüyor. Tarayıcılar yerleşik yapay zeka özellikleri ekliyor ve Apple, Google ve Samsung telefonları küçük modelleri yerel olarak çalıştırıyor. Mobil uygulamaları olan markalar için cihaz içi modeller, verileri bir sunucuya göndermeden çevrimdışı arama önerileri veya özel sohbet gibi özellikleri destekleyebilir.
Takas kontroldür. Cihazda hangi modelin çalışacağını her zaman seçemezsiniz ve eski telefonlar bu özellikleri desteklemeyebilir. Cihaz içi yapay zekayı, diğer herkes için sunucu tarafında bir yedekleme ile ek bir katman olarak düşünün.
Pilot ve üretim arasındaki boşluğu da planlayın. Bir not defterinde çalışan bir modelin hala izlemeye, sunucu kapalıyken bir yedeğe ve önceki sürüme geri dönmenin bir yoluna ihtiyacı vardır. Girdilerin, çıktıların ve yanıt sürelerinin basit bir şekilde günlüğe kaydedilmesi genellikle başlamak için yeterlidir.
Bu hafta nereden başlamalı
Bir haftalık site arama sorgularını dışa aktarın ve sıfır veya kötü sonuç veren en yaygın yüz tanesini seçin. Her biri için doğru filtreleri elle yazın. Ardından, Gemma veya Phi gibi küçük bir modeli aynı sorgularda, JSON cinsinden filtreler döndüren bir istemle çalıştırın ve kaç tanesini doğru bildiğini sayın. Puan, bir pilot kurulumun buna değip değmeyeceğini size söyler.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu