Küçük dil modelleri, gelişmiş sistemlerden çok daha az parametreye sahip, genellikle bir milyarın altında veya birkaç on milyar parametreli, bulutta veya tek bir makinede ucuza çalışabilen yapay zeka modelleridir. Pazarlama çalışmalarında; hız, maliyet ve veri kontrolünün geniş kapsamlı muhakemeden daha önemli olduğu arama terimi sınıflandırma, içerik etiketleme, veri temizleme ve mesaj yönlendirme gibi dar ve tekrarlayan görevlerde en iyi performansı gösterirler.
Bilinen aileler arasında Microsoft’un Phi modelleri, Google’ın Gemma’sı, Meta’nın daha küçük Llama varyantları, Mistral’in kompakt modelleri ve Alibaba’nın Qwen serisinin yanı sıra büyük sağlayıcıların API’leri aracılığıyla sunduğu “mini”, “flash” veya “haiku” katmanları yer alır. Birçok açık ağırlıklı model, Ollama, llama.cpp veya LM Studio gibi araçlarla indirilebilir ve yerel olarak çalıştırılabilir, böylece veriler hiçbir zaman şirketin kendi donanımından çıkmaz.
Küçük ve büyük model arasındaki fark nedir?
Boyut, modelin ne bildiğini ve birçok adım boyunca ne kadar iyi muhakeme yapabildiğini etkiler. Büyük bir gelişmiş model strateji taslağı hazırlayabilir, uzun talimatları takip edebilir ve alışılmadık istekleri yönetebilir. Küçük bir model daha dardır: net ve iyi tanımlanmış bir görevi hızlı bir şekilde halleder, ancak belirsiz talimatlarda veya eğitiminin dışındaki sorularda tökezleme olasılığı daha yüksektir.
Pratik farklar maliyet ve hızdır. Küçük bir model, büyük bir modelin bir kısmını işlediği sürede binlerce kısa öğeyi, öğe başına çok daha düşük bir fiyata işleyebilir. İş “bu 50.000 arama terimini on iki niyet grubuna etiketle” olduğunda, bu fark projenin uygun maliyetli olup olmadığını belirler.
Hangi pazarlama görevleri küçük modellere uygundur?
Ortak nokta; yüksek hacim, kısa girdiler ve olası çıktıların sabit bir kümesidir.
- Arama terimi sınıflandırma: Google Ads arama terimlerini niyet gruplarına veya negatif anahtar kelime adaylarına göre sıralama.
- İçerik etiketleme: binlerce sayfaya veya gönderiye kategoriler, konular veya ürün türleri atama.
- İncelemeler, sosyal yorumlar ve anket yanıtları için duygu ve konu etiketleme.
- Veri temizleme: CRM dışa aktarımlarındaki şirket adlarını, iş unvanlarını veya adresleri normalleştirme.
- Yönlendirme: gelen bir formun veya mesajın hangi ekip tarafından ele alınması gerektiğine karar verme.
- Çok dilli içeriklerde dil algılama ve basit çeviri kontrolleri.
Muhakeme, yaratıcılık veya uzun belgeler gerektiren görevler genellikle daha büyük modellerde veya insanlarda kalır.
Bir modeli yerel olarak çalıştırmak neden önemlidir?
Bazı veriler üçüncü taraf bir API’ye asla gitmemelidir: müşteri listeleri, yayınlanmamış kampanya planları, sağlık veya finansal detaylar. Müşterinin kendi sunucusunda veya özel bir bulut örneğinde çalışan küçük bir açık ağırlıklı model, bu verileri yerinde tutar; bu da GDPR ve Türkiye’nin KVKK uyumluluğunu basitleştirir.
Yerel modeller ayrıca öngörülebilir maliyetler sağlar. Donanım mevcut olduğunda, yüz bin satırı daha işlemek API ücretlerinden ziyade elektrik maliyeti getirir. Takas bakımdır: birinin kurulumu güncellemesi, izlemesi ve güvenliğini sağlaması gerekir.
Alien Road küçük dil modellerini nasıl uyguluyor
Tipik bir çalışmada, yapay zeka optimizasyon ekibimiz küçük modelleri sohbet araçları olarak değil, daha büyük boru hatlarının içinde çalışan işçiler olarak kullanır. Keşif, görev listesiyle başlar: insanların şu anda elektronik tablolarda yaptığı tekrarlayan sınıflandırma veya temizleme işlerini ararız ve aylık hacmi tahmin ederiz.
Önce etiketli bir örnek oluşturun
Bir model seçmeden önce, müşterinin uzmanlarına arama terimleri veya incelemeler gibi birkaç yüz gerçek örneği, aslında kullandıkları kategorilerle etiketletiriz. Bu örnek, denediğimiz her model için test seti haline gelir.
Modelleri bu örnek üzerinde karşılaştırın
Genellikle küçük bir açık ağırlıklı model, küçük bir API modeli ve referans olarak büyük bir model olmak üzere iki veya üç adayı etiketli örnek üzerinde çalıştırırız. Küçük model insan etiketleriyle büyük model kadar sık hemfikirse, maliyet ve hız açısından kazanır. Değilse, istemi (prompt) ayarlarız, örnekler ekleriz veya o görev için büyük modeli tutarız.
İnsanları uç noktalara yerleştirin
Düşük güvenilirlikli öğeler insan inceleme kuyruğuna gider. Reklam hesapları için model negatif anahtar kelimeler önerir; bir uzman bunları Google Ads veya Microsoft Advertising’e ulaşmadan önce onaylar.
Ölçüm için zaman içindeki insan etiketleriyle uyumu, inceleme kuyruğu boyutunu, bin öğe başına işlem maliyetini ve kazanılan saatleri takip ederiz. Aylık raporlar, örneğin yeni bir ürün grubu modelin yanlış sınıflandırdığı arama terimleri ürettiğinde herhangi bir sapmayı not eder.
Sınırlar ve riskler nelerdir?
Küçük modeller büyüklerden farklı hatalar yapar ve bunları uç durumlarda daha sık yaparlar.
- Biçim talimatlarını daha az güvenilir bir şekilde takip ederler; çıktıları kodda izin verilen etiketlere göre doğrulayın.
- Bilgi daha incedir, bu nedenle örnekler olmadan niş marka veya ürün adlarını tanıyamayabilirler.
- Türkçe ve diğer İngilizce olmayan dillerdeki performans modele göre değişir; gerçek yerel verilerle test edin.
- Lisanslar açık ağırlıklı modeller arasında farklılık gösterir ve bazıları ticari kullanımı kısıtlar; dağıtmadan önce kontrol edin.
- Yerel bir kurulum, herhangi bir sunucu gibi hala güvenlik yamalarına ve erişim kontrolüne ihtiyaç duyar.
İnce ayar (fine-tuning) ve istem (prompting) arasında nasıl karar veriyorsunuz?
İstem ve istem içindeki bir avuç örnekle başlayın. Değiştirmesi ucuzdur ve genellikle yeterince iyidir. Küçük bir modele birkaç bin etiketli örnek üzerinde ince ayar yapmak dar bir görevde doğruluğu artırabilir, ancak eğitim işi ve bakımı yapılacak bir model sürümü ekler. Bunu yalnızca istem düzeyi gereken uyum seviyesinin altında kaldığında ve görev hacmi çabayı haklı çıkardığında değerlendiririz.
Küçük bir modeli çalıştırmanın maliyeti nedir?
Maliyetler yola bağlıdır. Bir API aracılığıyla, küçük model katmanları token başına fiyatlandırılır ve genellikle büyük katmanın bir kısmıdır; sık değiştiği için güncel fiyat sayfalarını kontrol edin. Yerel olarak çalıştırırken, yeterli belleğe sahip yeni bir dizüstü bilgisayar test için birkaç milyar parametreli modelleri işleyebilir, üretim hacimleri ise genellikle özel bir sunucuyu veya bulut GPU örneğini haklı çıkarır. Gizli maliyet insanlardır: kurulum, izleme ve etiketli örneğe karşı periyodik yeniden test.
Başlamadan önce basit bir kontrol listesi
- Görevi açık bir soru olarak değil, kapalı bir çıktı kümesi olarak tanımlayın.
- En az 200 ila 300 gerçek örnek toplayın ve etiketleyin.
- Hangi verilerin sistemlerinizden çıkabileceğine ve hangilerinin çıkamayacağına karar verin.
- Aynı örnek üzerinde en az bir küçük ve bir büyük modeli test edin.
- Bir güven eşiği ve altındaki öğeler için bir insan inceleme yolu belirleyin.
- Hataların izlenebilmesi için girdileri ve çıktıları günlüğe kaydedin.
Bu hafta nereden başlamalı
Geçen ayın arama terimleri raporunu bir Google Ads hesabından dışa aktarın. Rastgele 300 satır alın ve her birini kendiniz üç veya dört niyet grubu artı “alakasız” olarak etiketleyin. Ardından aynı satırları bu grupları listeleyen kısa bir istemle küçük bir modelden geçirin ve sizinle nerede hemfikir olduğunu sayın. O bir öğleden sonra size haftalık arama terimi incelemesini otomatikleştirmenin gerçekçi olup olmadığını söyler.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu