Küçük dil modelleri, genellikle bir milyarın altından yaklaşık on milyara kadar nispeten az parametreye sahip, hızlı ve ucuz çalışacak şekilde oluşturulmuş, bazen bir dizüstü bilgisayarda veya telefonda çalışabilen AI modelleridir. Pazarlama operasyonlarında, içerik etiketleme, alan çıkarma, sorgu yönlendirme ve veri temizleme gibi dar, tekrarlayan işlerde en çok zamanı tasarruf ederler; burada büyük bir sınır modeli gerekenden daha yavaş ve maliyetli olurdu.
Küçük dil modeli ne sayılır?
Resmi bir sınır yoktur, ancak terim genellikle Microsoft’un Phi ailesi, Google’ın Gemma’sı, Meta’nın daha küçük Llama varyantları, Mistral’ın kompakt modelleri, Qwen’in daha küçük boyutları ve Apple’ın cihaz içi modelleri gibi modelleri kapsar. Birçoğu açık ağırlıklıdır, bu nedenle onları lisans koşulları dahilinde kendiniz indirip çalıştırabilirsiniz.
Güçlü yönleri hız, düşük maliyet ve gizliliktir. Küçük bir modeli kendi sunucunuzda veya makinenizde çalıştırmak, verilerin asla kontrolünüzden çıkmadığı anlamına gelir. Zayıflıkları kapsamdır: daha az bilirler, uzun zincirler üzerinde daha az iyi akıl yürütürler ve açık uçlu yaratıcı görevlerde en büyük modellerden daha fazla hata yaparlar.
İşin püf noktası onlara uygun işler vermektir. Net girdileri, net çıktıları ve kontrol edilebilir sonuçları olan bir iş akışı, onların güçlü yönlerini ortaya çıkarır.
Hangi pazarlama işleri küçük modellere uygundur?
İyi adaylar üç özelliği paylaşır: yüksek hacim, basit kararlar ve otomatik olarak doğrulayabileceğiniz çıktılar. Örnekler:
- Blog yazılarını veya ürünleri sabit bir kategori listesine sınıflandırmak.
- Gelen form mesajlarından şirket adını, iş unvanını ve niyeti çıkarmak.
- İncelemelerin veya sosyal yorumların duygu etiketlemesi.
- Dili tespit etmek ve biletleri doğru ekibe yönlendirmek.
- Karışık UTM parametrelerini veya kampanya adlarını normalleştirmek.
- Mevcut ürün özelliklerinden kısa alt metin yazmak.
İyi uymayan görevler arasında uzun strateji belgeleri, ince marka metni ve güncel dünya bilgisi gerektiren her şey bulunur.
İş akışı 1: içerik kütüphanesini etiketleme
Büyük sitelerin genellikle eksik veya tutarsız etiketlere sahip binlerce yazısı olur. Küçük bir model, sabit bir listeden etiketler önerebilir.
- Her yazının başlıklarını ve ilk 300 kelimesini bir CSV’ye aktarın.
- İzin verilen etiketleri listeleyen ve JSON olarak döndürülen üç etikete kadar isteyen bir komut yazın.
- 100 yazılık bir örneklem çalıştırın ve bir kişiye kontrol ettirin.
- Hataların tekrarlandığı yerlerde komutu sıkılaştırın, örneğin her etiket için tek satırlık bir tanım ekleyerek.
- Tam seti çalıştırın, ardından etiketleri bir editörün toplu olarak onaylaması için öneri olarak içe aktarın.
Çıktı bilinen bir liste ile kısıtlandığından, geçersiz cevapları basit bir betikle yakalamak kolaydır.
İş akışı 2: potansiyel müşteri formu triyajı
İletişim formlarındaki serbest metin alanları yararlı sinyalleri gizler. Küçük bir model her mesajı okuyabilir ve yapılandırılmış alanları döndürebilir: talep türü, belirtilen bütçe (evet veya hayır), aciliyet ve dil.
Formu Make, n8n veya Zapier gibi bir otomasyon aracına bağlayın, mesajı modele gönderin ve sonuçları CRM’e özel özellikler olarak yazın. Satış ekibi daha sonra her mesajı okumak yerine talep türüne göre filtreler. Orijinal mesajı ekli tutun ve modelin sapmadığını kontrol etmek için haftalık bir örneklemi gözden geçirin.
Modelin nerede çalıştırılacağını seçme
- Yerel: Ollama veya LM Studio gibi araçlar açık modelleri bir iş istasyonunda çalıştırır; test ve özel veriler için iyidir.
- Kendi kendine barındırılan sunucu: bulut GPU’da vLLM veya benzeri servis yazılımı; sabit hacim için iyidir.
- Barındırılan API: birkaç sağlayıcı küçük modellere token başına ucuza hizmet verir; başlamak için en kolayı.
İş akışı 3: raporlamadan önce veri temizleme
Reklam hesaplarındaki kampanya adları genellikle tutarsızdır: “Summer_Sale_TR”, “summer sale tr v2”, “SS-TR”. Bir pano oluşturmadan önce, küçük bir model her ham adı tanımladığınız standart bir adlandırma şemasına eşleyebilir, platformu, pazarı, kampanya temasını ve huni aşamasını döndürebilir.
Eşleme tablosunu saklayın, böylece aynı ham ad her zaman aynı şekilde eşlenir ve modele yalnızca yeni adları gönderin. Bu, maliyeti sıfıra yakın tutar ve sonuçları tutarlı kılar.
Kaliteyi nasıl kabul edilebilir düzeyde tutarsınız?
Küçük modeller daha fazla hata yapar, bu nedenle her iş akışı bir kontrol gerektirir. Yararlı kontroller:
- Çıktıyı sabit alanlar ve izin verilen değerlerle JSON ile kısıtlayın.
- Her yanıtı bir betikle doğrulayın ve hataları yeniden deneyin veya işaretleyin.
- 50 ila 200 örnekten oluşan etiketli bir test seti tutun ve modeli veya komutu her değiştirdiğinizde yeniden çalıştırın.
- Düşük güvenli veya geçersiz durumları daha büyük bir modele veya bir kişiye gönderin.
Bu son nokta bir kademeyi tanımlar: küçük model kolay çoğunluğu yönetir ve sadece zor durumlar daha büyük, daha pahalı bir modele gider. Bu, maliyetleri kontrol altında tutmak için yaygın bir kalıptır.
Alien Road küçük dil modellerini nasıl uygular
Tipik bir etkileşimde, keşif süreci personelin saatlerini yiyen tekrarlayan, kural benzeri işleri arar: etiketleme, form triyajı, isim temizleme ve benzerleri. Aylık hacmi ve hataların nasıl yakalanacağını tahmin ediyoruz, çünkü kontrolü olmayan bir görev otomasyona hazır değildir.
Kurulum genellikle hız için barındırılan küçük bir modelle başlar, veri hassasiyeti veya hacim bunu haklı çıkarırsa yerel veya kendi kendine barındırılan bir modele geçer. Komutlar yapılandırılmış çıktı döndürür ve bir doğrulama betiği, model ile yazdığı herhangi bir sistem arasında oturur.
Ölçüm, lansmandan önce puanlanan ve aylık olarak yeniden puanlanan sabit bir test seti ve bir kişiye veya daha büyük bir modele geri dönen öğelerin sayısının günlüğünü kullanır. Müşteriye yapılan raporlama, görevde tasarruf edilen saatleri, spot kontrollerden elde edilen hata oranlarını ve işletme maliyetini gösterir, böylece her iş akışını tutma veya bırakma gerekçesi açıktır.
Küçük modeller büyüklerle karşılaştırıldığında ne kadar maliyetlidir?
Fiyatlar güvenilir bir şekilde alıntı yapmak için çok sık değişir, ancak kalıp sabittir: token başına, barındırılan küçük modeller genellikle aynı sağlayıcıların amiral gemisi modellerinin bir kısmına mal olur. Kendi kendine barındırma, maliyeti tokenlerden donanıma kaydırır, bu da hacim sabit ve yüksek olduğunda karşılığını verir.
Ayda on binlerce kısa öğe üzerinde çalışan bir sınıflandırma işi için, küçük ve büyük model arasındaki fark, iş akışının otomatize edilmeye değip değmeyeceğine karar verebilir. Seçim yapmadan önce gerçek hacimleriniz ve mevcut fiyat sayfalarınızla hesaplamaları yapın.
Hız diğer tasarruftur. Küçük modeller hızlı yanıt verir, bu da bir kişinin veya sistemin sonucu beklediği canlı form triyajı gibi iş akışlarında önemlidir.
Bu hafta nereden başlamalı
Pazarlama operasyonlarınızda tekrarlayan bir sınıflandırma görevi seçin. 100 gerçek örnek toplayın ve bunları elle etiketleyin; bu sizin test setiniz olur.
Ollama gibi yerel bir çalıştırıcı kurun, aynı komutla örnekler üzerinde iki küçük açık modeli deneyin ve doğru cevapları sayın. Biri bir junior asistandan kabul edeceğiniz bir seviyeye ulaşırsa, onu insan incelemesiyle küçük bir pilota bağlayın ve inceleyenlerin cevaplarını ne sıklıkla değiştirdiğini takip edin.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu