B2B için küçük dil modelleri çalışma rehberi

Sabit bir sınır yoktur, ancak terim genellikle en büyük sınır sistemlerinden çok daha küçük olan modellere atıfta bulunur. İyi bilinen aileler arasında Google’ın Gemma’sı, Microsoft’un Phi’si, Mistral’ın daha küçük modelleri ve Meta’nın Llama’sının kompakt sürümleri bulunur. Birçoğu açık ağırlıklarla yayınlanır, bu nedenle bir şirket bunları indirip kendi donanımında çalıştırabilir.

Boyutları bir ödünleşimdir. Küçük bir model daha ucuz ve daha hızlıdır ve ağınızın içinde kalabilir. Ayrıca daha az şey bilir, uzun problemler üzerinde daha az güvenilir muhakeme yapar ve açık uçlu sorularda daha fazla hata yapar. Kılavuz, bu profili doğru işlerle eşleştirmek hakkındadır.

Büyük barındırılan modeller mükemmel genel araçlardır. Küçük modeller daha dar durumlarda kazanır ve B2B pazarlamasında bunlardan çok vardır.

• Gizlilik: CRM kayıtları, çağrı transkriptleri ve fiyatlandırma notları ortamınızdan ayrılmadan işlenebilir.
• Hacim bazında maliyet: on binlerce kaydı etiketlemek, barındırdığınız bir modelde token başına API’den çok daha ucuza mal olur.
• Hız: kısa görevler hızlı bir şekilde geri döner, bu da bir CRM veya web sitesi içinde çalışan araçlara uygundur.
• Kontrol: sürümü siz seçersiniz ve altınızda değişmez, bu nedenle çıktılar sabit kalır.
• İnce ayar: küçük bir model, kategorilerinizi yakından takip etmek için kendi etiketli örnekleriniz üzerinde eğitilebilir.

En iyi görevler net bir girdiye, net bir çıktıya ve cevabı kontrol etmenin bir yoluna sahiptir. Sınıflandırma ve çıkarma en güçlü uyumdur. Uzun biçimli düşünce liderliği en zayıf olanıdır.

İyi uyumlar

• Potansiyel müşteri ve hesap sınıflandırması: form alanlarından ve notlardan sektör, şirket boyutu bandı, satın alma aşaması.
• İçerik etiketleme: bir blog veya kaynak kütüphanesine konuların, personaların ve huni aşamalarının atanması.
• Çağrı ve toplantı özetleri: transkriptlerden itirazların, bahsedilen rakiplerin ve sonraki adımların çıkarılması.
• Kısa metin varyantları: katı bir şablon içinde konu satırları, reklam başlıkları ve meta açıklamalar.
• Arama ve yönlendirme: gelen soruları doğru yardım makalesi veya satış sahibi ile eşleştirme.

Zayıf uyumlar

• Strateji belgeleri ve orijinal araştırma makaleleri.
• Web’den güncel gerçeklere ihtiyaç duyan görevler.
• Birçok belge genelinde karmaşık çok adımlı analiz.

Liderlik tablosundan değil, görevden başlayın. Girdiyi, beklenen çıktıyı ve dili yazın. Ardından, ticari kullanıma izin veren lisanslara sahip iki veya üç modeli kısa listeye alın ve pazarlarınızın ihtiyaç duyduğu dilleri desteklediklerini kontrol edin.

Onları kendi verileriniz üzerinde test edin. Ekipteki biri tarafından etiketlenmiş, doğru cevapları olan 100 ila 200 gerçek örnekten oluşan bir set oluşturun. Her modeli çalıştırın ve doğruluğu, hızı ve donanım ihtiyaçlarını karşılaştırın. Biraz daha az doğru olan ancak zaten sahip olduğunuz donanımda çalışan bir model daha iyi bir iş seçimi olabilir.

İlk proje haftalar içinde bitecek kadar küçük ve insanların fark edeceği kadar yararlı olmalıdır. Potansiyel müşteri sınıflandırması yaygın bir seçimdir, çünkü satış ekipleri faydasını doğrudan hisseder.

• 1. Hafta: satışla kategorileri tanımlayın, örnek kayıtları dışa aktarın, bir test seti etiketleyin.
• 2. Hafta: Ollama gibi yerel bir araç veya bulut hesabınızdaki barındırılan bir uç nokta aracılığıyla iki veya üç aday modeli çalıştırın.
• 3. Hafta: bir model seçin, istemi iyileştirin ve bir komut dosyası veya otomasyon aracı aracılığıyla CRM’e bağlayın.
• 4. Hafta: modelin bir etiket önerdiği ve bir kişinin onayladığı gölge modunda çalıştırın ve uyumu izleyin.

Uyumluluk yüksekse, net durumlar için otomatik etiketlemeye geçin ve düşük güvenli durumlar için insan incelemesini koruyun. Düşükse, etiketli set üzerinde ince ayar yapmayı deneyin veya görevi daha büyük bir modele taşıyın.

Pilot bittikten sonra test setini saklayın. Bu sizin kıyaslamanız olur: daha yeni bir küçük model yayınlandığında veya kategorileriniz değiştiğinde, aynı örnekleri yeniden çalıştırabilir ve bir saat içinde geçiş yapmaya değip değmeyeceğini görebilirsiniz. Sabit bir kıyaslama olmadan, model seçimleri kendi verilerinizde en iyi çalışana değil, en yeni olana doğru kayar.

Küçük modeller yanlışken kendinden emin görünebilir. Her üretim kullanımı bir kontrole ihtiyaç duyar: bir güven puanı, bir örnek incelemesi veya belirsiz durumları bir kişiye gönderen bir kural. Lisanslar model aileleri arasında farklılık gösterir, bu nedenle yasal inceleme zamana değer. Ayrıca birinin modele sahip olması, onu güncellemesi ve kategorileriniz veya ürünleriniz değiştiğinde sapmayı izlemesi gerekir.