Küçük dil modelleri mi geleneksel araçlar mı

Pazarlama operasyonlarında “geleneksel” genellikle bunlardan birini ifade eder.

• Anahtar kelime ve ifade kuralları: bir arama terimi “ücretsiz” veya “iş” içeriyorsa, onu alakasız olarak işaretleyin.
• Düzenli ifadeler (regex): metinden sipariş numaralarını, telefon numaralarını veya UTM değerlerini çıkarmak.
• Elektronik tablo mantığı: kategorizasyon için VLOOKUP, IF zincirleri ve pivot tablolar.
• Klasik makine öğrenimi: etiketlenmiş veriler üzerinde eğitilmiş lojistik regresyon veya karar ağaçları.
• Manuel çalışma: incelemeleri etiketleyen, potansiyel müşterileri (lead) sıralayan veya bir CRM dışa aktarımını temizleyen bir kişi.

Her birinin güçlü yönleri vardır. Kurallar şeffaf ve anlıktır. Regex, iyi tanımlanmış kalıplar için kesindir. Manuel çalışma ise muhakeme gerektiren durumları yönetir.

Dil çeşitliliği

Müşteriler aynı şeyi yüz farklı şekilde söyler. “Teslimatla ilgili şikayet” için bir kural listesi, “paket hala gelmedi” veya yazım hataları içeren Türkçe varyantlarını asla kapsamaz. Küçük bir model, bu çeşitliliği, sürekli büyüyen bir istisna listesi olmadan yönetir.

Bulanık sınırlara sahip birçok kategori

Binlerce blog yazısını konulara veya arama terimlerini niyet gruplarına göre sıralamak, sınırlarda muhakeme gerektirir. Kurallar bozulur; birkaç örneği olan bir model bununla daha iyi başa çıkar.

Çok dilli giriş

Bir model, aynı istemle Türkçe, İngilizce ve Almanca incelemeleri etiketleyebilir, oysa kurallar her dil için ayrı listeler gerektirirdi.

Karışık yapılandırılmamış alanlar

Serbest metinli iş unvanları, şirket adları veya “bizi nereden duydunuz” cevapları sonsuz derecede değişir. Bunları elle normalleştirmek yorucudur ve formüllerle kırılgandır.

• Kesin kalıplar: e-posta adresleri, KDV numaraları, tarihler ve URL’ler regex ile daha iyi çıkarılır; bir model bunları “düzeltebilir”.
• Hesaplamalar: toplamlar, ortalamalar ve bütçe takibi dil modellerinde değil, formüllerde veya kodda olmalıdır.
• Uyumluluk kuralları: bir kararın adım adım açıklanabilir olması gerektiğinde, örneğin belirli kitlelerin hariç tutulması gibi, yazılı bir kural daha nettir.
• Çok küçük hacimler: haftada on öğe geliyorsa, bir kişi bir boru hattı (pipeline) kurmaktan daha hızlıdır.
• Kararlı, basit kategoriler: eğer “marka adını içerir” etiketi doğru bir şekilde belirliyorsa, bir model eklemek için hiçbir neden yoktur.

Karar vermeden önce her iki yaklaşımı da aynı etiketlenmiş örnek üzerinde çalıştırın. Pratik bir yöntem:

• 300 veya daha fazla gerçek öğe toplayın ve bir uzmana etiketletin.
• Mevcut kuralları veya süreci uygulayın ve etiketlerle uyumu kaydedin.
• Kısa bir istem ve birkaç örnekle küçük bir modeli çalıştırın; uyumu kaydedin.
• Her yaklaşımın nerede başarısız olduğunu kontrol edin; hatalar genellikle farklıdır.
• Toplam maliyeti karşılaştırın: kurulum süresi, çalışma maliyeti, inceleme süresi ve bakım.

Eğer kurallar zaten uzmanla neredeyse her zaman uyumluysa, onları koruyun. Eğer model en önemli durumlarda açıkça daha iyi performans gösteriyorsa, geçiş yapın veya onları birleştirin.

Hızlı, ucuz kuralları öne koyun ve sadece net olmayan öğeleri modele gönderin. Arama terimleri için bir kural, kesin marka terimlerini ve bilinen alakasız kelimeleri anında işaretleyebilir; model ise uzun kuyruğu (long tail) yönetir. Potansiyel müşteri yönlendirmesi için kurallar, mevcut müşterileri e-posta alan adına göre yakalar; model ise serbest metin mesajını geri kalanı için okur.

Bu, maliyeti düşürür, yaygın durumlar için davranışı öngörülebilir tutar ve bir model hatasının oluşabileceği öğe sayısını sınırlar. Düşük güvenilirlikli model çıktıları daha sonra bir insan kuyruğuna gidebilir.

Tipik bir çalışmada, yapay zeka optimizasyon ekibimiz herhangi bir model önermeden önce müşterinin mevcut kurallarını denetler. Keşif aşaması, mevcut kural setlerini, elektronik tabloları ve manuel görevleri toplar: negatif anahtar kelime listeleri, potansiyel müşteri yönlendirme kuralları, içerik etiketleme yönergeleri ve her birinin haftalık olarak aldığı süre.

Kurulum, yukarıdaki karşılaştırma yöntemini izler. Müşterinin uzmanlarıyla bir örneği etiketleriz, mevcut kuralları ve bir veya iki küçük modeli test ederiz ve yardımcı olduğu yerde hibrit bir akış tasarlarız. Çıktılar her zaman kod içinde izin verilen etiketlere göre doğrulanır ve net olmayan öğeler bir inceleme kuyruğuna gider.

Ölçüm, insan etiketleriyle uyumu, tasarruf edilen saatleri, inceleme kuyruğu boyutunu ve çalışma maliyetini kapsar. Aylık raporlar yeni kalıpları işaretler, örneğin ne kuralların ne de modelin iyi yönetemediği arama terimleri üreten bir ürün lansmanı, böylece kurallar ve istemler birlikte güncellenir.

Modeller izlenmeye ihtiyaç duyar. Girdiler değişir: yeni ürünler, yeni jargon, yeni rakipler. Mart ayında uzmanlarla uyumlu olan bir model Eylül ayına kadar kayabilir. Kurallar da kayar, ancak hatalarını tespit etmek daha kolaydır. Taze örneklerle aylık bir kontrol için bütçe zamanı ayırın.

Ayrıca bağımlılık riski de vardır. Bir API modeline güveniyorsanız, bir sağlayıcı onu emekli edebilir veya değiştirebilir. İstemleri, örnekleri ve test setlerini saklayın, böylece başka bir modele geçiş bir yeniden inşa değil, yeniden test olur.

Dil modellerinden önce ekipler, etiketlenmiş veriler üzerinde lojistik regresyon veya gradyan artırılmış ağaçlar gibi sınıflandırıcılar eğitirdi. Bunlar, binlerce etiketlenmiş örneğiniz, kararlı bir kategori setiniz ve form alanlarından ve firmografik verilerden potansiyel müşteri kalitesini tahmin etmek gibi yapılandırılmış girdileriniz olduğunda hala iyi çalışır. Çalıştırmaları ucuzdur ve izlenmeleri kolaydır. Küçük dil modelleri, girdiler serbest metin olduğunda ve etiketlenmiş veriler az olduğunda daha kullanışlıdır, çünkü bir istemdeki birkaç örnek tam bir eğitim setinin yerini alabilir.