Küçük dil modelleri, sıradan bir dizüstü bilgisayarda veya düşük maliyetli bir API aracılığıyla çalışabilen kompakt AI modelleridir; bu da onları yerel ve küçük işletmeler için pratik bir ilk adım haline getirir. Müşteri mesajlarını sıralamak veya yaygın sorulara yanıt taslakları hazırlamak gibi dar, tekrarlanan bir görevle başlayın ve ona güvenmeden önce kendi geçmiş verilerinizle test edin.
Küçük bir işletme neden küçük bir model seçmeli?
ChatGPT, Claude veya Gemini gibi büyük AI asistanları genel ve güçlüdür ve birçok işletme sahibi için doğru araçtır. Küçük modeller üç durumda mantıklıdır: kendi bilgisayarınızda tutmayı tercih ettiğiniz hassas müşteri verileriyle uğraştığınızda, aynı basit görevi yüzlerce kez tekrarladığınızda veya artan aylık fatura yerine sabit bir maliyet istediğinizde.
Bir diş kliniği, muhasebe ofisi veya aile işletmesi otel genellikle bunlardan en az birine uyar. Hasta notları, müşteri vergi dosyaları ve misafir detayları, işletme sahiplerinin halka açık bir sohbet robotuna yapıştırmaktan çekindiği veri türleridir.
Küçük bir model neyi iyi yapabilir?
Küçük modeller, tahmin edilebilir bir cevabı olan kısa, net işler için iyidir. Geniş bilgi veya güncel gerçekler gerektiren açık uçlu sorularda zayıftırlar.
- Gelen e-postaları veya WhatsApp mesajlarını “rezervasyon”, “şikayet”, “fiyat sorusu” veya “diğer” olarak sıralamak
- Müşterilerin en sık sorduğu on soruya nazik yanıtlar hazırlamak
- Uzun bir tedarikçi e-postasını üç satırda özetlemek
- Sesli notları veya kaba notları düzenli bir paragrafa dönüştürmek
- Ürün veya menü açıklamalarını yazım ve tutarlı stil açısından kontrol etmek
- Faturalardaki tarihleri, isimleri ve tutarları bir elektronik tabloya çıkarmak
Küçük bir modele hukuki tavsiye, vergi kuralları veya bugünkü döviz kuru hakkında soru sorarsanız, emin bir şekilde yanlış cevap verebilir. Bu soruları bir insana veya güvendiğiniz bir kaynağa saklayın.
Hangi araçlar bunu kolaylaştırır?
Küçük bir modeli denemek için bir yazılımcıya ihtiyacınız yok. Birkaç ücretsiz masaüstü uygulaması, modelleri birkaç tıklamayla indirir ve çalıştırır.
Masaüstü seçenekleri
- Ollama: Mac, Windows ve Linux için basit bir komut veya yardımcı uygulama aracılığıyla modelleri indiren ve çalıştıran ücretsiz bir araç
- LM Studio: sohbet penceresi ve model tarayıcısı olan, teknik olmayan kullanıcılar için uygun bir masaüstü uygulaması
- GPT4All: modelleri yerel ve gizli bir şekilde çalıştırmaya odaklanan başka bir ücretsiz masaüstü uygulaması
Denenecek modeller
Yazı yazıldığı sırada popüler küçük aileler arasında Google’ın Gemma’sı, Microsoft’un Phi’si, Meta’nın daha küçük Llama modelleri, Mistral’in kompakt modelleri ve Alibaba’nın Qwen’i bulunmaktadır. Her biri birkaç boyutta gelir. Birkaç milyar parametreli bir model genellikle 16 GB belleğe sahip güncel bir dizüstü bilgisayarda çalışır; daha büyükleri daha fazlasına ihtiyaç duyar.
Dil desteği değişir. Müşterileriniz Türkçe yazıyorsa, her modeli gerçek Türkçe mesajlarla test edin. Bazıları bunu iyi yönetir; diğerleri dilleri karıştırır veya dilbilgisi hataları yapar.
Güvenli bir ilk test nasıl yapılır?
İlk ayı bir deney olarak görün. Modelin, müşterilerin fark edeceği hatalar yaratmadan zaman kazandırıp kazandırmadığını kontrol ediyorsunuz.
- Bir görev seçin ve her hafta elle yapmanın ne kadar sürdüğünü not edin
- Doğru cevaplarla 50 ila 100 gerçek geçmiş örnek toplayın
- Bir masaüstü uygulaması ve bir model kurun
- Kısa bir talimat yazın ve içine iki veya üç örnek ekleyin
- Geçmiş örneklerinizi çalıştırın ve kaçının doğru çıktığını sayın
- Puan iyiyse, yeni işlerde kullanın ancak iki hafta boyunca her çıktıyı kontrol edin
İlk aşamada bir modelin müşterilere kendi başına mesaj göndermesine asla izin vermeyin. Taslak hazırlamak için kullanın; bir insan onaylasın.
Gizlilik ve KVKK ne olacak?
Türkiye’de Kişisel Verilerin Korunması Kanunu (KVKK), Avrupa’nın GDPR’sine benzer bir ruhla kişisel verilerin işlenmesi için kurallar belirler. Bir modeli kendi bilgisayarınızda yerel olarak çalıştırmak, müşteri verilerinin dış bir AI sağlayıcısına gitmediği anlamına gelir, bu da uyumluluğun bir kısmını basitleştirir.
Bu, diğer görevlerinizi ortadan kaldırmaz. Verileri güvenli bir şekilde saklamanız, kimin erişebileceğini sınırlamanız ve müşterilere bilgilerinin nasıl kullanıldığını bildirmeniz gerekir. Bunun yerine bir bulut API kullanıyorsanız, sağlayıcının veri şartlarını okuyun ve işlemenin nerede gerçekleştiğini kontrol edin.
- Modeli çalıştıran dizüstü bilgisayarı şifreli ve parola korumalı tutun
- İşiniz bittiğinde kişisel veri içeren test dosyalarını silin
- Modelin ne için kullanıldığı ve kimin kullanabileceği hakkında bir sayfalık not yazın
Küçük bir model ne zaman yanlış seçimdir?
Göreviniz her seferinde değişiyorsa, araştırma gerektiriyorsa veya çok cilalı olması gerekiyorsa, büyük bir asistan daha iyidir. Küçük bir model aynı zamanda iş yükü ekler: birinin güncellemeleri kurması ve yeni sürümleri test etmesi gerekir. Bilgisayarda kendini rahat hissetmeyen biri için, iyi gizlilik ayarlarına sahip ücretli bir asistan daha basit olabilir.
Dürüst test zamandır. Küçük modeli kurmak ve kontrol etmek, görevi elle yapmaktan daha uzun sürüyorsa durun.
Alien Road küçük işletmeler için küçük dil modellerini nasıl uyguluyor
Tipik bir çalışmada ekibimiz, işletme sahibinin tekrarlanan görevlerini ve her birinin içerdiği verileri listelemek için kısa bir görüşmeyle başlar. Sık, basit ve hassas olan görevleri işaretleriz; bunlar küçük model adaylarıdır.
Ardından müşterinin makinelerinden birine bir masaüstü aracı kurar, müşterinin dilini yöneten bir model seçer ve işletmenin kendi mesajlarından örneklerle bir komut oluştururuz. Personel bir saatlik eğitim oturumu ve basılı bir kontrol listesi alır.
Ölçüm için, göreve harcanan saatleri öncesi ve sonrası olarak karşılaştırır ve ilk ay boyunca her hafta çıktıların bir örneğini gözden geçiririz. Rapor kısadır: tasarruf edilen zaman, hata oranı ve devam etme, ayarlama veya durdurma önerisi.
Bu hafta nereden başlamalı
Geçen ayın müşteri mesajlarını e-postanızdan veya WhatsApp Business’tan dışa aktarın. Bunlardan 50 tanesini basit bir kategoriyle elle etiketleyin. LM Studio veya Ollama kurun, küçük bir model yükleyin ve aynı 50 tanesini etiketlemesini isteyin. Cevaplarını sizinkilerle karşılaştırın. Çoğunda anlaşıyorsa, her sabah gelen kutunuzu sıralayabilen bir aracınız var demektir; anlaşmıyorsa, bir öğleden sonranızı harcadınız ve yararlı bir şey öğrendiniz.
Sonucu her iki durumda da yazın: görev, model, puan ve harcanan süre. Altı ay sonra daha yeni bir modelle tekrar denerseniz, karşılaştırmak için adil bir temeliniz olacak ve aynı kurulum işini sıfırdan tekrarlamayacaksınız.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu