Retrieval-augmented generation veya RAG, bir yapay zeka modelinin önce kendi belgelerinizde ilgili pasajları aradığı ve ardından cevabını bunları kullanarak yazdığı bir yöntemdir. Küçük bir işletme için bu, hizmetleriniz, politikalarınız veya ürünleriniz hakkındaki soruları tahmin etmek yerine gerçek içeriğinizden yararlanarak cevaplayabilen bir asistan anlamına gelir. Özel bir şey inşa etmeden önce hazır araçlarla başlayabilirsiniz.
RAG nasıl çalışır?
İki adım vardır. Retrieval (erişim), genellikle metni embedding’lere dönüştürerek ve bir vektör dizininde arama yaparak içeriğinizin en alakalı parçalarını bulur. Generation (üretim) ise bu parçaları, yalnızca onlardan yararlanarak cevap vermesi talimatıyla bir dil modeline iletir.
Bu yaklaşım 2020’de Meta AI tarafından yapılan bir araştırmada tanımlanmıştır ve artık chatbotları şirket verileriyle temellendirmenin standart yoludur. Bir modeli belgeleriniz üzerinde eğitmekten daha ucuzdur ve güncellenmesi daha kolaydır, çünkü bir cevabı değiştirmek yalnızca kaynak metni düzenlemeyi gerektirir.
Küçük bir işletmenin gerçekten RAG’a ihtiyacı var mı?
Her zaman değil. Müşteriler aynı on beş soruyu soruyorsa, iyi yazılmış bir SSS ve kural tabanlı bir chatbot yeterli olabilir. RAG, bilgi bir SSS’nin tutabileceğinden daha geniş olduğunda kullanışlı hale gelir.
- Yüzlerce rehber notu olan bir hukuk veya muhasebe firması.
- Geniş bir kataloğu ve ayrıntılı teknik özellikleri olan bir mağaza.
- Her dönem değişen politikaları olan bir klinik veya okul.
- Uzun dokümantasyonu ve destek geçmişi olan bir yazılım şirketi.
- Dahili kullanım: sözleşmeleri, teklifleri ve prosedürleri arayan personel.
Başlamak için düşük maliyetli yollar nelerdir?
İlk test için mühendis tutmanıza gerek yok.
Dahili araçlar
OpenAI’ın özel GPT’leri ve Projects’i, Anthropic’in Claude Projects’i ve Google’ın NotebookLM’i, belge yüklemenize ve bunlara dayalı sorular sormanıza olanak tanır. Bunlar dahili testler ve belgelerinizin cevap vermek için yeterince net olup olmadığını kontrol etmek için iyidir.
Web sitesi sohbet ürünleri
Intercom Fin, Zendesk AI ajanları, Chatbase veya Tidio’nun yapay zeka özellikleri gibi araçlar yardım sayfalarınızı tarar ve arka planda RAG ile ziyaretçileri yanıtlar. Fiyatlandırma genellikle çözüm başına veya mesaj başınadır, bu nedenle hacim arttıkça ödeme yaparsınız.
Basit özel yapılar
Bir geliştiriciniz varsa, LlamaIndex veya LangChain gibi çerçeveler, pgvector veya Chroma gibi bir vektör deposuyla günler içinde çalışan bir prototip üretebilir.
RAG cevaplarını ne doğru kılar?
Çoğu hata modelden değil, içerikten kaynaklanır. İki belge farklı fiyatlar veriyorsa, asistan ikisinden birini alıntılayabilir.
- İndekslemeden önce eski belgeleri kaldırın veya arşivleyin.
- Uzun dosyaları net başlıkları olan bölümlere ayırın.
- Bir gerçeği bir yere yazın, sonra ona bağlantı verin.
- Modele, cevap kaynaklarda olmadığında “Bilmiyorum” demesi ve bir insan teklif etmesi talimatını verin.
- Kullanıcıların kontrol edebilmesi için her cevapla birlikte kaynak bağlantısını gösterin.
Alien Road, RAG’ı küçük işletmeler için nasıl uygular?
Tipik bir çalışmada keşif, müşterilerin veya personelin sorduğu soruların (genellikle e-posta, sohbet kayıtları ve aramalardan) toplanması ve bunların mevcut belgelerle eşleştirilmesi anlamına gelir. Herhangi bir teknoloji seçilmeden önce boşluklar yazma görevlerine dönüşür.
Kurulum müşterinin boyutuna bağlıdır. Birçok küçük işletme için temizlenmiş içerik üzerinde mevcut bir sohbet ürününü yapılandırıyoruz. Veriler üzerinde kontrol veya özel davranışa ihtiyaç duyan müşteriler için vektör dizini, model API’si ve günlük kaydı ile küçük bir RAG hizmeti oluşturuyoruz.
Ölçüm, bilinen doğru cevaplara sahip gerçek sorulardan oluşan bir test seti kullanır. Asistanı lansmandan önce ve sonra aylık olarak puanlıyoruz. Raporlar test setindeki doğruluğu, bir insana aktarılan konuşmaların payını ve içerik güncellemelerine geri beslenen en çok cevapsız kalan soruları gösterir.
Hangi riskleri yönetmelisiniz?
RAG uydurma cevapları azaltır ancak ortadan kaldırmaz. Model yine de bir pasajı yanlış okuyabilir veya iki kaynağı yanlış birleştirebilir. Fiyatlar, hukuki tavsiye veya tıbbi rehberlik gibi yüksek riskli konuları ya sabit cevaplarda ya da insan incelemesi altında tutun.
Gizlilik de önemlidir. Yasal bir dayanağınız olmadıkça ve aracın veri işleme süreci GDPR veya KVKK kapsamındaki yükümlülüklerinizi karşılamadıkça kişisel verileri içeren belgeleri indekslemeyin. Sağlayıcının verilerinizi eğitim için kullanıp kullanmadığını ve konuşmaları ne kadar süre sakladığını kontrol edin.
Nasıl bir test seti oluşturursunuz?
Test seti, her biri için doğru cevap ve kaynak belge ile birlikte gerçek soruların bir listesidir. Uydurma değil, gerçek müşteri mesajlarından alınan 30 ila 50 soruyla başlayın. İçeriğinizin cevaplamadığı birkaç soruyu dahil edin, böylece asistanın bilmediğini itiraf ettiğini kontrol edebilirsiniz.
Her cevabı üç noktada puanlayın: doğru, alıntılanan kaynağa dayalı ve yararlı olacak kadar eksiksiz. Puanlamayı basit tutun, böylece ekipteki herkes tekrarlayabilir. Aynı seti her içerik veya yapılandırma değişikliğinden sonra çalıştırın; bir alandaki düzeltme bazen diğerini bozar.
İçeriğinizin çalışmaya ihtiyacı olduğunun işaretleri
- Asistan aynı soruya iki farklı cevap veriyor.
- Cevaplar, kaldırıldığını düşündüğünüz eski belgelere atıfta bulunuyor.
- Personel günlük olarak cevap verse bile yaygın sorular “Bilmiyorum” cevabını döndürüyor.
Bunların her biri, iyileştirmenin çoğunun geldiği yer olan kaynak belgelere işaret eder.
Ayrıca gerçek konuşmaları gözden geçirmek için aylık bir saat planlayın. Test setleri bilinen soruları gösterir; canlı günlükler ise müşterilerin bir ürün değişikliğinden veya mevsimsel yoğunluktan sonra sormaya başladığı yeni soruları gösterir.
Ayrıca hangi belgelerin en sık alıntılandığını takip etmek de yardımcı olur. Bunlar müşterilerin güvendiği sayfalardır ve bir sahibini ve düzenli bir inceleme tarihini hak ederler. Hiç erişilmeyen belgeler belirsiz, kötü başlıklı veya basitçe gereksiz olabilir ve bunları budamak, dizini doğru tutmayı kolaylaştırır.
Bu hafta nereden başlamalı
Çoğu müşteri sorusunu yanıtlayan yirmi belgeyi toplayın, eski sürümleri silin ve bunları NotebookLM veya bir Claude Project’e yükleyin. Ona en çok duyduğunuz on soruyu sorun ve her cevabı kaynağa göre kontrol edin. Başarısız olduğu yerde prompt’u değil, belgeyi düzeltin. Cevaplar tutarlı olduğunda, içeriğinizin müşteri odaklı bir asistan için hazır olduğunu bileceksiniz.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu