Retrieval-augmented generation (RAG), bir AI modelinin önce tanımlanmış bir belge kümesinde arama yaptığı, ardından bulduklarını kullanarak yanıtını yazdığı bir yöntemdir. Müşteri kampanyalarında Alien Road, RAG’i chatbotların, içerik taslaklarının ve raporların modelin genel hafızasına değil, müşterinin kendi onaylı materyallerine dayanması için kullanır; bu da uydurma gerçekleri azaltır ve iddiaları tutarlı tutar.
Bu makale RAG’in nasıl çalıştığını, hangi kampanya görevlerini desteklediğini ve keşiften raporlamaya kadar izlediğimiz süreci açıklamaktadır.
RAG nasıl çalışır?
Bir RAG sisteminin üç parçası vardır. Bir belge deposu, parçalara ayrılmış kaynak materyalleri tutar. Bir retriever (arama sistemi), genellikle vektör yerleştirmelerini karşılaştırarak ve genellikle anahtar kelime aramasıyla birleştirerek bir soruyla en alakalı parçaları bulur. Bir dil modeli daha sonra soruyu ve bu parçaları alır ve ideal olarak hangi parçaları kullandığını belirterek bir yanıt yazar.
Modelin genel bilgisi dili şekillendirmeye devam eder, ancak gerçekler alınan metinden gelir. Eğer retriever alakalı hiçbir şey bulamazsa, iyi oluşturulmuş bir sistem tahmin etmek yerine bunu belirtir.
Neden belgeleri sadece chate yapıştırmıyoruz?
Tek bir soru için bir belgeyi yapıştırmak işe yarar. Yüzlerce ürün sayfası, politika sayfası, geçmiş reklamlar ve araştırma raporları olan bir kampanya için bu işe yaramaz. Bağlam pencerelerinin sınırları vardır, maliyetler her token ile artar ve manuel yapıştırma, farklı ekip üyelerinin farklı yanıtlar alması anlamına gelir.
RAG, kaynak setini sabit ve ortak hale getirir. Herkes ve her araç aynı depoya sorar ve bir belge değiştiğinde onu bir kez güncellersiniz.
Hangi kampanya görevlerinde RAG kullanılır?
- Ürün ve politika belgelerinden yanıt veren web sitesi ve WhatsApp chatbotları
- Teknik özelliklere uygun kalması gereken içerik taslakları
- Onaylı iddialar ve uyumluluk dili ile kısıtlanmış reklam metni üretimi
- Bir temsilci için doğru vaka çalışmasını veya yanıtı bulan satış destek asistanları
- Kampanya notlarını ve değişiklik günlüklerini kullanarak performansı açıklayan rapor yorumları
Ortak nokta, çıktının müşterinin onayladığı bir şeyle eşleşmesi gerektiğidir. RAG, modelin serbestçe hareket etmesini istediğiniz açık uçlu yaratıcı işler için daha az kullanışlıdır.
Alien Road, retrieval-augmented generation’ı nasıl uygular
Keşif
Tipik bir etkileşim bir kaynak denetimi ile başlar. Müşterinin ürünleri ve iddiaları hakkındaki gerçeği tutan belgeleri listeleriz: teknik özellik sayfaları, fiyatlandırma kuralları, SSS’ler, yasal sorumluluk reddi beyanları, marka yönergeleri. Ayrıca eski veya birbiriyle çelişen belgeleri de işaretleriz, çünkü RAG depoda ne varsa, eski fiyatlar dahil, sadakatle tekrarlayacaktır.
Kurulum
Belgeler temizlenir, başlıklar gibi doğal bölümler boyunca parçalara ayrılır ve ürün, dil, bölge ve tarih gibi meta verilerle etiketlenir. Bunları pgvector, Pinecone veya yönetilen bir arama hizmeti gibi yaygın seçenekler olan bir vektör veritabanında indeksleriz ve tam ürün kodlarının güvenilir bir şekilde bulunması için anahtar kelime aramasıyla eşleştiririz.
Prompt, modeli yalnızca alınan metinden yanıt vermeye, kaynak belgeyi belirtmeye ve bilgi eksik olduğunda bunu belirtmeye yönlendirir. Çok dilli müşteriler için, yanıt anında çeviriye güvenmek yerine her dil sürümünü indeksleriz.
Değerlendirme
Lansmandan önce, destek biletlerinden, satış e-postalarından ve müşterinin ekibinden alınan, bilinen doğru yanıtları olan gerçek sorulardan oluşan bir test seti oluştururuz. Her yanıt doğruluk, alıntı doğruluğu ve reddetmesi gerektiğinde reddetme açısından kontrol edilir. Sonuçlar kararlı hale gelene kadar parça boyutlarını, arama ayarlarını ve promptları ayarlarız.
Ölçüm ve raporlama
Lansmandan sonra raporlama, gözden geçirilmiş bir örneklem üzerinde yanıt doğruluğunu, iyi bir arama sonucu olmayan soruları (bir belgenin eksik olduğunun işareti) ve chatbot’tan gelen potansiyel müşteriler veya içerik taslaklarındaki düzenleme süresi gibi sistemin desteklediği kampanya metriklerini kapsar. Yanıtlanmamış soruların listesi genellikle bir sonraki içerik planı haline gelir.
RAG ile ne yanlış gidebilir?
- Eski belgeler: depo geçen yılın fiyatlarını tutar, bu yüzden bot onları alıntılar
- Kötü parçalama: parçalar arasında bölünmüş bir tablo anlamını kaybeder
- Arama başarısızlıkları: kullanıcının ifadesi belgedekinden farklıdır ve saf vektör araması onu bulamaz
- Aşırı güven: ekipler RAG çıktısının her zaman doğru olduğunu varsayar ve incelemeyi atlar
- Erişim kontrolü boşlukları: dahili belgeler halka açık bir botun deposuna düşer
Bunların her biri model sorunundan çok süreç sorunudur, bu yüzden denetim ve değerlendirme adımları teknik kurulumdan daha fazla zaman alır.
RAG, SEO ve AI araması için önemli mi?
Google’ın AI Overviews, Perplexity ve ChatGPT search gibi AI arama ürünleri benzer bir prensiple çalışır: web sayfalarını al, sonra bir yanıt oluştur. Net başlıklara, doğrudan yanıtlara ve doğru gerçeklere sahip, alınması ve alıntılanması kolay sayfaların kullanılması daha olasıdır. Müşteriler için RAG sistemleri oluşturmak, halka açık içeriklerini nasıl yapılandırdığımızı şekillendirdi, çünkü hangi pasaj türlerinin iyi sonuç verdiğini görüyoruz.
RAG, fine-tuning ile karşılaştırıldığında
Fine-tuning, bir modeli örnekler üzerinde eğiterek ağırlıklarını değiştirir. Bir stili, bir formatı veya dar bir sınıflandırma görevini öğretmek için kullanışlıdır. Değişen gerçekleri öğretmek için kötü bir yoldur, çünkü her fiyat güncellemesi yeniden eğitim gerektirir ve model yeni gerçekleri eskilerle karıştırmaya devam edebilir.
RAG, gerçekleri modelin dışında, dakikalar içinde güncelleyebileceğiniz belgelerde tutar. Ürünlerin, tekliflerin ve politikaların aylık olarak değiştiği kampanya çalışmaları için RAG neredeyse her zaman daha iyi bir uyum sağlar. İkisi birleştirilebilir: marka tonuna göre fine-tuned edilmiş bir model, güncel gerçeklerden oluşan bir RAG deposundan yanıt verir.
- Değişen gerçekler için RAG kullanın: fiyatlar, stok, politikalar, teknik özellikler
- Sabit modeller için fine-tuning kullanın: ton, çıktı formatı, sınıflandırma etiketleri
- Birkaç örnekle iyi yazılmış bir prompt zaten çalışıyorsa ikisini de kullanmayın
Belge deposunu kim yönetir?
Her RAG sisteminin müşteri tarafında bir belgenin ne zaman değiştiğini bilen bir sahibine ihtiyacı vardır. Tipik bir kurulumda, ürün yöneticileri teknik özellikleri günceller, hukuk departmanı sorumluluk reddi beyanlarını günceller ve pazarlama teklifleri günceller, her biri kendi klasöründe. Haftalık bir kontrol, belirlenen yaştan daha eski belgeleri inceleme için işaretler.
Bu hafta nereden başlamalı
Satış ve destek ekiplerinizin en çok güvendiği on belgeyi toplayın ve her birini tarih ve sahip açısından kontrol edin. Eski olan her şeyi silin veya işaretleyin. Ardından, yanlarında doğru yanıtlarla yirmi gerçek müşteri sorusu yazın. Bu iki liste, temiz kaynaklar ve bir test seti, daha sonra hangi aracı seçerseniz seçin, herhangi bir RAG projesinin temelidir.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu