Retrieval-augmented generation (RAG), bir yapay zeka modelinin önce kendi belgelerinizde ilgili pasajları aradığı, ardından bu pasajları bağlam olarak kullanarak bir yanıt yazdığı bir yöntemdir. Bir RAG pilotunu üretime geçirmek; temiz bir kaynak envanteri, mantıklı bir parçalama, test edilmiş bir geri getirme katmanı, bilinen yanıtları içeren bir değerlendirme seti, erişim kontrolleri ve izleme gerektirir. Değerlendirmeyi atlamak, pilotların demolarda iyi görünüp gerçek kullanıcılarla başarısız olmasının en yaygın nedenidir.
RAG, dil modellerini yeniden eğitmeden şirket bilgileriyle yanıt vermelerini sağlamanın varsayılan yolu haline geldi. Yardım merkezini okuyan bir destek asistanı, güncel fiyat listesini alıntılayan bir satış aracı, politika belgeleri üzerinde dahili bir arama: bunların hepsi RAG sistemleridir. Model genel kalır; bilgi sorgu anında geri getirme ile gelir, bu nedenle bir belgeyi güncellemek yanıtı günceller.
Bir RAG sistemi nelerden oluşur?
Hangi framework’ü kullanırsanız kullanın, her RAG kurulumu aynı temel parçalara sahiptir.
- Kaynaklar: sistemin yanıt vermesini istediğiniz belgeler, sayfalar, ürün beslemeleri veya veritabanı tabloları.
- Ingestion (Veri Yükleme): bu kaynakların yüklenmesi, temizlenmesi ve parçalara ayrılması.
- Embeddings (Yerleştirmeler): benzer anlamların birbirine yakın durması için parçaların bir embedding modeli ile vektörlere dönüştürülmesi.
- İndeks: pgvector, Pinecone, Weaviate, Elasticsearch veya OpenSearch gibi, genellikle anahtar kelime aramasıyla birleştirilen bir vektör veritabanı veya arama motoru.
- Retriever (Geri Getirici): bir soru için en iyi parçaları bulan mantık, bazen bir reranker ile takip edilir.
- Generator (Üretici): geri getirilen parçalardan yanıtı yazan dil modeli.
- Uygulama katmanı: arayüz, günlükleme, izinler ve geri bildirim.
LangChain ve LlamaIndex gibi framework’ler ve Azure AI Search, Google Vertex AI ve Amazon Bedrock’taki yönetilen seçenekler bu parçaların çoğunu paketler.
Faz 1: pilot kontrol listesi
Pilot şu soruya yanıt vermelidir: geri getirme, gerçek sorular için doğru bilgiyi bulabiliyor mu?
- Nakliye ve iade sorularını yanıtlamak gibi net bir sahibi olan dar bir kullanım durumu seçin.
- Biletlerden, sohbetlerden veya arama günlüklerinden 50 ila 100 gerçek soru toplayın.
- Her biri için doğru yanıtı ve kaynak belgeyi yazın. Bu sizin değerlendirme setiniz olur.
- Kaynak envanteri: her belgeyi, sahibini, güncelleme sıklığını ve hala doğru olup olmadığını listeleyin.
- Veri yüklemeden önce güncel olmayan, kopya ve çelişkili belgeleri kaldırın.
- Başlık veya birkaç yüz kelime gibi basit parçalama ile başlayın.
- Geri getirmeyi tek başına test edin: her soru için doğru kaynak en iyi sonuçlarda mı?
- Ancak o zaman üreticiyi bağlayın ve tam yanıtları test edin.
İçeriği nasıl parçalamalı ve indekslemelisiniz?
Parçalama, modelin ne görebileceğine karar verir. Çok küçük parçalar bağlamı kaybeder; çok büyük parçalar alaka düzeyini seyreltir ve token israfına neden olur.
Pratik parçalama kuralları
- Önce belge yapısına göre bölün: başlıklar, bölümler, SSS çiftleri, tablo satırları.
- Belge başlığını ve bölüm başlığını her parçaya meta veri olarak ekli tutun.
- Kaynak URL’sini, son güncelleme tarihini ve erişim seviyesini her parça ile saklayın.
- Tablolara ve ürün özelliklerine dikkatle yaklaşın; bir tabloyu düz yazıya çevirmek genellikle onu bozar.
Anahtar kelime eşleşmesini vektör benzerliğiyle birleştiren hibrit arama, özellikle embedding’lerin kötü işlediği ürün kodları, isimler ve tam ifadeler için genellikle her ikisinden de daha iyi performans gösterir.
Faz 2: üretim için sağlamlaştırma
Geri getirme çalıştığında, kontrol listesi güvenilirlik ve güvenliğe kayar.
- Temellendirme (Grounding) talimatları: modele yalnızca sağlanan bağlamdan yanıt vermesini ve yanıt orada olmadığında bunu söylemesini söyleyin.
- Alıntılar: her yanıt için kaynak bağlantısını gösterin, böylece kullanıcılar ve inceleyenler kontrol edebilir.
- Erişim kontrolü: geri getirmeyi kullanıcının izinlerine göre filtreleyin, böylece bir müşteri asla sadece dahili belgeleri görmez.
- Prompt injection savunması: geri getirilen metni veri olarak ele alın. “Önceki talimatları yoksay” içeren bir belge davranışı değiştirmemelidir.
- Kişisel veriler: veri yükleme sırasında hassas alanları hariç tutun veya maskeleyin.
- Güncellik: kaynaklar değiştiğinde yeniden yüklemeyi planlayın ve kaldırılan belgelerden parçaları silin.
- Fallbacks (Yedekler): yanıtlanmamış soruları bir insana veya iletişim formuna yönlendirin.
Sistemin yeterince iyi olduğunu nasıl anlarsınız?
Geri getirmeyi ve üretimi ayrı ayrı ölçün. Bir yanıt yanlışsa, hangi parçanın başarısız olduğunu bilmeniz gerekir.
- Geri getirme başarı oranı (Hit rate): doğru kaynağın en iyi sonuçlarda göründüğü değerlendirme sorularının payı.
- Sadakat (Faithfulness): geri getirilen bağlam tarafından tamamen desteklenen yanıtların payı.
- Yanıt doğruluğu: referans yanıtla eşleşen yanıtların payı.
- Reddetme doğruluğu: yanıt kaynaklarda olmadığında, sistem bunu söylüyor mu?
- Yanıt başına gecikme ve maliyet.
Ragas, TruLens ve büyük bulut platformlarındaki değerlendirme özellikleri gibi araçlar bunun bir kısmını otomatikleştirebilir, ancak her sürümde insanların bir örneklemi incelemesini sağlayın. Başlamadan önce her metrik için bir hedef belirleyin ve ona ulaşana kadar canlıya geçmeyin.
Faz 3: canlıya geçiş sonrası izleme
- Her soruyu, geri getirilen parça ID’lerini ve yanıtı günlükleyin.
- İsteğe bağlı bir yorumla birlikte beğenme ve beğenmeme geri bildirimlerini toplayın.
- Yanıtlanmamış ve düşük puanlı soruları haftalık olarak inceleyin; eksik içeriği ortaya çıkarırlar.
- Parçalama, embedding modeli, prompt veya üretici modelindeki herhangi bir değişiklikten sonra değerlendirme setini yeniden çalıştırın.
- Hangi kaynakların en çok geri getirildiğini takip edin; sahiplerinin bunların iş açısından kritik olduğunu bildiğinden emin olun.
Alien Road retrieval-augmented generation’ı nasıl uygular
Tipik bir çalışmada, keşif aşaması ağırlıklı olarak içerik çalışmasıdır. Müşterinin destek gelen kutusundan, site içi aramasından ve satış ekibinden gerçek sorular topluyoruz, ardından bunları mevcut sayfa ve belgelerle eşleştiriyoruz. Bu genellikle herhangi bir yapay zeka dahil edilmeden önce düzeltilmesi gereken boşlukları ve çelişkileri gösterir.
Kurulum yukarıdaki kontrol listesini izler: temizlenmiş kaynaklar, meta verilerle yapı tabanlı parçalama, hibrit arama ve alıntılarla temellendirilmiş bir prompt. İzinler müşterinin BT yetkilisiyle tasarlanır ve değerlendirme seti işletme sahibiyle kararlaştırılır, böylece herkes doğru yanıtın aynı tanımını kullanır.
Ölçüm, her sürümde değerlendirme setini ve sistem kullanımdayken canlı geri bildirimleri kullanır. Aylık raporlar geri getirme başarı oranını, sadakati, yanıtlanmamış soru temalarını ve tetikledikleri içerik güncellemelerini listeler. Aynı içerik iyileştirmeleri genellikle organik aramaya da yardımcı olur, çünkü daha net sayfalar hem insanlar hem de arama motorları için soruları daha iyi yanıtlar.
Bu hafta nereden başlamalı
Bir kanaldan son 100 müşteri veya çalışan sorusunu dışa aktarın. Her biri için yanıtı içeren sayfayı veya belgeyi bulun ve iyi bir kaynağı olmayanları işaretleyin. Bu elektronik tablo hem değerlendirme setiniz hem de içerik boşluğu listenizdir ve çalıştırılmaya değer her RAG pilotunun temelidir.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu