Retrieval-augmented generation (RAG), bir dil modelinin önce kendi belgelerinizde arama yaptığı ve ardından bulduklarına dayanarak bir cevap yazdığı bir yöntemdir. Sorular çeşitlendiğinde ve içeriğiniz geniş olduğunda geleneksel site içi aramayı, statik SSS’leri ve kural tabanlı sohbet botlarını geride bırakır. Sorular az ve tahmin edilebilir olduğunda, cevaplar kesin olması gerektiğinde veya kaynak içeriğiniz dağınık ve güncel olmadığında ise kaybeder.
RAG basit terimlerle nasıl çalışır?
Bir RAG sisteminin üç parçası vardır. Birincisi, belgeleriniz parçalara ayrılır ve bir vektör veritabanında veya arama dizininde saklanan, anlamın sayısal temsilleri olan yerleştirmelere (embeddings) dönüştürülür. İkincisi, bir kullanıcı soru sorduğunda, sistem ona en çok benzeyen parçaları bulur. Üçüncüsü, bu parçalar sadece bu materyali kullanarak cevap verme talimatıyla bir dil modeline iletilir.
Bunun çekiciliği, modelin ürün kılavuzlarınız, politika belgeleriniz veya yardım merkeziniz gibi hiç eğitilmediği güncel, özel bilgilerden cevap verebilmesidir. Cevap ayrıca hangi belgeden geldiğini de belirtebilir, bu da doğrulamayı kolaylaştırır.
Yerini aldığı geleneksel araçlar nelerdir?
Karşılaştırmadan önce, çoğu şirketin halihazırda ne kullandığını belirtmek faydalıdır.
- WordPress araması, Algolia veya Elasticsearch gibi eşleşen sayfaların listesini döndüren anahtar kelime tabanlı site içi arama.
- Zendesk, Intercom veya bir CMS’de oluşturulmuş statik SSS sayfaları ve yardım merkezleri.
- Düğmelerle komut dosyası akışlarını izleyen kural tabanlı veya karar ağacı sohbet botları.
- Dahili bir bilgi tabanından çalışan insan destek temsilcileri.
Bunların her birini çalıştırmak RAG’den daha ucuz ve tahmin etmek daha kolaydır. Soru, kullanıcılarınızın onlardan ihtiyaç duyduklarını alıp almadığıdır.
Ne zaman RAG’e geçmelisiniz?
Kullanıcıların sordukları ile içeriğinizin nasıl düzenlendiği arasındaki boşluk büyük olduğunda RAG kendini amorti eder. Birkaç işaret:
Kullanıcılar kendi kelimeleriyle soruyor
Arama günlükleriniz hiçbir sonuç döndürmeyen veya yanlış sayfayı gösteren çok sayıda sorgu gösteriyorsa, anahtar kelime araması kelime dağarcığı konusunda başarısız oluyor demektir. RAG anlamı eşleştirir, bu yüzden “iki hafta sonra bir kanepe iade edebilir miyim” sorusu, “kanepe” kelimesini hiç kullanmasa bile iade politikasını bulur.
Cevaplar belgeler arasında yayılmış durumda
Doğru bir cevap garantiden bir cümle, gönderim sayfasından başka bir cümle ve ürün sayfasından bir rakam gerektirdiğinde, arama sonuçları listesi kullanıcıyı bunları birleştirmeye zorlar. RAG ise bunları birleştirebilir.
İçeriğiniz geniş ve sık değişiyor
Kural tabanlı botlar, her akışı manuel olarak güncelleyecek birine ihtiyaç duyar. RAG, belgelerinizin en son sürümünü yeniden dizine eklendikten sonra okur, bu nedenle bakım, komut dosyası yazmaktan kaynak içeriği doğru tutmaya kayar.
Ne zaman geçiş yapmamalısınız?
Geleneksel araçların daha iyi bir seçim olduğu net durumlar vardır.
İlk 20 sorunuz trafiğinizin çoğunu kapsıyorsa, iyi yazılmış bir SSS sayfası ve komut dosyalı bir bot bunları daha hızlı, daha ucuz ve uydurma bir cevap riski olmadan cevaplayacaktır. Herhangi bir şey inşa etmeden önce destek biletlerinize bakın.
Cevaplar tarife oranları, ilaç dozajları veya sözleşme şartları gibi kesin ve yasal olarak bağlayıcı olmalıysa, oluşturulan bir ifade bir yükümlülüktür. Bunun yerine yetkili sayfaya bağlantı verin veya kaynak metni olduğu gibi gösterin.
Belgeleriniz birbiriyle çelişiyorsa, RAG çelişkiyi yansıtacak ve bazen yanlış sürümü seçecektir. İçeriği temizlemek isteğe bağlı bir ek değil, bir ön koşuldur.
Ve eğer içeriğin sahibi yoksa, sistem çürüyecektir. Dizindeki güncel olmayan belgeler, güvenle sunulan güncel olmayan cevaplar üretir.
Seçenekler nasıl karşılaştırılır?
Kararı başkalarına sunarken yan yana bir görünüm yardımcı olur.
- Kurulum çabası: SSS sayfası düşük; anahtar kelime araması düşük ila orta; komut dosyalı bot orta; RAG orta ila yüksek.
- İşletme maliyeti: SSS sıfıra yakın; arama düşük; komut dosyalı bot düşük; RAG daha yüksek, çünkü her cevap bir modeli çağırır.
- Çeşitli ifadeleri işleme: SSS zayıf; anahtar kelime araması orta; komut dosyalı bot zayıf; RAG iyi.
- Yanlış cevap riski: SSS düşük; arama düşük; komut dosyalı bot düşük; RAG test olmadan orta.
- Bakım: SSS ve botlar manuel güncellemeler gerektirir; RAG temiz kaynak içeriği ve yeniden dizine ekleme gerektirir.
Sağlam bir RAG projesi neye benzer?
Mimariyle değil, değerlendirmeyle başlayın. Arama günlüklerinden, destek biletlerinden ve satış aramalarından 50 ila 100 gerçek soru toplayın ve her biri için doğru cevabı yazın. Bu set, sistemin her sürümünü nasıl yargılayacağınızdır.
Ardından çalışabilecek en basit hattı oluşturun: OpenAI dosya arama, Google Vertex AI Search, Azure AI Search gibi yönetilen bir seçenek veya Pinecone gibi ana akım bir modele sahip barındırılan bir vektör veritabanı. Kaç test sorusunu doğru cevapladığını ve kaçını reddetmesi gerekirken reddettiğini ölçün. Yeniden sıralama veya hibrit anahtar kelime artı vektör araması gibi karmaşıklığı yalnızca test seti belirli bir başarısızlık gösterdiğinde ekleyin.
Bir yedek plan tutun. Sistem emin olmadığında, tahmin etmek yerine bunu söylemeli ve bir bağlantı veya bir insan sunmalıdır.
Alien Road RAG’i nasıl uygular
Tipik bir çalışmada içerik ve soru denetimiyle başlarız: site arama günlüklerini, destek bileti temalarını ve bunları cevaplaması gereken belgeleri çekeriz. Birçok proje burada durur, çünkü denetim on SSS cevabını yeniden yazmanın sorunun çoğunu çözdüğünü gösterir. RAG haklı olduğunda, kaynak belgeleri temizler ve etiketleriz, test soru setini müşterinin destek ekibiyle oluştururuz ve bir sohbet widget’ına veya dahili araca bağlı yönetilen bir getirme hattı kurarız.
Lansmandan önce sistem, test setinde üzerinde anlaşılan doğruluk eşiğini geçmelidir. Lansmandan sonra raporlama, cevaplanan ve cevaplanmayan soruları, insanlara devredilenleri ve içerik planına eklenecek yeni soruları kapsar. Örneğin, bir e-ticaret müşterisinin asistanı, teslimat ve iade sorularını güncel politika sayfalarından cevaplayabilir ve her cevap kaynağına bağlantı verir.
Bu hafta nereden başlamalı
Son üç ayın site arama sorgularını ve destek bileti konularını dışa aktarın. Bunları konuya göre gruplandırın ve mevcut sayfalarınızın hangilerini zaten iyi cevapladığını işaretleyin. Çoğu kapsanıyorsa, önce bu sayfaları iyileştirin. Eğer birçok soru belgeler arasında kalıyorsa veya içeriğinizin sahip olmadığı ifadeler kullanıyorsa, RAG için gerçek bir durumunuz ve onu inşa etmek için hazır bir test setiniz var demektir.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu