Retrieval-augmented generation (RAG), bir yapay zeka modelinin önce tanımlanmış bir belge kümesinde ilgili pasajları aradığı ve ardından bu pasajları kanıt olarak kullanarak cevabını yazdığı bir tekniktir. Pazarlamacılar için bu, modelin genel hafızasından değil, kendi ürün sayfalarınızdan, politikalarınızdan ve araştırmalarınızdan cevap veren sohbet botları, asistanlar ve içerik araçları anlamına gelir. Uydurma cevapları azaltır, ancak tamamen ortadan kaldırmaz.
RAG adım adım nasıl çalışır?
Fikir, 2020 yılında Facebook AI Research’ten bir araştırma makalesinde tanımlanmış ve o zamandan beri iş yapay zeka asistanları için standart model haline gelmiştir. İki aşamada çalışır.
Hazırlık bir kez yapılır ve belgeler değiştikçe yenilenir. Belgeler parçalara ayrılır, her parça anlamını temsil eden bir sayı listesi olan embedding’e dönüştürülür ve bir vektör veritabanında veya arama dizininde saklanır.
Cevaplama, her biri soru sorduğunda gerçekleşir:
- Soru bir embedding’e dönüştürülür.
- Sistem, genellikle anahtar kelime aramasıyla birleştirilmiş, en yakın anlama sahip parçaları getirir.
- Bu parçalar, yalnızca onlardan cevap verme talimatıyla birlikte isteme (prompt) eklenir.
- Model, ideal olarak kullanılan parçalara referanslarla bir cevap yazar.
Neden sadece bir sohbet botunu olduğu gibi kullanmıyorsunuz?
Genel modeller çok şey bilir, ancak fiyat listenizi, iade politikanızı veya en son ürün sürümünüzü bilmezler. Bunlar hakkında sorulduğunda, inandırıcı ama yanlış detaylar üretebilirler. Bir modeli belgeleriniz üzerinde ince ayar yapmak (fine-tuning) pahalıdır ve çabuk eskir.
RAG, bilgiyi modelin dışında tutar. Bir belgeyi güncelleyin ve bir sonraki cevap bunu yansıtır. Ayrıca kaynakları gösterebilirsiniz, bu da kullanıcıların ve gözden geçirenlerin iddiayı kontrol etmesini sağlar.
RAG pazarlama çalışmalarında nereye oturur?
En iyi kullanım alanları iki özelliği paylaşır: tanımlanmış bir güvenilir içerik gövdesi ve bunun hakkında tekrarlanan sorular.
- Resmi sayfalardan ürün, fiyatlandırma ve politika sorularını yanıtlayan web sitesi asistanları.
- Satış etkinleştirme: temsilcilerin onaylanmış belgelerden vaka çalışmaları, özellikler veya rakip karşılaştırmaları hakkında soru sorması.
- İçerik üretimi: şirketin kendi araştırmalarına, ürün belgelerine ve marka rehberine dayalı makaleler hazırlama.
- Kampanya raporları, özetler ve toplantı notları üzerinde dahili arama.
- Cevapların yardım merkeziyle eşleşmesi gereken müşteri desteği yönlendirmesi.
Mevcut belgelere dayandırmanın orijinalliği sınırlayabileceği kampanya fikirleri gibi açık yaratıcı çalışmalar için daha zayıf bir uyum sağlar.
Pazarlamacılar sıfırdan inşa etmeden hangi araçları kullanabilir?
Her RAG projesi için mühendislere ihtiyacınız yok. Birçok araç hazır olarak getirme (retrieval) özelliğini içerir:
- Yüklenmiş dosyaları olan özel GPT’ler ve ChatGPT projeleri.
- Bilgi tabanlı Claude projeleri.
- Alıntılarla yüklenmiş kaynaklardan cevap vermek için Google NotebookLM.
- SharePoint veya web sitelerine dayalı Microsoft Copilot Studio ajanları.
- Yardım merkezini kullanan yapay zeka ajanlarına sahip Intercom ve Zendesk gibi yardım masası platformları.
Daha büyük veya müşteri odaklı sistemler için ekipler, LangChain veya LlamaIndex gibi çerçeveler ve Pinecone, Weaviate veya pgvector gibi vektör depoları ile inşa eder veya bulut sağlayıcılarından yönetilen hizmetleri kullanır.
Bir RAG sistemini iyi veya kötü yapan nedir?
Kalite sorunlarının çoğu modelden değil, getirme (retrieval) işleminden kaynaklanır. Doğru pasaj getirilmezse, model onu kullanamaz.
İçerik kalitesi
Eski, kopyalanmış veya çelişkili belgeler çelişkili cevaplar üretir. İndekslemeden önce kaynak setini temizleyin. Güncel bir fiyatlandırma sayfası, farklı fiyatlara sahip beş eski PDF’ten daha iyidir.
Parçalara ayırma ve meta veriler
Çok küçük parçalar bağlamı kaybeder; çok büyük olanlar ise alaka düzeyini seyreltir. Ürün, bölge ve tarih gibi meta veriler eklemek, sistemin aramadan önce filtreleme yapmasını sağlar.
Talimatlar ve reddetme
Belgeler soruyu kapsamadığında modele bilmediğini söylemesini söyleyin. Bir boşluğu kabul eden asistan, tahmin edenden daha güvenlidir.
Bir RAG asistanını nasıl değerlendirirsiniz?
Doğru cevap ve onu içeren belge ile 50 ila 100 gerçek sorudan oluşan bir test seti oluşturun. Sonra ölçün:
- Getirme isabet oranı: doğru belge getirilen parçalarda göründü mü?
- Referansa karşı cevap doğruluğu.
- Sadakat: cevap kaynakların söyledikleri içinde kalıyor mu?
- Reddetme doğruluğu: belgelerin cevaplamadığı soruları reddediyor mu?
Belgeler, parçalara ayırma veya istemler değiştiğinde testi çalıştırın. Ragas gibi çerçeveler bunun bazı kısımlarını otomatikleştirebilir, ancak bir örneğin insan tarafından gözden geçirilmesi şarttır.
Alien Road, RAG’ı yapay zeka optimizasyon çalışmalarında nasıl uygular
Tipik bir çalışma bir içerik denetimi ile başlar: hangi belgeler yetkilidir, hangileri eskidir ve her birinin sahibi kimdir. Bu adım genellikle teknoloji seçiminden daha önemlidir, çünkü bir RAG asistanı kaynaklarında ne varsa onu miras alır.
Kurulum, uyan en hafif aracı seçer. Dahili bir satış asistanı bir Claude projesi veya NotebookLM not defteri olabilir; müşteri odaklı bir web sitesi asistanı, getirme günlüğü, reddetme kuralları ve bir insana devretme ile düzgün bir yapı gerektirir. Test soru seti, müşterinin satış veya destek ekibiyle birlikte yazılır.
Ölçüm, test setindeki getirme isabet oranını, cevap doğruluğunu ve reddetme doğruluğunu, artı eskalasyon olmadan cevaplanan sorular gibi canlı metrikleri takip eder. Aylık raporlar, genellikle müşterinin kendi sitesindeki eksik veya belirsiz içeriğe işaret eden en yaygın cevapsız soruları listeler.
RAG, arama görünürlüğü ile nasıl bağlantılıdır?
Perplexity, Google’ın AI Overviews ve ChatGPT araması gibi yapay zeka arama motorları, getirmeyi benzer bir şekilde kullanır: sayfaları getirir, sonra onlardan cevaplar yazarlar. Açık, iyi yapılandırılmış ve alıntılanması kolay içerik, getirilmeye ve alıntılanmaya meyillidir. Kendi RAG sisteminizi inşa etmek, içeriğinizin makineler için kullanımının ne kadar kolay olduğunu keşfetmenin pratik bir yoludur.
Bir RAG projesi tipik olarak ne kadara mal olur?
Maliyetler üç sepete ayrılır. İçerik çalışması önce gelir: belgeleri temizlemek, güncellemek ve tekilleştirmek, bu personel zamanıdır. Araçlar ikinci gelir: NotebookLM veya bir Claude projesi gibi kodsuz bir seçenek, mevcut aboneliklerin ötesinde çok az maliyetlidir, oysa özel bir müşteri odaklı yapı geliştirme, barındırma ve bir vektör veritabanı ekler.
Çalıştırma maliyetleri en son gelir, esas olarak soru başına model çağrıları ve her isteme eklenen getirilen pasajlardan gelen ekstra tokenlar. Çoğu dahili asistan için bunlar küçük kalır. Yoğun trafiğe sahip halka açık bir web sitesi asistanı için aylık soruları tahmin edin ve bir model seçmeden önce cevap başına ortalama token ile çarpın.
Bu hafta nereden başlamalı
Satış veya destek ekibinizin en çok kullandığı 20 belgeyi toplayın ve eski sürümleri kaldırın. Bunları NotebookLM veya bir Claude projesine yükleyin ve müşterilerin en çok sorduğu 30 soruyu sorun. Yanlış veya eksik olan her cevabı not edin. Bu boşluklar, bir RAG aracına, daha iyi içeriğe veya her ikisine ihtiyacınız olup olmadığını gösterir.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu