Retrieval-augmented generation (RAG) iş akışları, bir dil modelinin hafızasından değil, kendi belgelerinizden yanıt vermesini sağlayarak zaman kazandırır. Bir RAG sistemi, bilgi tabanında ilgili pasajları arar, bunları soruyla birlikte modele iletir ve ideal olarak alıntılarla desteklenmiş bir yanıt ister. Pazarlama ekipleri için bu, marka yönergelerini, ürün özelliklerini, geçmiş kampanyaları ve araştırmaları insanların saniyeler içinde sorgulayabileceği bir şeye dönüştürür.
RAG hangi sorunu çözer?
Dil modelleri dünya hakkında çok şey bilir ancak şirketinizin en son fiyat listesi hakkında hiçbir şey bilmez. Bir modeli dahili belgeler üzerinde ince ayar (fine-tuning) yapmak yavaştır ve sık güncellemeleri iyi yönetemez. RAG, bilgiyi modelin dışında, aranabilir bir depoda tutar, böylece bir belgeyi güncellemek yanıtları da günceller.
Ayrıca uydurma yanıtları da azaltır. Modele yalnızca getirilen pasajlardan yanıt vermesi ve ilgili hiçbir şey bulunamadığında bunu belirtmesi söylendiğinde, daha az uydurur. Asla değil, bu yüzden değerlendirme önemlidir.
Bir RAG iş akışının parçaları nelerdir?
- Belge toplama: sistemin bilmesi gereken dosyalar ve sayfalar.
- Hazırlık: temizleme, metne dönüştürme, kopyaları ve eski sürümleri kaldırma.
- Parçalama (Chunking): belgeleri hassas bir şekilde getirmek için yeterince küçük pasajlara bölme.
- Yerleştirme (Embedding): her pasajı bir yerleştirme modeliyle vektöre dönüştürme.
- Depolama: pgvector, Pinecone, Weaviate, Elasticsearch veya Azure AI Search gibi bir vektör veritabanı veya arama dizini.
- Getirme (Retrieval): bir soruyla en alakalı pasajları bulma, genellikle anahtar kelime ve vektör aramasını karıştırma.
- Üretim (Generation): model, referanslarla birlikte bu pasajlardan yanıtı yazar.
Yönetilen hizmetler bu adımların çoğunu bir araya getirir. OpenAI’ın Assistants ve Responses API’lerindeki dosya arama, Google Vertex AI Search, Amazon Bedrock Knowledge Bases ve Azure OpenAI ile Azure AI Search, parçalama ve getirme işlemlerini sizin için yönetir. İlk proje için yönetilen bir seçenek genellikle daha hızlıdır.
Pazarlama bilgi tabanı için adım adım iş akışı
Adım 1: Dar bir kapsam seçin
“Reklamlarda X ürünü hakkında ne söyleyebiliriz?” gibi bir soru türüyle başlayın. Yalnızca buna yanıt veren belgeleri toplayın: ürün özellikleri, onaylanmış iddialar, marka yönergeleri ve yasal notlar. Küçük, temiz bir koleksiyon, devasa ve dağınık olandan daha iyidir.
Adım 2: Belgeleri temizleyin
Eski sürümleri kaldırın veya en azından tarihleriyle etiketleyin. PDF’leri metne dönüştürün ve tabloların doğru aktarıldığını kontrol edin. Taranmış belgeler OCR gerektirir. Bu adım sıkıcıdır ve kalitenin çoğunu belirler.
Adım 3: Anlama göre parçalara ayırın
Mümkünse sabit bir karakter sayısına göre değil, başlıklara veya bölümlere göre bölün. Her parçayı bir fikir üzerinde odaklayın ve meta veriler ekleyin: belge başlığı, bölüm, tarih, ürün ve dil. Meta veriler, örneğin yalnızca güncel belgeler için getirme işlemini filtrelemenize olanak tanır.
Adım 4: Hibrit arama ile getirin
Saf vektör araması, ürün kodları gibi kesin terimleri kaçırır. Saf anahtar kelime araması ise eş anlamlıları kaçırır. Çoğu üretim sistemi her ikisini de birleştirir ve ardından en iyi sonuçları bir yeniden sıralama modeliyle yeniden sıralar. İhtiyacınız olandan fazlasını getirin, ardından en iyilerini saklayın.
Adım 5: Temellendirilmiş yanıtlar için istem verin
Modele net kurallar verin: yalnızca sağlanan pasajlardan yanıt verin, her iddia için pasaj başlığını alıntılayın, yanıt eksik olduğunda “belgelerde bulunamadı” deyin ve asla fiyatları veya tarihleri tahmin etmeyin. Kuralları sistem istemine koyun, böylece kullanıcılar bunları yanlışlıkla kaldıramaz.
Adım 6: Kaynakları kullanıcıya gösterin
Alıntılanan pasajları, orijinal dosyaya bağlantılarla birlikte yanıtın yanında görüntüleyin. İnsanlar, kaynak bir tık uzağında olduğunda yanıta daha fazla güvenir ve hataları daha hızlı yakalar.
RAG sisteminin çalıştığını nasıl anlarsınız?
Bilinen doğru yanıtları ve her yanıtın geldiği belgeyi içeren 50 ila 100 gerçek sorudan oluşan bir test seti oluşturun. İki şeyi ayrı ayrı ölçün. Getirme kalitesi: doğru pasaj en iyi sonuçlarda göründü mü? Yanıt kalitesi: nihai yanıt doğru muydu ve pasaj tarafından destekleniyor muydu?
İkisini ayırmak, sorunların nerede çözülmesi gerektiğini gösterir. Getirme başarısız olursa, parçalamayı, meta verileri veya arama ayarlarını ayarlayın. Getirme çalışıyor ancak yanıtlar yanlışsa, istemi veya modeli ayarlayın. Ragas ve benzeri açık kaynaklı değerlendiriciler bunun bazı kısımlarını otomatikleştirebilir, ancak bir örneği insanların kontrol etmesini sağlayın.
Alien Road, RAG’i müşteri çalışmalarında nasıl uygular
Tipik bir çalışmada, AI Optimization ekibimiz, dahili soruları en sık yanıtlayan kişilerle, örneğin marka yöneticisi veya ürün pazarlamacısı ile görüşerek ve her hafta aldıkları soruları toplayarak başlar. Bu sorular test seti haline gelir.
Daha sonra kaynak belgeleri toplar ve temizleriz, veri kurallarına bağlı olarak yönetilen bir getirme hizmeti veya özel bir pipeline seçeriz ve müşterinin zaten kullandığı Teams, Slack veya intranet gibi bir araç içinde basit bir arayüz oluştururuz. Yanıtlar her zaman kaynakları gösterir.
Ölçüm, test setindeki getirme isabet oranını ve yanıt doğruluğunu, haftalık kullanımı ve “bulunamadı” döndüren soruları kapsar; bu da eksik belgelere işaret eder. Aylık raporlar, yapılan belge güncellemelerini ve puanlardaki değişimi listeler.
Hangi hatalar RAG projelerini yavaşlatır?
Çoğu gecikme aynı birkaç alışkanlıktan kaynaklanır. Ekipler ilk gün sahip oldukları her belgeyi yükler ve sonra yanıtların neden kötü olduğunu söyleyemezler. Test setini atlarlar ve izlenimler hakkında tartışırlar. Kaç belgeleri olduğunu bilmeden bir vektör veritabanı seçerler, oysa yönetilen bir hizmet yeterli olurdu. Ve izinleri unuturlar: bir satış sunumu SharePoint’te kısıtlıysa, RAG sistemi bu kısıtlamaya saygı duymalıdır, aksi takdirde gizli fiyatlar yanlış kişi için bir yanıtta yer alır.
- Hepsini değil, bir koleksiyonla başlayın.
- Araçları seçmeden önce test setini yazın.
- Belge izinlerini getirme filtrelerine taşıyın.
- Her soruyu ve yanıtı inceleme için kaydedin.
Onu nasıl güncel tutarsınız?
Belgeler değiştiğinde ve kimse onları yeniden dizine eklemediğinde RAG sistemleri bozulur. SharePoint veya Google Drive gibi kaynak klasörden otomatik senkronizasyonu ayarlayın ve her koleksiyona üç ayda bir inceleyen bir sahip atayın. Süresi dolmuş kampanyaları ve eski fiyat listelerini, getiricinin bulması için bırakmak yerine kaldırın.
Bu hafta nereden başlamalı
Ekibinizin belgelerden tekrar tekrar yanıtladığı on soruyu listeleyin. Yanıtları içeren dosyaları bir klasörde toplayın, eski sürümleri kaldırın ve bu on soruyla yönetilen bir dosya arama seçeneğini deneyin. En az yedi yanıt doğru kaynakla doğru gelirse, üzerine inşa etmeye değer bir kapsamınız var demektir.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu