En yaygın retrieval-augmented generation (RAG) hataları, sisteme dağınık kaynak içeriği beslemek, belgeleri kötü bölmek, test etmeden geri almaya güvenmek ve yanıt kalitesini ölçecek bir yol olmadan yayına almaktır. Çoğu RAG hatası model sorunu gibi görünür ancak veri ve geri alma katmanlarında başlar. Güvenilir RAG asistanları oluşturan ajanslar, dil modelini seçmekten çok içerik hazırlama ve değerlendirmeye daha fazla zaman harcarlar.
Retrieval-augmented generation nedir?
RAG, bir dil modelinin kendi bilgilerinizden yanıt vermesini sağlamanın bir yoludur. Bir kullanıcı soru sorduğunda, sistem genellikle bir vektör veritabanında depolanan yerleştirmelerle (embeddings) bir bilgi tabanını arar, en alakalı pasajları alır ve bunları yanıtlaması için talimatlarla birlikte modele verir. Yanıtı model yazar; geri alma adımı ise neyi bildiğine karar verir.
Yaygın araçlar arasında LangChain ve LlamaIndex gibi çerçeveler, Pinecone, Weaviate, Qdrant veya pgvector gibi vektör veritabanları ve OpenAI’ın dosya arama, Google Vertex AI Search ve Amazon Bedrock Knowledge Bases gibi yönetilen seçenekler bulunur. Aşağıdaki hatalar, hangi yığını seçerseniz seçin geçerlidir.
Hata 1: Kimsenin temizlemediği içeriği indekslemek
Ekipler genellikle bir RAG sistemini tüm paylaşılan sürücüye veya web sitesine yönlendirir ve iyi yanıtlar beklerler. Sonuç, eski fiyat listeleri, taslak belgeler, kopya sayfalar ve çelişkilerle dolu bir bilgi tabanıdır. Model, eski olsa bile en iyi eşleşeni alır.
- Kaynakları kasıtlı olarak seçin ve her biri için bir sahip belirleyerek listeleyin.
- İndekslemeden önce taslakları, değiştirilmiş sürümleri ve kopyaları kaldırın.
- İki farklı iade politikası gibi çelişkileri kaynakta çözün.
- Geri almanın filtreleyebilmesi için tarih, ürün ve bölge gibi meta veriler ekleyin.
Hata 2: Belgeleri kötü parçalamak
Belgeler gömülmeden önce parçalara (chunks) bölünür. Çok küçük parçalar bağlamı kaybeder; “ücret” hakkındaki bir cümle, hizmeti adlandıran paragraf olmadan hiçbir anlam ifade etmez. Çok büyük parçalar ise birkaç konuyu karıştırır ve geri almayı zayıflatır.
Ne daha iyi çalışır
Belgenin kendi yapısı boyunca bölün: başlıklar, bölümler ve liste öğeleri. Bir başlığı içeriğiyle birlikte tutun. Parçalar arasında biraz örtüşme ekleyin ve belge başlığını ve bölüm yolunu her parçayla birlikte saklayın. Bir eğitimden bir sayı seçmek yerine, gerçek sorular üzerinde birkaç parça boyutunu test edin.
Hata 3: Yalnızca vektör aramasına güvenmek
Anlamsal arama anlamı bulur ancak ürün kodları, isimler ve hata numaraları gibi kesin terimleri kaçırabilir. “X200-B” modeli hakkında soru soran bir kullanıcı, benzer bir ürün hakkında pasajlar alabilir.
Hibrit arama, BM25 gibi anahtar kelime araması ile vektör aramasını birleştirir ve artık çoğu vektör veritabanı ve arama platformu tarafından desteklenmektedir. Ayrı bir modelin en iyi sonuçları alaka düzeyine göre yeniden sıraladığı bir yeniden sıralama (reranking) adımı eklemek, genellikle yanıtları daha da iyileştirir. Her ikisi de birçok projede net faydaları olan düşük çaba gerektiren değişikliklerdir.
Hata 4: Modele zayıf talimatlar vermek
İstem (prompt), modele yalnızca alınan içerikten yanıt vermesini söylemiyorsa, boşlukları işletmeniz için yanlış olabilecek genel bilgilerle dolduracaktır. Yanıt eksik olduğunda ne yapacağını söylemiyorsa, tahmin yürütecektir.
Modele hangi pasajları kullandığını belirtmesini, bilgi mevcut olmadığında bunu açıkça söylemesini ve bu durumlarda bir kişiyle iletişime geçmeyi önermesini söyleyin. Her yanıtın tutarlı görünmesi için ton ve format kurallarını aynı sistem isteminde tutun.
Hata 5: Değerlendirme seti olmaması
Birçok ekip, bir RAG asistanını o gün akıllarına gelen birkaç soruyu sorarak test eder. Bu, zor durumları kaçırır. Sabit bir test seti olmadan, kimse bir değişikliğin yardımcı olup olmadığını veya zarar verip vermediğini söyleyemez.
- Destek biletlerinden, satış e-postalarından veya arama günlüklerinden elli ila iki yüz arası gerçek soru toplayın.
- Her biri için doğru yanıtı ve kaynak belgeyi yazın.
- Geri almayı ayrı ayrı puanlayın: doğru pasaj en iyi sonuçlarda göründü mü?
- Yanıtları doğruluk, tamlık ve kaynaklar içinde kalıp kalmadıklarına göre puanlayın.
- İçerik, parçalama, istemler veya modellerdeki her değişiklikten sonra tam seti yeniden çalıştırın.
Ragas gibi çerçeveler ve LangSmith, Langfuse veya satıcı platformlarındaki araçlar, model tabanlı puanlama dahil olmak üzere bunun bazı kısımlarını otomatikleştirebilir. Örneklemin insan tarafından gözden geçirilmesini koruyun, çünkü otomatik yargıçlar da hata yapar.
Hata 6: İzinleri ve gizliliği görmezden gelmek
Her belgeden veri alan bir dahili asistan, maaşları, sözleşmeleri veya müşteri verilerini soran herkese ifşa edebilir. Geri alma, orijinal dosyalarla aynı erişim haklarına saygı duymalıdır. Müşteriye yönelik asistanlar asla kişisel verileri veya dahili notları indekslememelidir.
İşlem hattındaki her hizmet için veri işleme şartlarını kontrol edin ve kişisel verilerin dahil olduğu durumlarda GDPR veya KVKK gibi düzenlemelere uyun.
Hata 7: Yayına alıp unutmak
İçerik değişir. Fiyatlar güncellenir, ürünler piyasaya sürülür, politikalar yeniden yazılır. İndeks yenilenmezse, asistan kendinden emin görünmeye devam ederken güncelliğini yitirir. Yeniden indekslemeyi planlayın, hangi belgelerin değiştiğini takip edin ve her hafta canlı konuşmalardan bir örneklemi, özellikle kullanıcıların bir kişiyle konuşmak istediği veya yanıtı kötü puanladığı konuşmaları gözden geçirin.
Alien Road retrieval-augmented generation’ı nasıl uygular
Tipik bir iş birliğinde Alien Road bir kaynak denetimi ile başlar: asistanın hangi belgeleri ve sayfaları bilmesi gerektiği, bunların sahibinin kim olduğu ve nerede çeliştikleri. Önce öncelikli içeriği temizler ve yeniden yapılandırırız, genellikle uzun sayfaları hem insanların hem de geri almanın daha iyi yönettiği tek konulu bölümlere yeniden yazarız.
Kurulum yukarıdaki uygulamaları izler: yapı tabanlı parçalama, platformun izin verdiği yerlerde yeniden sıralama ile hibrit arama, net sistem talimatları ve izin farkındalıklı geri alma. Yayına almadan önce müşterinin gerçek sorularından bir değerlendirme seti oluşturur ve bir kalite eşiği üzerinde anlaşırız.
Yayına girdikten sonra her ay geri alma doğruluğunu, yanıt kalite puanlarını, elden çıkarma oranlarını ve yanıtlanmamış en iyi soruları raporlarız. Yanıtlanmamış sorular, müşterinin ekibi için içerik görevlerine dönüşür ki bu genellikle en büyük kazanımların geldiği yerdir.
Bu hafta nereden başlamalı
Zaten bir RAG asistanı çalıştırıyorsanız, aldığı elli gerçek soruyu toplayın ve her biri için doğru belgenin alınıp alınmadığını kontrol edin. Çoğunluktan azsa, modele dokunmadan önce içeriği ve parçalamayı düzeltin. Bir tane planlıyorsanız, önce kaynaklarınızı ve sahiplerinizi listeleyin; bu liste, projenin kalitesini herhangi bir araç seçiminden daha fazla belirleyecektir.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu