Rag teknolojisi maliyet ve roi: Yatırım bütçesi rehberi

RAG bir ürün değil, bir modeldir. Bir kullanıcı soru sorar, sistem özel bir bilgi tabanında en alakalı pasajları arar ve bu pasajlar büyük bir dil modeline bağlam olarak verilir. Model daha sonra eğitim sırasında öğrendiklerine güvenmek yerine bu materyali kullanarak yanıt verir.

Bu modelin var olmasının nedeni, modellerin fiyat listenizi, iade politikanızı veya geçen haftaki kampanya özetinizi bilmemesidir. Bir modeli bu veriler üzerinde ince ayar (fine-tuning) yapmak yavaştır ve veriler hızla eskir. Arama, gerçekleri modelin dışında tutar, bu nedenle bir yanıtı güncellemek bir belgeyi güncellemek anlamına gelir.

Yazım sırasında yaygın yapı taşları arasında OpenAI, Cohere veya Google’dan yerleştirme modelleri, Pinecone, Weaviate, Qdrant veya PostgreSQL içinde pgvector gibi vektör depoları ve LangChain veya LlamaIndex gibi orkestrasyon kütüphaneleri bulunur. Yönetilen seçenekler de mevcuttur: OpenAI’ın dosya araması, Google Vertex AI Search ve Amazon Bedrock Knowledge Bases, yığının çoğunu bir araya getirir.

Ekipler genellikle vektör veritabanı için bütçe ayırır ve etrafındaki her şeyi unutur. Gerçekçi bir maliyet tablosunda beş satır vardır ve aşağıdaki sıra, her birinin ne kadar ilgiyi hak ettiğini kabaca eşleştirir.

• Üretim tokenleri: her yanıt, soruyu artı alınan pasajları bir modele gönderir. Uzun bağlam pencereleri bunu en büyük değişken maliyet haline getirir.
• İçerik hazırlığı: PDF’lerin temizlenmesi, belgelerin parçalara ayrılması, eski sayfaların kaldırılması ve meta verilerin etiketlenmesi. Bu çoğunlukla personel zamanıdır.
• Yerleştirmeler (Embeddings): külliyatı yerleştirmek için tek seferlik bir maliyet, ardından yeni veya değiştirilmiş belgeler ve her gelen sorgu için küçük tekrarlayan maliyetler.
• Vektör depolama ve barındırma: birkaç bin belge için mütevazı, milyonlarca parçayı indekslediğinizde veya bölgeler arasında düşük gecikme süresine ihtiyaç duyduğunuzda daha belirgin.
• Değerlendirme ve bakım: test setleri, izleme panoları ve her hafta yanlış yanıtları gözden geçiren biri.

Bunların her biri için fiyatlar sık sık değişir, bu nedenle taahhütte bulunmadan önce mevcut sağlayıcı sayfalarını kontrol edin. Sabit kalan şey şekildir: üretim ve iş gücü hakimdir, depolama nadiren projeye karar verir.

Parça boyutu (chunk size) faturayı neden değiştirir

Her alınan parça 800 token ise ve bunlardan beşini aktarırsanız, her soru model bir kelime yazmadan önce yaklaşık 4.000 tokenlik bağlam taşır. Parça boyutunu yarıya indirmek veya beş yerine üç pasaj almak bu maliyeti doğrudan düşürür. Ayrıca doğruluğa zarar verebilir, bu yüzden her iki ayarı da aynı soru setine karşı test edersiniz.

Teknolojiden değil, hacimden başlayın. Sistemin ayda kaç soru göreceğini sayın, ortalama bağlam boyutunu tahmin edin ve modelin yayınlanan token başına oranıyla çarpın. Ardından sabit maliyetleri ekleyin.

• Adım 1: Üç aylık destek biletlerini, sohbet günlüklerini veya satış sorgularını çekin ve tekrarlayan soru türlerini sayın.
• Adım 2: Pilot bir kapsam seçin, örneğin sadece nakliye ve iadeler, ve bu kapsam için aylık sorgu hacmini tahmin edin.
• Adım 3: Ortalama istem uzunluğunuzu kullanarak küçük hızlı ve daha büyük olmak üzere iki modeli fiyatlandırın.
• Adım 4: İçerik temizliği için kurulum iş gücünü ekleyin, genellikle en büyük tek seferlik kalemdir.
• Adım 5: Başarısız yanıtları gözden geçirmek ve belgeleri yenilemek için aylık bir bakım bloğu ayırın.

Örneğin, teslimat ve montaj sorularını yanıtlayan çevrimiçi bir mobilya perakendecisi, küçük bir modelin sorguların yüzde 90’ını iyi yönettiğini, daha büyük modelin ise yükseltmeler için ayrıldığını görebilir. Bu yönlendirme seçimi genellikle herhangi bir veritabanı kararından daha önemlidir.

ROI argümanları, tek sayı “yanıtlanan sorular” olduğunda çöker. Bir bot binlerce soruyu kötü yanıtlayabilir. Bir finans ekibinin zaten tanıdığı sonuçları takip edin.

• Sapma oranı (Deflection rate): insan temsilci olmadan kapatılan konuşmaların payı, 48 saat içindeki tekrarlanan temaslara karşı kontrol edilir.
• Yanıt doğruluğu: gerçek sorulardan oluşan sabit bir test setinde derecelendirilir, her içerik veya model değişikliğinden sonra yeniden çalıştırılır.
• Çözülen sorgu başına maliyet: toplam aylık RAG harcaması bölü doğru çözülen konuşmalar.
• Personel için tasarruf edilen zaman: bilet başına dakika, tahmin etmek yerine örneklenmiş.
• Gelir sinyalleri: satış öncesi asistanlar için, bir kontrol grubuna kıyasla destekli dönüşüm oranı.

Çözülen sorgu başına maliyeti, mevcut insan tarafından işlenen bilet başına maliyetinizle karşılaştırın. Fark küçükse, proje hız veya 24 saatlik kapsama için hala buna değebilir, ancak bunu iş gerekçesinde dürüstçe belirtin.

Üç alışkanlık bütçeleri artırır. Birincisi her şeyi indekslemektir: eski kampanya desteleri, kopya PDF’ler ve taslak sayfalar gürültü ekler, arama hatalarını artırır ve depolamayı yükseltir. İkincisi, her soru için varsayılan olarak en büyük modeli kullanmaktır. Üçüncüsü, değerlendirmeyi atlamaktır, böylece müşteriler şikayet edene kadar kimse bir içerik değişikliğinin yirmi yanıtı bozduğunu fark etmez.

Önbelleğe alma yardımcı olur. Birçok sağlayıcı artık istem önbelleğe alma veya tekrarlanan bağlam için daha ucuz oranlar sunuyor ve sık sorulan sorular, bir programa göre yenilenen depolanmış bir yanıttan sunulabilir.