RAG xərcləri və ROI hesablanması bələdçisi

RAG bir məhsul deyil, bir nümunədir. İstifadəçi sual verir, sistem şəxsi bilik bazasında ən uyğun hissələri axtarır və həmin hissələr kontekst kimi böyük dil modelinə təqdim olunur. Model daha sonra təlim zamanı öyrəndiklərinə deyil, bu materiala əsaslanaraq cavab verir.

Bu nümunə ona görə mövcuddur ki, modellər sizin qiymət siyahınızı, geri qaytarma siyasətinizi və ya keçən həftəki kampaniya brifinqinizi bilmir. Modeli bu məlumatlar əsasında incə tənzimləmək (fine-tuning) yavaşdır və köhnəlir. Axtarış faktları modeldən kənarda saxlayır, ona görə də cavabı yeniləmək sənədi yeniləmək deməkdir.

Yazı zamanı ümumi tikinti bloklarına OpenAI, Cohere və ya Google-dan yerləşdirmə modelləri, Pinecone, Weaviate, Qdrant və ya PostgreSQL daxilində pgvector kimi vektor mağazaları və LangChain və ya LlamaIndex kimi orkestrləmə kitabxanaları daxildir. İdarə olunan seçimlər də mövcuddur: OpenAI-ın fayl axtarışı, Google Vertex AI Search və Amazon Bedrock Knowledge Bases yığının böyük hissəsini birləşdirir.

Komandalar çox vaxt vektor bazası üçün büdcə ayırır və ətrafındakı hər şeyi unudurlar. Real xərc cədvəlində beş sətir var və aşağıdakı ardıcıllıq hər birinin nə qədər diqqətə layiq olduğunu təxminən əks etdirir.

• Nəsil tokenləri: hər cavab sualı və əldə edilmiş hissələri modelə göndərir. Uzun kontekst pəncərələri bunu ən böyük dəyişən xərcə çevirir.
• Məzmunun hazırlanması: PDF-lərin təmizlənməsi, sənədlərin hissələrə bölünməsi, köhnəlmiş səhifələrin silinməsi və metadataların etiketlənməsi. Bu, əsasən heyətin vaxtıdır.
• Yerləşdirmələr (Embeddings): korpusu yerləşdirmək üçün birdəfəlik xərc, sonra yeni və ya dəyişdirilmiş sənədlər və hər daxil olan sorğu üçün kiçik təkrarlanan xərclər.
• Vektor saxlama və hostinq: bir neçə min sənəd üçün təvazökar, milyonlarla hissəni indeksləşdirdikdə və ya regionlar arasında aşağı gecikmə tələb olunduqda daha nəzərəçarpandır.
• Qiymətləndirmə və texniki qulluq: test dəstləri, monitorinq panelləri və hər həftə yanlış cavabları nəzərdən keçirən kimsə.

Bunların hər biri üçün qiymətlər tez-tez dəyişir, ona görə də öhdəlik götürməzdən əvvəl cari provayder səhifələrini yoxlayın. Sabit qalan şey formadır: nəsil və əmək üstünlük təşkil edir, saxlama nadir hallarda layihəni müəyyən edir.

Niyə hissə ölçüsü hesabı dəyişir

Əgər hər əldə edilmiş hissə 800 tokendirsə və siz onlardan beşini ötürürsünüzsə, hər sual model bir söz yazmazdan əvvəl təxminən 4000 tokenlik kontekst daşıyır. Hissə ölçüsünü yarıya endirmək və ya beş yerinə üç hissə əldə etmək bu xərci birbaşa azaldır. Bu, həm də dəqiqliyə zərər verə bilər, buna görə də hər iki parametri eyni sual dəstinə qarşı sınaqdan keçirirsiniz.

Texnologiyadan deyil, həcmdən başlayın. Sistemin ayda neçə sual görəcəyini sayın, orta kontekst ölçüsünü təxmin edin və modelin dərc edilmiş token başına dərəcəsinə vurun. Sonra sabit xərcləri əlavə edin.

• Addım 1: Üç aylıq dəstək biletlərini, çat jurnallarını və ya satış sorğularını çıxarın və təkrarlanan sual növlərini sayın.
• Addım 2: Pilot əhatə dairəsini seçin, məsələn, yalnız çatdırılma və geri qaytarma, və bu əhatə dairəsi üçün aylıq sorğu həcmini təxmin edin.
• Addım 3: Orta sorğu uzunluğunuzdan istifadə edərək iki modeli, kiçik sürətli və daha böyük olanı qiymətləndirin.
• Addım 4: Məzmunun təmizlənməsi üçün quraşdırma əməyini əlavə edin, adətən ən böyük birdəfəlik maddədir.
• Addım 5: Uğursuz cavabları nəzərdən keçirmək və sənədləri yeniləmək üçün aylıq texniki qulluq bloku ayırın.

Məsələn, çatdırılma və montaj suallarını cavablandıran onlayn mebel satıcısı kiçik bir modelin sorğuların 90 faizini yaxşı idarə etdiyini, daha böyük modelin isə eskalasiyalar üçün ayrıldığını görə bilər. Bu marşrutlaşdırma seçimi çox vaxt istənilən verilənlər bazası qərarından daha vacibdir.

ROI arqumentləri yeganə rəqəm “cavablandırılmış suallar” olduqda dağılır. Bot minlərlə sualı pis cavablandıra bilər. Maliyyə komandasının artıq tanıdığı nəticələri izləyin.

• Sapma dərəcəsi: insan agenti olmadan bağlanan söhbətlərin payı, 48 saat ərzində təkrarlanan əlaqələrə qarşı yoxlanılır.
• Cavab dəqiqliyi: real suallardan ibarət sabit test dəstində qiymətləndirilir, hər məzmun və ya model dəyişikliyindən sonra yenidən işə salınır.
• Həll edilmiş sorğu başına xərc: aylıq ümumi RAG xərcləri bölünsün düzgün həll edilmiş söhbətlər.
• Heyət üçün qənaət edilmiş vaxt: bilet başına dəqiqələr, əvvəl və sonra, təxmin edilməkdənsə nümunə götürülür.
• Gəlir siqnalları: satışdan əvvəlki köməkçilər üçün, köməkçi konversiya dərəcəsi holdout qrupu ilə müqayisədə.

Həll edilmiş sorğu başına xərci cari insan tərəfindən idarə olunan bilet başına xərcinizlə müqayisə edin. Fərq kiçikdirsə, layihə hələ də sürət və ya 24 saatlıq əhatə dairəsi üçün buna dəyər ola bilər, lakin biznes işində bunu dürüst söyləyin.

Üç vərdiş büdcəni artırır. Birincisi, hər şeyi indeksləşdirməkdir: köhnə kampaniya göyərtələri, dublikat PDF-lər və qaralama səhifələri səs-küy əlavə edir, axtarış səhvlərini artırır və saxlama xərclərini qaldırır. İkincisi, hər sual üçün ən böyük modelə üstünlük verməkdir. Üçüncüsü, qiymətləndirməni atlamaqdır, beləliklə, müştərilər şikayət edənə qədər heç kim məzmun dəyişikliyinin iyirmi cavabı pozduğunu fərq etmir.

Keşləmə kömək edir. Bir çox provayderlər indi sorğu keşləməsi və ya təkrarlanan kontekst üçün daha ucuz tariflər təklif edir və tez-tez verilən suallar cədvəl üzrə yenilənən saxlanılan cavabdan verilə bilər.