Затраты и ROI технологии RAG в маркетинге

RAG — это паттерн, а не продукт. Пользователь задает вопрос, система ищет в закрытой базе знаний наиболее релевантные отрывки, и эти отрывки передаются большой языковой модели в качестве контекста. Затем модель отвечает, используя этот материал, а не полагаясь только на то, что она выучила во время обучения.

Этот паттерн существует потому, что модели не знают ваш прайс-лист, политику возврата или бриф прошлой кампании. Дообучение (fine-tuning) модели на этих данных — процесс медленный, а данные быстро устаревают. Поиск позволяет хранить факты вне модели, поэтому обновление ответа означает просто обновление документа.

К числу распространенных строительных блоков на момент написания статьи относятся модели эмбеддингов от OpenAI, Cohere или Google, векторные хранилища, такие как Pinecone, Weaviate, Qdrant или pgvector внутри PostgreSQL, а также библиотеки оркестрации, такие как LangChain или LlamaIndex. Существуют и управляемые варианты: OpenAI File Search, Google Vertex AI Search и Amazon Bedrock Knowledge Bases объединяют большую часть стека.

Команды часто закладывают бюджет на векторную базу данных, забывая обо всем остальном. Реалистичная смета расходов состоит из пяти строк, и приведенный ниже порядок примерно соответствует тому, сколько внимания заслуживает каждая из них.

• Токены генерации: каждый ответ отправляет вопрос плюс найденные отрывки в модель. Длинные контекстные окна делают это самой большой переменной статьей расходов.
• Подготовка контента: очистка PDF-файлов, разбиение документов на части, удаление устаревших страниц и тегирование метаданных. Это в основном время сотрудников.
• Эмбеддинги: единовременные затраты на создание эмбеддингов корпуса, затем небольшие повторяющиеся расходы на новые или измененные документы и на каждый входящий запрос.
• Векторное хранилище и хостинг: скромные для нескольких тысяч документов, более заметные при индексации миллионов фрагментов или необходимости низкой задержки в разных регионах.
• Оценка и поддержка: тестовые наборы, панели мониторинга и специалист, который еженедельно проверяет неверные ответы.

Цены на каждый из этих пунктов часто меняются, поэтому проверяйте страницы текущих провайдеров перед принятием обязательств. Что остается стабильным, так это структура: генерация и трудозатраты доминируют, хранение редко определяет успех проекта.

Почему размер фрагмента (chunk size) меняет счет

Если каждый найденный фрагмент составляет 800 токенов, и вы передаете пять из них, каждый вопрос несет около 4000 токенов контекста, прежде чем модель напишет хоть слово. Уменьшение размера фрагмента вдвое или получение трех отрывков вместо пяти напрямую снижает эти затраты. Это также может снизить точность, поэтому вы тестируете оба параметра на одном и том же наборе вопросов.

Начинайте с объема, а не с технологий. Посчитайте, сколько вопросов система будет получать в месяц, оцените средний размер контекста и умножьте на опубликованную стоимость модели за токен. Затем добавьте фиксированные расходы.

• Шаг 1: Возьмите данные за три месяца по тикетам поддержки, логам чатов или запросам на продажу и посчитайте типы повторяющихся вопросов.
• Шаг 2: Выберите пилотный объем, например, только доставка и возвраты, и оцените ежемесячный объем запросов для этого объема.
• Шаг 3: Рассчитайте стоимость двух моделей, маленькой быстрой и более крупной, используя среднюю длину промпта.
• Шаг 4: Добавьте трудозатраты на настройку для очистки контента, обычно это самая большая единовременная статья.
• Шаг 5: Зарезервируйте ежемесячный блок на поддержку для проверки неудачных ответов и обновления документов.

Например, онлайн-магазин мебели, отвечающий на вопросы о доставке и сборке, может обнаружить, что маленькая модель хорошо справляется с 90 процентами запросов, а более крупная модель зарезервирована для эскалаций. Этот выбор маршрутизации часто важнее, чем выбор базы данных.

Аргументы в пользу ROI разваливаются, когда единственным числом является «количество отвеченных вопросов». Бот может плохо ответить на тысячи вопросов. Отслеживайте результаты, которые уже признает финансовый отдел.

• Коэффициент отклонения (Deflection rate): доля диалогов, закрытых без участия человека, проверенная по повторным обращениям в течение 48 часов.
• Точность ответов: оценивается на фиксированном тестовом наборе реальных вопросов, перезапускается после каждого изменения контента или модели.
• Стоимость одного решенного запроса: общие ежемесячные расходы на RAG, деленные на количество правильно решенных диалогов.
• Сэкономленное время персонала: минуты на тикет до и после, на основе выборок, а не догадок.
• Сигналы дохода: для помощников по предпродажам — коэффициент конверсии с поддержкой по сравнению с контрольной группой.

Сравните стоимость одного решенного запроса с текущей стоимостью обработки тикета человеком. Если разрыв невелик, проект все равно может быть оправдан скоростью или круглосуточным покрытием, но честно укажите это в бизнес-кейсе.

Три привычки увеличивают бюджеты. Первая — индексировать все подряд: старые презентации кампаний, дубликаты PDF и черновики добавляют шум, увеличивают ошибки поиска и повышают расходы на хранение. Вторая — использовать самую большую модель по умолчанию для каждого вопроса. Третья — пропускать оценку, поэтому никто не замечает, что изменение контента сломало двадцать ответов, пока клиенты не начинают жаловаться.

Кэширование помогает. Многие провайдеры теперь предлагают кэширование промптов или более дешевые тарифы для повторяющегося контекста, а часто задаваемые вопросы могут обслуживаться из сохраненного ответа, который обновляется по расписанию.