Вы измеряете Retrieval-augmented generation на двух уровнях. Техническое качество охватывает то, извлекает ли система нужные документы и остаются ли ответы верными им. Бизнес-ценность охватывает то, получают ли пользователи правильные ответы быстрее, уменьшаются ли тикеты в поддержку и сколько стоит каждый ответ. Дашборд должен показывать и то, и другое, потому что связный ответ из неправильного документа — это все равно неправильный ответ.
RAG — это паттерн для создания AI-ассистентов, которые отвечают на основе вашего собственного контента. Когда пользователь задает вопрос, система ищет в базе знаний, обычно с помощью векторных эмбеддингов и часто также поиска по ключевым словам, извлекает наиболее релевантные фрагменты и передает их языковой модели для написания ответа, желательно со ссылками. Это распространено в ботах поддержки, внутренних ассистентах знаний и поиске по продуктам. Фреймворки, такие как LangChain и LlamaIndex, а также управляемые сервисы от OpenAI, Google, AWS и других, упрощают создание.
Почему RAG-проектам нужно специализированное измерение?
RAG-система может дать сбой в нескольких местах: документы могут отсутствовать или быть устаревшими, поиск может извлечь не те фрагменты, или модель может проигнорировать фрагменты и импровизировать. Со стороны все эти ошибки выглядят одинаково: уверенный ответ, который является неверным.
Без измерения на каждом этапе команды пытаются исправить не ту часть. Они переходят на большую модель, когда реальной проблемой была устаревшая статья справки, или переписывают промпты, когда поиск возвращает нерелевантные фрагменты.
Какие KPI поиска важны?
Создайте тестовый набор из 50–200 реальных вопросов, каждый с документом или фрагментом, содержащим правильный ответ. Используйте его для регулярного измерения поиска.
- Recall at k: доля вопросов, где правильный фрагмент появляется в топ-k результатах, например, в топ-5.
- Precision at k: доля топ-k результатов, которые действительно релевантны.
- Mean reciprocal rank: насколько высоко в среднем появляется первый релевантный результат.
- Покрытие: доля реальных вопросов пользователей, для которых вообще существует релевантный документ.
Покрытие — это бизнес-метрика, скрытая в технических. Если для многих вопросов нет подходящего документа, решение — писать контент, а не настраивать поиск.
Как измерить качество ответов?
Верность и корректность
Верность спрашивает, подтверждается ли каждое утверждение в ответе извлеченными фрагментами. Корректность спрашивает, соответствует ли ответ известному правильному ответу. Оба показателя могут оцениваться людьми-рецензентами на выборке и с помощью настройки LLM-as-a-judge, где вторая модель оценивает ответы по источникам, что поддерживают open-source инструменты, такие как Ragas. Проверяйте автоматизированные оценки против человеческих, прежде чем доверять им.
Ссылки и отказы
Отслеживайте долю ответов хотя бы с одной ссылкой и долю, где система корректно говорит, что не знает. Система, которая никогда не отказывается, вероятно, выдумывает ответы на вопросы вне своих знаний.
Какие бизнес-KPI доказывают ценность?
- Уровень решения или дефлексии: доля диалогов, решенных без участия агента-человека, подтвержденная обратной связью пользователя или отсутствием последующего тикета.
- Качество эскалации: когда бот передает диалог, получает ли агент полезное резюме?
- Обратная связь пользователя: лайк или дизлайк на ответ, с опциональными комментариями.
- Время до ответа для внутренних пользователей по сравнению с ручным поиском документов.
- Стоимость отвеченного вопроса: токены модели, затраты на эмбеддинги и векторную базу данных, деленные на количество ответов.
- Задержка: медиана и 95-й перцентиль времени ответа.
Как должен выглядеть дашборд?
Используйте три секции. Верхняя показывает бизнес-результаты для менеджеров: отвеченные вопросы, уровень дефлексии, удовлетворенность и стоимость ответа, с трендами. Средняя показывает качество: баллы верности и корректности из последнего прогона оценки, уровень отказов и уровень цитирования. Нижняя показывает операции: задержка, уровень ошибок и самые частые вопросы без ответа.
Список вопросов без ответа часто является самой полезной частью. Он говорит контент-команде точно, какие статьи писать дальше.
Как часто нужно проводить оценку?
Запускайте тестовый набор поиска и ответов после каждого значимого изменения: новые документы, новая модель эмбеддингов, другой размер чанка, новая языковая модель или промпт. Также запускайте его по фиксированному графику, например, ежемесячно, потому что контент меняется со временем.
Выборочно проверяйте живые диалоги еженедельно для человеческого контроля. Тестовые наборы уходят от того, что реально спрашивают пользователи; живые выборки держат вас в тонусе и дают новые вопросы для добавления в набор.
Какие изменения обычно улучшают цифры больше всего?
Исправления контента часто побеждают апгрейды моделей. Удаление дубликатов и устаревших документов, разбиение длинных страниц на сфокусированные разделы и добавление недостающих ответов обычно поднимают как recall поиска, так и корректность ответов.
С технической стороны гибридный поиск, сочетающий ключевые слова и векторное сопоставление, помогает с названиями продуктов, кодами и точными фразами, которые эмбеддинги могут пропустить. Шаг переранжирования, который переупорядочивает топ-результаты до того, как они попадут в модель, — еще одно частое улучшение. Измеряйте каждое изменение на тестовом наборе, прежде чем оставлять его.
Ведите журнал изменений рядом с дашбордом, чтобы каждый скачок или падение показателя можно было проследить до конкретного изменения.
Как Alien Road применяет измерение RAG
В типичном проекте по AI-оптимизации мы начинаем с аудита базы знаний, которую будет использовать RAG-система: дубликаты, устаревшие страницы, отсутствующие темы. Затем мы строим тестовый набор вопросов с командой поддержки или продаж клиента на основе реальных тикетов и логов чатов.
Во время настройки мы измеряем качество поиска и ответов при каждом изменении, а после запуска проводим ежемесячные оценки и еженедельные живые выборки. Клиент получает дашборд с бизнес-, качественными и операционными представлениями, а также ежемесячный список пробелов в контенте, составленный из вопросов без ответа.
С чего начать на этой неделе
Экспортируйте последние 200 вопросов, которые клиенты задавали вашей команде поддержки или чат-боту. Сгруппируйте их по темам и для каждого из 30 самых частых найдите статью справки, которая на него отвечает, или отметьте, что такой нет.
Эта таблица — начало вашего тестового набора и метрики покрытия одновременно. Даже до того, как построена RAG-система, она показывает, сколько вашего контента готово к использованию.
Поделитесь списком с людьми, которые владеют контентом справки. Пробелы, найденные таким образом, конкретны и легко устранимы, что обосновывает работу по измерению еще до появления дашборда.
Читайте далее: ИИ-оптимизация · ИИ-оптимизация