Conversational AI для обслуживания клиентов измеряется тем, сколько диалогов он решает правильно, что чувствуют клиенты после этого, насколько чисто он передает диалог людям и во сколько обходится каждый решенный контакт. Полезный дашборд объединяет эти показатели, потому что бот, который «удерживает» много чатов, но оставляет клиентов злыми или отправляет их обратно через другой канал, не экономит деньги.
Что такое Conversational AI в обслуживании клиентов сегодня?
Это чат-боты и голосовые агенты, которые понимают свободный текст или речь и отвечают на естественном языке. Современные системы объединяют большую языковую модель с базой знаний и, часто, действиями, такими как проверка заказа или бронирование встречи.
Популярные платформы включают Zendesk AI agents, Intercom Fin, Salesforce Agentforce, Microsoft Copilot Studio, Google Customer Engagement Suite, клиентский агент HubSpot и множество небольших инструментов для WhatsApp и чатов на веб-сайтах. Большинство из них включают собственную аналитику, но эти отчеты, как правило, показывают цифры, выгодные поставщику.
Какие KPI действительно важны?
Выберите небольшой набор, который охватывает эффективность, качество, опыт и стоимость. Большее количество метрик рассеивает внимание.
Эффективность
- Уровень удержания: доля диалогов, которые заканчиваются без передачи человеку
- Уровень решения: доля, где проблема клиента была действительно решена, подтверждено опросом или отсутствием повторного контакта
- Уровень повторных контактов: клиенты, которые возвращаются с той же проблемой в течение установленного периода, например, 72 часов
Качество
- Точность ответов на проверенной выборке, оцененная человеком
- Количество галлюцинаций или нарушений политики: ответы, которые выдумали факты или нарушили правила
- Качество передачи: получил ли агент-человек контекст или клиенту пришлось повторять все заново?
Опыт
- CSAT после диалогов с ботом по сравнению с CSAT после диалогов с людьми
- Уровень отказов: клиенты, которые уходят в середине диалога
- Время до решения
Стоимость
- Стоимость одного решенного диалога, включая плату за платформу и время персонала на обслуживание
- Освобожденные часы работы агентов-людей и то, на что были потрачены эти часы
Почему удержание само по себе вводит в заблуждение?
Удержание учитывает любой диалог, который не дошел до человека. Клиент, который сдается и закрывает окно, считается удержанным. Также как и тот, кто вместо этого звонит на телефонную линию.
Сочетайте удержание с повторными контактами и CSAT. Если удержание растет, а повторные контакты и звонки тоже растут, бот просто перекладывает работу в другое место, а не устраняет ее.
Как построить справедливую базовую линию?
Измерьте старую настройку как минимум за месяц до запуска: объем по темам, время обработки, CSAT и стоимость одного контакта. Без базовой линии любое утверждение об улучшении — это догадка.
- Экспортируйте данные тикетов и чатов с тегами тем
- Рассчитайте среднее время обработки по теме
- Записывайте CSAT по каналам
- Отмечайте сезонные пики, которые могут исказить сравнения
После запуска сравнивайте те же темы за аналогичный период. Если можете, запустите бота сначала на части трафика, а остальное оставьте на старом потоке; это дает более чистое сравнение.
Как выглядит работающий дашборд?
Одна страница, четыре блока, обновляется еженедельно. Руководители должны иметь возможность прочитать его за две минуты.
- Верхний блок: диалоги, уровень решения, CSAT, стоимость одного решенного контакта, каждый с линией тренда
- Таблица тем: объем, решение и CSAT по темам, отсортированные по объему
- Блок качества: оценка точности из еженедельной выборки, нарушения политики, жалобы на передачу
- Список пробелов: топ вопросов без ответа и темы с падающим уровнем решения
Данные обычно поступают с платформы бота, хелпдеска и инструмента опросов. Инструменты вроде Looker Studio, Power BI или собственные отчеты хелпдеска могут их объединить. Держите определения написанными прямо на дашборде, чтобы «решено» означало одно и то же каждый месяц.
Как часто диалоги должны проверяться людьми?
Автоматизированные метрики упускают тон и тонкие ошибки. Еженедельная проверка выборки их ловит.
- Делайте выборку от 30 до 100 диалогов в неделю, распределенных по темам
- Оценивайте каждый по точности, тону и правильности передачи
- Логируйте любой неправильный ответ и исправляйте источник знаний за ним
- Делитесь двумя хорошими и двумя плохими примерами с командой поддержки
Как выглядит рабочий пример?
Возьмем гипотетический онлайн-магазин электроники, который обрабатывает около 6000 чатов в месяц. Перед запуском его базовая линия показывает, что вопросы о статусе заказа составляют большую часть объема, со средним временем обработки четыре минуты и CSAT на обычном уровне команды.
После того как AI-агент начинает работать со статусом заказа, дашборд показывает высокое удержание по этой теме. Повторные контакты по статусу заказа остаются на прежнем уровне, а CSAT стабилен, поэтому удержание выглядит реальным. Однако по возвратам удержание высокое, а повторные контакты удваиваются. Проверка выборок показывает, что агент цитирует старое окно возврата со страницы помощи, которая устарела.
Решение не в настройках AI. Страница помощи обновляется, ответы агента меняются в тот же день, и повторные контакты падают на следующей неделе. Это паттерн, который создает хорошее измерение: конкретная цифра указывает на конкретную страницу, и исправление стоит дешево.
Как вы сообщаете результаты руководству?
Руководители хотят знать три вещи: работает ли это, безопасно ли это и сколько это стоит. Ответьте на это в первых строках любого отчета, затем покажите детали ниже.
- Одно предложение о тренде решения и CSAT
- Одно предложение об инцидентах качества и исправлениях
- Одно предложение о стоимости одного решенного контакта по сравнению с человеческой базовой линией
Избегайте сообщения об удержании как об успехе в одиночку. Это приглашает к неправильному вопросу позже, когда жалобы вырастут в другом канале.
Как Alien Road применяет измерение Conversational AI
В типичном CRM-проекте мы начинаем с исследования: экспорт тикетов и чатов за месяц, тегирование их по темам и построение базовой линии. Мы согласовываем определения с руководителем поддержки клиента перед любым запуском.
Настройка включает подключение платформы бота, хелпдеска и данных опросов в один дашборд, плюс лист выборки для еженедельных проверок. Мы обычно запускаемся сначала на двух или трех темах с высоким объемом.
Отчетность сначала еженедельная, а после стабилизации — ежемесячная. Каждый отчет показывает четыре блока дашборда, результаты проверки выборки и короткий список исправлений знаний, поэтому улучшения прослеживаются до конкретных изменений.
С чего начать на этой неделе
Возьмите данные поддержки за прошлый месяц и рассчитайте три цифры по каждой теме: объем, среднее время обработки и CSAT. Это ваша базовая линия. Затем откройте аналитику вашей платформы бота и проверьте, как она определяет удержание и решение. Запишите оба определения. Эти два шага делают каждый будущий отчет честным.
Продолжайте читать: CRM-система · AI-маркетинг