Microsoft Copilot Studio доказывает свою ценность, когда вы измеряете разрешение, отклонение, удовлетворенность и стоимость одной беседы по сравнению с процессом, который заменил агент. Встроенная вкладка «Аналитика» дает вам результаты сессий, эффективность тем и оценки удовлетворенности, но эти цифры имеют смысл только тогда, когда они привязаны к базовым показателям вашей службы поддержки, CRM или воронки продаж до того, как агент начал работу.
Copilot Studio — это low-code платформа Microsoft для создания разговорных агентов. Команды используют ее для создания агентов, которые отвечают на вопросы из SharePoint или публичных веб-сайтов, вызывают потоки Power Automate, передают управление сотрудникам в Dynamics 365 или других системах, а также публикуют их в Teams, на веб-сайтах или в Microsoft 365 Copilot. Поскольку он находится внутри Power Platform, данные измерений разбросаны по нескольким местам, и именно здесь большинство отчетов терпят неудачу.
Почему проектам Copilot Studio сложно показать ROI?
Обычная проблема — не отсутствие данных. А то, что команда запустилась, не решив, как выглядит успех. Агент начинает работать в интранете, люди начинают им пользоваться, а через три месяца кто-то спрашивает, сэкономил ли он деньги. Никто не зафиксировал, сколько тикетов обрабатывала ИТ-служба в неделю до запуска, поэтому ответ превращается в догадку.
Вторая проблема — метрики тщеславия. Общее количество сессий быстро растет после запуска, потому что людям любопытно. Эта цифра ничего не говорит о том, были ли даны ответы на вопросы. Растущее количество сессий в сочетании с падающим уровнем разрешения — это предупреждающий знак, а не победа.
Третья — атрибуция. Если клиент общается с агентом, получает частичный ответ, а затем пишет в поддержку по электронной почте, помог ли агент или добавил лишний шаг? Без привязки ID разговоров к последующим тикетам вы не сможете этого сказать.
KPI, которые действительно важны
Copilot Studio группирует сессии по результатам: решено, эскалировано, заброшено и не вовлечено. Эти четыре результата — основа любого дашборда. Вокруг них добавьте бизнес-показатели, на которые должны влиять эти результаты.
- Уровень разрешения: решенные сессии, деленные на вовлеченные сессии. Это главный операционный KPI.
- Уровень эскалации: доля сессий, переданных человеку. Некоторая эскалация — это нормально; внезапный скачок обычно означает сломанную тему или отсутствие источника знаний.
- Уровень отказа: пользователи, которые уходят в середине разговора. Высокий уровень отказа по конкретной теме указывает на запутанные вопросы или медленные потоки.
- CSAT: оценка опроса в конце разговора. Относитесь к низкому количеству ответов с осторожностью.
- Отклонение: тикеты, звонки или электронные письма, которые не произошли, потому что агент их обработал. Для этого нужна базовая линия до запуска.
- Стоимость одной решенной беседы: потребление сообщений или емкости, деленное на решенные сессии, по сравнению со стоимостью тикета, обработанного человеком.
- Время до разрешения: для внутренних агентов — насколько быстрее сотрудник получает ответ, чем при подаче тикета.
Для маркетинговых и торговых агентов замените отклонение на показатели воронки: захваченные квалифицированные лиды, назначенные встречи и конверсия из чата в отправку формы.
Метрики на уровне тем
Общие цифры скрывают проблемы. Представление аналитики тем показывает, какие темы запускаются чаще всего и какие заканчиваются эскалацией или отказом. Одна тема с уровнем отказа 40 процентов может тянуть вниз в остальном здорового агента. Проверяйте пять худших тем каждую неделю и исправляйте их, прежде чем добавлять новые.
Где живут данные?
Страница аналитики внутри Copilot Studio охватывает основы для каждого агента: сводные графики, результаты, использование тем, удовлетворенность и потребление биллинга. Это хорошо для разработчика, но неудобно для руководителей, потому что это поагентно и имеет ограниченную пользовательскую нарезку.
Для более глубокой отчетности стенограммы разговоров хранятся в Dataverse в таблице ConversationTranscript. Вы можете подключить Power BI к Dataverse и моделировать стенограммы самостоятельно. Microsoft также опубликовала шаблон Power BI для аналитики Copilot Studio, который является разумной отправной точкой на момент написания.
Application Insights — третий источник. Когда вы подключаете агента к ресурсу Azure Application Insights, вы получаете события телеметрии с метками времени, что помогает с анализом задержек и пользовательскими событиями, которые вы излучаете из тем. Если ваши потоки вызывают внешние API, здесь вы увидите медленные ответы.
Наконец, бизнес-системы: ServiceNow, Dynamics 365 Customer Service, Zendesk, HubSpot или Salesforce. Они хранят базовую линию и последующий результат. Полезный дашборд объединяет как минимум два из этих источников.
Как создать дашборд, которому доверяет руководство
Начните с трех уровней, а не с одной переполненной страницы. Каждый уровень отвечает разной аудитории.
- Вид для руководителей: ежемесячные решенные беседы, отклоненные тикеты, расчетные сэкономленные часы и стоимость разрешения по сравнению с человеческой базовой линией. Четыре плитки и одна линия тренда.
- Вид для операций: разбивка результатов, причины эскалации, тренд CSAT и темы с худшими показателями. Это для владельца агента и руководителя поддержки.
- Вид для разработчика: триггеры тем, нераспознанные фразы, сбои потоков и задержка из Application Insights. Отсюда приходят исправления.
Держите определения написанными на самом дашборде. Если «решено» означает, что пользователь подтвердил, что ответ помог, скажите это. Если невовлеченная сессия исключена из знаменателя, укажите это. Большинство споров о цифрах чат-ботов возникают из-за того, что разные люди используют разные определения.
Частота обновления тоже важна. Ежедневного обновления достаточно для большинства команд. Виды в реальном времени выглядят впечатляюще, но провоцируют чрезмерную реакцию на малые выборки.
Установка базовой линии до запуска
Возьмите от четырех до восьми недель данных о тикетах до запуска. Классифицируйте тикеты в те же корзины, которые будут покрывать темы вашего агента, такие как сброс пароля, статус заказа или вопросы о ценах. После запуска сравните объемы категорий. Если тикеты на сброс пароля падают, в то время как тема пароля агента показывает высокий уровень разрешения, у вас есть достоверная история отклонения.
Как Alien Road применяет Microsoft Copilot Studio
В типичном проекте работа начинается с исследования, а не со сборки. Мы перечисляем вопросы, которые клиенты или сотрудники задают чаще всего, обычно экспортируя несколько месяцев тикетов, журналов чатов или запросов на продажу и группируя их. Этот список становится картой тем и, в то же время, базовой линией измерения.
Во время настройки мы подключаем источники знаний, создаем темы, требующие структурированных ответов, и подключаем эскалацию к существующему инструменту поддержки или CRM клиента. Каждая тема получает четкое определение успеха до запуска. Мы также подключаем Application Insights и договариваемся, какие пользовательские события регистрировать, например, когда форма лида заполнена внутри чата.
Измерение выполняется в отчете Power BI, который объединяет стенограммы Copilot Studio с данными о тикетах или лидах клиента. Например, B2B-клиент может видеть еженедельные лиды из чата рядом с лидами из веб-форм, со стоимостью лида для обоих. Отчетность ежемесячная, с коротким списком тем для исправления и тем для добавления, поэтому агент улучшается на основе доказательств, а не мнений.
Распространенные ошибки измерения, которых следует избегать
- Подсчет всех сессий вместо вовлеченных сессий в уровне разрешения.
- Чтение CSAT из горстки ответов, как если бы это было репрезентативно.
- Игнорирование нераспознанных фраз пользователей, которые часто являются самым быстрым путем к лучшему охвату.
- Отчетность о сэкономленных часах без указания предположения, стоящего за цифрой минут на тикет.
- Сравнение первого месяца, когда пользователи были любопытны, с четвертым месяцем, когда использование стабилизировалось.
С чего начать на этой неделе
Откройте вкладку аналитики вашего самого загруженного агента и запишите уровни разрешения, эскалации и отказа за последние 30 дней. Затем вытяните тот же период объемов тикетов из вашего инструмента поддержки для категорий, которые покрывает агент. Поместите оба на одну страницу, даже электронную таблицу, и запишите определение каждой цифры. Эта единственная страница — первая версия дашборда, и она подскажет вам, какую тему исправлять следующей.
Читать далее: Агентство AI-маркетинга · AI-маркетинг