Измерение AI-агентов означает отслеживание того, была ли каждая задача выполнена правильно, как часто человеку приходилось вмешиваться, во сколько обошлась каждая задача и на какой бизнес-результат она повлияла. Полезный дашборд показывает эти четыре уровня рядом: уровень успешности задач, уровень эскалации, стоимость выполненной задачи и метрику результата, такую как квалифицированные лиды, решенные тикеты или сэкономленные часы, в сравнении с той же работой, выполненной без агента.
AI-агент — это программное обеспечение, которое использует языковую модель для планирования шагов и вызова инструментов, таких как CRM, функция поиска или система электронной почты, для достижения цели. Команды создают их с помощью таких платформ, как Salesforce Agentforce, Microsoft Copilot Studio, агенты Breeze от HubSpot, SDK для агентов OpenAI, LangGraph или AI Agent node в n8n. Поскольку агент сам определяет свои шаги, его сложнее измерить, чем фиксированную автоматизацию.
Многие пилотные проекты оцениваются по впечатлениям от демо. Это редко выдерживает бюджетную проверку. Структура ниже предоставляет финансовому и маркетинговому отделам одни и те же цифры для обсуждения.
Почему стандартных метрик автоматизации недостаточно?
Фиксированный рабочий процесс либо выполняется, либо завершается неудачей. Агент может запуститься, выбрать путь, который выглядит разумным, и все равно выдать неправильный результат: назначить встречу не с тем контактом, неправильно резюмировать звонок или ответить клиенту с использованием устаревшей политики. “Завершенные запуски” считают это успехами.
Агенты также варьируют свои усилия. Одна задача может потребовать двух вызовов инструментов, а другая — двадцати, поэтому стоимость одной задачи может сильно колебаться. Дашборд, который показывает только общие расходы, скрывает, какие задачи являются дорогими.
Какие KPI должны быть на дашборде?
Группируйте метрики по четырем уровням. Каждый отвечает на свой вопрос.
Уровень 1: Качество задач
- Уровень успешности задач: доля задач, выполненных правильно, оцениваемая по определенному стандарту.
- Точность на тестовом наборе: фиксированный набор примеров задач, которые перезапускаются после каждого изменения промпта или модели.
- Типы ошибок: неверные данные, неверное действие, неполная задача, нарушение политики.
Успех задачи нуждается в судье. Для агента поддержки это может быть “клиент не открыл тикет повторно в течение семи дней”. Для агента по поиску лидов это может быть еженедельная выборка, оцененная торговым представителем.
Уровень 2: Участие человека
- Уровень эскалации: доля задач, переданных человеку.
- Уровень отмены: доля действий агента, которые проверяющий изменил или отменил.
- Время проверки на задачу: минуты, которые человек потратил на проверку.
Снижение уровня эскалации хорошо только в том случае, если успешность задач остается стабильной. Если падают оба показателя, агент больше угадывает и меньше спрашивает.
Уровень 3: Эффективность и стоимость
- Стоимость выполненной задачи: токены модели плюс плата за инструменты и платформу, деленные на успешные задачи.
- Время выполнения: от триггера до готового результата.
- Шаги на задачу: вызовы инструментов или ходы модели, чтобы выявить задачи, где агент зацикливается.
Уровень 4: Бизнес-результат
- Метрика, на которую агент был настроен влиять, например, квалифицированные лиды в неделю, время первого ответа, решенные тикеты или опубликованные страницы.
- Группа сравнения: та же работа, выполненная без агента, по возможности за тот же период.
Как настроить справедливую базу сравнения?
Измеряйте текущий процесс в течение двух-четырех недель до запуска. Записывайте объем, время на задачу, уровень ошибок и стоимость. Без этого каждой последующей цифре не хватает контекста.
Во время пилота разделяйте работу, если можете. Направляйте половину входящих чат-диалогов агенту, а половину — в существующий поток, или позвольте агенту обрабатывать один регион или одну линейку продуктов. Раздельное сравнение гораздо убедительнее, чем цифры “до и после”, которые смешиваются с сезонностью и кампаниями.
Как должен выглядеть дашборд?
Держите его на одном экране. Макет, который работает для большинства команд, имеет четыре строки, соответствующие уровням выше, каждая с текущей неделей, предыдущей неделей и базой сравнения. Looker Studio, Power BI или простая таблица — все это работает; данные обычно поступают из логов платформы агента, а также из CRM или службы поддержки.
- Верхняя строка: бизнес-результат по сравнению с базой.
- Вторая строка: успешность задач и типы ошибок.
- Третья строка: эскалация, отмена и время проверки.
- Нижняя строка: стоимость выполненной задачи и шаги на задачу.
Добавьте еженедельную выборку из пяти реальных транскриптов, на которые можно перейти с дашборда. Цифры объясняют тренды; транскрипты объясняют причины.
Как Alien Road применяет измерение AI-агентов
В типичном проекте измерение проектируется до того, как агент будет создан. На этапе Discovery определяется задача в одном предложении, стандарт успеха и бизнес-метрика, на которую она должна влиять. Мы также согласовываем с клиентом, кто оценивает выборки, потому что оценка — это шаг, который чаще всего пропускается.
Настройка соединяет логи агента со стеком отчетности. Для агентов, созданных в n8n или с помощью SDK для агентов OpenAI, каждый запуск записывает строку с ID задачи, шагами, токенами, результатом и флагом эскалации. Для агентов внутри CRM-платформ мы экспортируем собственные данные об активности платформы. Эта строка объединяется с результатами CRM или службы поддержки в Looker Studio.
Ежемесячные отчеты сравнивают агента с базовой группой, показывают тренд стоимости выполненной задачи и включают транскрипты как хороших, так и плохих запусков. Когда агент не достигает своей цели в течение двух месяцев, отчет рекомендует сузить его область применения или вывести его из эксплуатации, а не добавлять больше промптов.
Какие ошибки делают метрики агента вводящими в заблуждение?
Самая распространенная — оценивать только те запуски, которые завершились. Задачи, которые агент забросил или по которым истекло время, должны считаться сбоями, иначе уровень успешности выглядит лучше каждый раз, когда агент чаще сдается.
Вторая ошибка — изменение промпта, модели и области задачи на одной неделе. Когда цифры меняются, никто не может сказать почему. Меняйте только что-то одно и перезапускайте фиксированный тестовый набор после каждого изменения.
Третья — отчитываться в токенах, а не в деньгах. Количество токенов мало что значит для финансового отдела; конвертируйте их в стоимость выполненной задачи, используя текущую цену провайдера, и укажите дату этой цены в отчете.
С чего начать на этой неделе
Напишите определение задачи в одно предложение и стандарт успеха для вашего агента, даже если он уже работает. Затем выгрузите логи за прошлый месяц и рассчитайте только две цифры: успешность задач на выборке из двадцати запусков и стоимость выполненной задачи.
Эти две цифры обычно меняют разговор. Если успех высокий, а стоимость низкая — создавайте полный дашборд. Если нет — вы знаете, что нужно исправить, прежде чем измерять что-то еще.
Читайте дальше: Агентство AI-маркетинга · AI-маркетинг