Агенты компьютерного использования — это ИИ-системы, которые работают с программным обеспечением так же, как человек: читают экран, перемещают курсор, кликают и печатают. Их ценность проявляется в проценте успешных задач, частоте вмешательства человека, сэкономленном времени на задачу, стоимости выполненной задачи и инцидентах безопасности. Измеряйте все пять показателей в сравнении с ручным процессом, потому что агент, который выполняет задачи медленно и с частой помощью, может стоить дороже, чем экономит.
Примеры включают возможности компьютерного использования Anthropic для Claude, функции агентов OpenAI в ChatGPT, модель компьютерного использования Gemini от Google и браузерные агенты, созданные на таких фреймворках, как Browser Use или Playwright, под управлением языковой модели. Они полезны там, где нет API: устаревшие дашборды, порталы поставщиков, веб-формы и многошаговые задачи в нескольких инструментах. На момент написания они все еще медленнее и менее надежны, чем API-интеграции, что делает измерение более важным.
Где агенты компьютерного использования подходят для маркетинговой работы?
У большинства маркетинговых команд есть повторяющаяся экранная работа, которая никогда не была автоматизирована, потому что инструментам не хватает хороших API или задача охватывает несколько систем.
- Извлечение отчетов с рекламных платформ или маркетплейсов, которые не предлагают удобный экспорт.
- Проверка страниц конкурентов, цен или рекламных библиотек по расписанию.
- Заполнение списков каталогов и профилей цитирования на многих сайтах.
- Проверки качества на целевых страницах: формы, ссылки, теги отслеживания и мобильная верстка.
- Обновление информации о продуктах на порталах продавцов маркетплейсов.
- Сбор скриншотов живых кампаний для отчетности перед клиентами.
У каждой из них есть четкая ручная базовая линия, что делает измерение ценности простым.
Какие KPI доказывают ценность?
Показатели надежности
- Процент успешных задач: задачи, выполненные правильно без помощи человека, деленный на количество попыток. Определите “правильно” для каждого типа задачи.
- Процент частичного успеха: задачи, выполненные с незначительными ошибками, которые исправил человек.
- Частота вмешательства человека: доля запусков, где человеку пришлось вмешаться, одобрить или взять управление на себя.
- Режимы сбоев: категоризированные причины сбоев, такие как стены входа, изменения макета, всплывающие окна, CAPTCHA или неправильно прочитанные элементы.
Показатели эффективности
- Время на задачу для агента по сравнению с ручной базовой линией.
- Человеко-минуты на задачу, включая настройку, контроль и проверку.
- Стоимость выполненной задачи: использование модели, инфраструктура и человеческое время вместе.
- Пропускная способность: задач выполнено в день.
Показатели безопасности и качества
- Непреднамеренные действия: клики или отправки, которые агент сделал вне области задачи.
- Инциденты раскрытия данных: любой случай, когда конфиденциальные данные были введены или показаны там, где не должны были.
- Точность вывода на выборке, проверенной человеком.
Почему частота вмешательства — это ключевой показатель?
Агент, который требует контроля при каждом запуске, не сильно экономит. Человеко-минуты на задачу честно отражают это. Если человек тратит десять минут на выполнение задачи вручную и восемь минут на контроль агента, выгода невелика, независимо от процента успеха агента.
Отслеживайте вмешательства по причинам. Некоторые из них предусмотрены дизайном, например, одобрения перед отправкой формы, что является хорошей практикой для всего необратимого. Другие выявляют слабые места, которые можно исправить лучшими инструкциями или настройкой среды, например, предварительное закрытие баннеров cookie или предоставление прямых URL.
Как должен быть организован дашборд?
Три представления охватывают аудитории.
- Бизнес-представление: задачи, выполненные в этом месяце, сэкономленные человеко-часы по сравнению с базовой линией, стоимость выполненной задачи и тренд во времени.
- Операционное представление: проценты успеха, частичного успеха и сбоев по типу задачи, причины вмешательства и самые медленные задачи.
- Представление рисков: непреднамеренные действия, инциденты с данными, запрошенные и отклоненные одобрения.
Данные поступают из логов запуска агента: время начала и окончания, предпринятые шаги, скриншоты, вмешательства и результат. Храните логи в базе данных или таблице с ID запуска, затем подключите Looker Studio, Power BI или простой блокнот. Сохраняйте скриншоты для неудачных запусков; они объясняют сбои быстрее, чем любая строка лога.
Какие защитные меры должны быть приняты перед измерением?
Измерение бессмысленно, если агент работает небезопасно. Установите их в первую очередь:
- Запускайте агентов в изолированном профиле браузера или виртуальной машине только с тем доступом, который нужен для задачи.
- Используйте выделенные учетные записи с ограниченными правами, никогда не используйте личный логин администратора.
- Требуйте одобрения человека перед покупками, отправкой сообщений, публикацией, удалением или отправкой форм с личными данными.
- Относитесь к контенту страницы как к ненадежному: инструкции, найденные на веб-сайтах, не должны переопределять задачу.
- Ведите журнал аудита каждого действия.
Распространенные ошибки измерения
- Отчетность о проценте успеха на простых демо-задачах вместо реального набора задач.
- Игнорирование времени, которое люди тратят на написание инструкций и проверку результатов.
- Измерение один раз и предположение, что результаты сохраняются; изменения макета веб-сайта ломают агентов без предупреждения.
- Сравнение времени агента с завышенной ручной оценкой вместо замеренной базовой линии.
Как построить честную ручную базовую линию?
Базовые линии часто угадываются, и догадки обычно щедры к агенту. Замерьте ручную задачу секундомером, от трех до пяти раз, человеком, который обычно ее делает. Включите мелкие шаги, которые люди забывают: вход в систему, поиск правильного диапазона дат, переименование файла экспорта, вставка результатов в отчет.
Записывайте также процент ошибок ручного процесса. Люди совершают ошибки в повторяющейся экранной работе, и агент с чуть более низким процентом успеха все равно может производить меньше ошибок в целом, если он последователен. Сравнение ошибок агента с воображаемым идеальным человеком так же обманчиво, как сравнение скорости агента с воображаемым медленным человеком.
Повторяйте базовую линию раз в квартал. Персонал со временем становится быстрее в задаче, а инструменты меняют свои интерфейсы, поэтому годовая базовая линия больше не описывает реальную альтернативу.
Как Alien Road применяет агентов компьютерного использования
В типичном проекте этап обнаружения перечисляет повторяющиеся экранные задачи в маркетинговых операциях клиента и замеряет, сколько времени каждая занимает вручную. Мы выбираем задачи, где нет хорошего API, шаги стабильны, а ошибки обратимы, например, сбор отчетов или проверка целевых страниц.
Настройка запускает агента в изолированной среде с ограниченными учетными записями, письменными инструкциями к задаче и этапами одобрения перед любым необратимым действием. Каждый запуск логируется с результатом, причинами вмешательства и скриншотами сбоев.
Измерение сравнивает человеко-минуты на задачу до и после, проценты успеха и вмешательства, а также стоимость выполненной задачи. Ежемесячная отчетность показывает, какие задачи заслужили постоянное место, какие были возвращены к ручной работе или API-интеграции, и какие сбои были исправлены.
С чего начать на этой неделе
Выберите одну экранную задачу, которую ваша команда повторяет еженедельно, и замерьте ее вручную три раза. Напишите задачу как пошаговую инструкцию с ожидаемым результатом, запустите ее с агентом компьютерного использования пять раз в песочнице браузера и запишите успех, вмешательства и общие человеко-минуты. Сравните цифры, прежде чем решать, автоматизировать ли ее дальше.
Продолжайте читать: Агентство ИИ-маркетинга · ИИ-маркетинг