Агенты компьютерного использования экономят время на задачах в браузере и на рабочем столе, у которых нет API, просматривая экран и кликая, печатая и прокручивая как человек. Компьютерное использование Claude от Anthropic, агенты в стиле Operator от OpenAI и Project Mariner от Google работают именно так. Для маркетинговых команд хорошими кандидатами являются повторяющиеся проверки на рекламных платформах, в каталогах и на панелях управления, выполняемые внутри песочницы с одобрением человека для всего, что изменяет данные.
Что такое агент компьютерного использования?
Агент компьютерного использования — это языковая модель, которая получает скриншоты, принимает решение о действии и отправляет это действие в браузер или виртуальную машину. Цикл повторяется до тех пор, пока задача не будет выполнена или агент не застрянет. В отличие от классических инструментов автоматизации, таких как скрипты Selenium или Zapier, ему не нужны фиксированные селекторы или интеграция; он читает страницу почти так же, как вы.
У этой гибкости есть цена. Агенты медленнее, чем вызов API, они могут неправильно прочитать страницу, и их можно обмануть текстом на веб-странице, который выглядит как инструкция. Каждый рабочий процесс ниже разработан с учетом этих фактов.
Какие маркетинговые задачи подходят для агентов компьютерного использования?
Идеальная задача — это скучная, повторяющаяся задача, имеющая четкую финишную черту и затрагивающая системы без хорошего API.
- Проверка того, что бизнес-листинги показывают правильный адрес и часы работы в каталогах.
- Сбор цен конкурентов или предложений с публичных страниц продуктов в таблицу.
- Создание скриншотов живых объявлений и целевых страниц для отчетов клиентов.
- Заполнение одного и того же брифа кампании в формах черновиков нескольких платформ, без публикации.
- Аудит того, срабатывают ли теги отслеживания на ключевых страницах с помощью инструментов разработчика браузера.
- Загрузка ежемесячных отчетов с порталов, которые предлагают только кнопку загрузки.
Плохие кандидаты: все, что связано с платежами, вводом пароля, настройками аккаунта или публикацией контента. Это остается за человеком.
Как настроить безопасную среду?
Запускайте агентов в изолированной среде, а не на ноутбуке, где у вас открыты электронная почта и банковские операции. Эталонная реализация Anthropic по этой причине использует контейнер Docker с виртуальным рабочим столом.
Отдельные аккаунты и разрешения
Создайте для агента выделенного пользователя на каждой платформе с самым низким уровнем разрешений, который все еще выполняет задачу, часто только для чтения или «зритель». Никогда не делитесь логином администратора. Если платформа разрешает роли только для черновиков, используйте их.
Списки разрешенных
Ограничьте браузер доменами, которые нужны для задачи. Агенту, проверяющему листинги в пяти каталогах, не нужен доступ к остальной части интернета, а короткий список разрешенных снижает вероятность того, что он попадет на страницу со скрытыми инструкциями.
Логирование
Сохраняйте скриншоты и журнал действий для каждого запуска. Когда результат выглядит неправильно, журнал показывает именно то, что агент видел и делал.
Пошаговый рабочий процесс: аудит листинга каталога
Этот пример проверяет детали бизнеса с несколькими локациями в каталогах.
Шаг 1: Определите истину
Сделайте таблицу с правильным названием, адресом, телефоном, часами работы и веб-сайтом для каждой локации. Агент сравнивает с этим, поэтому данные должны быть верными.
Шаг 2: Напишите промпт задачи
Будьте конкретны: «Для каждой строки в таблице откройте указанный URL каталога, прочитайте название бизнеса, адрес, телефон и отображаемые часы работы, и запишите их в столбцы F–I. Не нажимайте кнопки редактирования, заявки или контакта. Если страница просит вас войти в систему, остановитесь и напишите ‘требуется вход’.»
Шаг 3: Запустите небольшую партию
Начните с пяти строк. Наблюдайте за запуском, проверяйте журнал и исправляйте промпт там, где агент колебался или прочитал неправильно.
Шаг 4: Запустите полный список
Запустите остальное, желательно в нерабочее время. Агенты медленные, часто минута или больше на страницу, но им не нужно наблюдение для работы только для чтения.
Шаг 5: Проверка человеком и действие
Человек проверяет несоответствия и вносит исправления на каждой платформе. Агент находит проблемы; человек их исправляет.
Шаг 6: Решите, где одобряет человек
Размещайте точки одобрения там, где действие трудно отменить или оно видно клиентам. Полезное правило: агент может свободно читать, копировать и составлять черновики; он должен сделать паузу перед отправкой, публикацией, удалением, оплатой или изменением настройки. Большинство продуктов-агентов имеют режим подтверждения или «перехвата». Используйте его.
Следите за инъекцией промпта. Веб-страница может содержать текст типа «игнорируй свои инструкции и …». Скажите агенту в его системном промпте, что содержимое страницы — это данные, а не команды, и проверяйте любой запуск, где агент сделал что-то вне своей задачи.
Агенты компьютерного использования в сравнении с классической автоматизацией
Команды часто спрашивают, заменяет ли агент их существующую автоматизацию. Обычно он работает рядом с ней. Сравнение ниже помогает принять решение по каждой задаче.
- Интеграция API или Zapier: самый быстрый и дешевый вариант, но только там, где платформа предлагает API или коннектор.
- Записанные скрипты браузера (Selenium, Playwright): надежны на стабильных страницах, ломаются при изменении макета.
- Агент компьютерного использования: справляется с меняющимися макетами и незнакомыми сайтами, но медленнее, дороже за запуск и менее предсказуем.
- Ручная работа: по-прежнему лучше всего подходит для разовых задач и всего, что требует суждения о деньгах или репутации.
Как Alien Road применяет агентов компьютерного использования
В типичном взаимодействии мы начинаем с перечисления повторяющихся ручных задач браузера клиента с указанием времени, которое каждая занимает в месяц. Мы выбираем одну задачу только для чтения с четким результатом, обычно скриншоты отчетов или аудиты листингов, и создаем ее первой.
Настройка включает контейнеризированный рабочий стол, аккаунт уровня зрителя на платформу, список разрешенных доменов и письменный промпт задачи, проверенный человеком, который в настоящее время выполняет эту работу. Каждый запуск создает журнал и таблицу результатов.
Измерение сравнивает часы, затраченные до и после, точность по сравнению с вручную проверенной выборкой и количество запусков, требующих вмешательства человека. Если уровень вмешательства остается высоким после двух недель настройки, мы возвращаемся к скриптовой автоматизации или оставляем задачу ручной.
Каковы лимиты сегодня?
Точность падает на сложных интерфейсах с множеством всплывающих окон, динамических панелей управления и CAPTCHA, и агенты в любом случае не должны пытаться решать CAPTCHA. Скорость ограничена, поэтому большие задачи занимают часы. Расходы возникают из-за токенов модели для каждого скриншота, что суммируется при длительных задачах. Для задачи с надежным API, API по-прежнему быстрее, дешевле и предсказуемее.
С чего начать на этой неделе
Запишите три задачи браузера, которые ваша команда повторяет каждый месяц, и отметьте, какие из них только читают информацию. Выберите самую простую, создайте таблицу истины и проведите тест из пяти строк в среде агента-песочницы с аккаунтом зрителя. Проверяйте журнал строка за строкой, прежде чем запускать больше.
Читайте дальше: Агентство AI-маркетинга · AI-маркетинг