Агенты по использованию компьютера — это ИИ-системы, которые управляют компьютером так же, как человек: читают экран, перемещают курсор, кликают и печатают. Для B2B-маркетинговых команд они полезны для повторяющихся задач в браузере, для которых нет чистого API: сбор данных с порталов, заполнение форм в инструментах без интеграций или проверка страниц на наличие ошибок. Им требуется контроль, ограниченные разрешения и задачи, где ошибку легко исправить.
На момент написания статьи несколько ИИ-компаний предлагают такую возможность. Anthropic представила использование компьютера для Claude, OpenAI выпустила агента, который работает в собственном браузере внутри ChatGPT, а Google продемонстрировала аналогичных браузерных агентов. Детали часто меняются, но основная идея стабильна: модель получает скриншоты, принимает решение о действии и повторяет его до тех пор, пока задача не будет выполнена или она не застрянет.
Чем агенты по использованию компьютера отличаются от другой автоматизации?
Классические инструменты автоматизации, такие как Zapier или n8n, соединяют приложения через API. Они быстрые и надежные, но только там, где существует интеграция. Инструменты роботизированной автоматизации процессов (RPA), такие как UiPath, записывают фиксированные пути кликов, которые ломаются при изменении макета страницы.
Агенты по использованию компьютера находятся посередине. Им не нужен API, и, поскольку они читают экран, они лучше справляются с небольшими изменениями макета, чем записанные скрипты. Взамен они медленнее, стоят дороже за выполнение и совершают ошибки, которые скрипт бы не сделал, например, кликают не на ту кнопку, когда две выглядят одинаково.
Какие B2B-маркетинговые задачи подходят для агента?
Лучшие кандидаты — это задачи, которые являются утомительными, браузерными, низкорисковыми и трудноавтоматизируемыми другими способами.
- Сбор цен, списков функций или дат мероприятий с сайтов конкурентов в таблицу.
- Экспорт отчетов из рекламных или аналитических платформ, в которых отсутствует удобный коннектор для экспорта.
- Проверка целевых страниц на наличие сломанных форм, отсутствующих тегов отслеживания или неправильных цен.
- Загрузка активов или обновление списков на партнерских порталах, в каталогах и на маркетплейсах без API.
- Подготовка черновиков исследований путем посещения списка сайтов компаний и обобщения того, что предлагает каждая из них.
Задачи, связанные с отправкой сообщений потенциальным клиентам, расходованием рекламного бюджета, изменением контента на живом сайте или вводом платежных данных, должны оставаться за людьми или, по крайней мере, требовать явного подтверждения на каждом шаге.
Как настроить безопасный пилотный проект?
Относитесь к агенту как к новому временному сотруднику с ограниченным доступом.
- Выберите одну задачу и запишите шаги так, как вы бы сделали это для нового сотрудника.
- Запускайте агента в отдельном профиле браузера или виртуальной машине, а не на ноутбуке, где хранятся все ваши логины.
- Создайте выделенную учетную запись с правами только для чтения или ограниченными разрешениями для каждого инструмента, к которому прикасается агент.
- Наблюдайте за первыми десятью запусками вживую и отмечайте, где он колеблется или ошибается.
- Добавьте контрольные точки, где агент должен остановиться и спросить, прежде чем делать что-либо, что нельзя отменить.
- Логируйте каждый запуск: задача, длительность, результат и необходимые исправления.
Промпт-инъекция — основной риск безопасности
Агента, читающего веб-страницы, можно обмануть текстом, написанным для него, например, скрытыми инструкциями на странице, приказывающими ему скачать файл или раскрыть данные. Поставщики создают защиту, но ни одна из них не идеальна. Держите агента подальше от конфиденциальных учетных записей и никогда не позволяйте ему действовать согласно инструкциям, найденным на посещаемых им страницах.
Как следует проверять результаты работы агента?
Проверка зависит от того, что произвел агент. Сбор данных требует выборочной проверки по источнику: откройте пять строк наугад и сравните. Аудиты требуют повторного взгляда на каждую помеченную проблему, так как агенты иногда сообщают о проблемах, которых не существует. Любое изменение, внесенное в инструмент, должно отображаться в истории изменений этого инструмента, чтобы человек мог его подтвердить.
Помогает простое правило: агент готовит, человек одобряет. Это сохраняет ответственность там, где она должна быть, и ловит ошибки до того, как они дойдут до клиента или потенциального клиента.
Сколько это стоит и как измерить ценность?
Расходы складываются из использования модели, что выше, чем для чата, так как каждый шаг отправляет скриншоты, и из времени, затраченного на контроль. Для многих задач на момент написания статьи агент все еще работает медленнее, чем квалифицированный человек, но может работать без присмотра, пока этот человек делает что-то другое.
Измеряйте четыре вещи во время пилота:
- Минуты человеческого времени на выполненную задачу, включая контроль и исправление.
- Уровень успеха: доля запусков, завершенных без ручного вмешательства.
- Уровень ошибок, обнаруженных при проверке.
- Стоимость модели за запуск.
Если человеческое время явно сокращается, а уровень ошибок остается низким, масштабируйте задачу. Если вы тратите на наблюдение за агентом столько же времени, сколько на выполнение работы, задача не готова или инструмент не готов.
Когда агент по использованию компьютера — неправильный выбор?
Если существует правильная интеграция, используйте ее. Получение данных Google Ads через официальный коннектор в Looker Studio быстрее, дешевле и надежнее, чем агент, кликающий по интерфейсу. Агенты также испытывают трудности с CAPTCHA, двухфакторными запросами и сайтами, которые блокируют автоматизированный доступ, а обход этих защит не является ни уместным, ни разрешенным многими условиями обслуживания.
Проверяйте условия каждой платформы, прежде чем позволять агенту работать с ней. Некоторые прямо запрещают автоматизированный доступ.
Как Alien Road применяет агентов по использованию компьютера
В типичном проекте открытие — это инвентаризация задач. Мы садимся с маркетинговой командой клиента, перечисляем браузерные задачи, которые отнимают время каждую неделю, и отмечаем, у каких из них уже есть API-маршрут. Только остальные являются кандидатами для агента.
Настройка происходит в изолированной среде с выделенными, ограниченными учетными записями. Мы пишем инструкции к задачам в виде списков шагов с явными точками остановки, проводим контролируемые испытания и документируем, где требуется одобрение человека. Ничто, ориентированное на клиента или связанное с бюджетом, не выполняется без подтверждения человеком.
Измерение следует четырем пилотным метрикам. Ежемесячные отчеты показывают, какие задачи перешли к агенту, сколько контроля им все еще требуется и какие вернулись к людям или к обычной интеграции, потому что агент был недостаточно надежен.
С чего начать на этой неделе
Перечислите каждую задачу, которую ваша команда выполняет в браузере более двух раз в неделю и которая включает копирование информации с одного экрана на другой. Вычеркните те, у которых есть полезная интеграция. Выберите самую безопасную оставшуюся задачу, например, сбор публичной информации о конкурентах, и запускайте контролируемого агента для нее в отдельном профиле браузера в течение пяти дней.
Читайте дальше: Агентство ИИ-маркетинга · ИИ-маркетинг