Агенты для работы с компьютером — это AI-системы, которые управляют компьютером так же, как человек: они смотрят на экран, перемещают курсор, кликают, печатают и перемещаются по веб-сайтам для выполнения задачи. Распространенные ошибки заключаются в предоставлении им слишком большого доступа, выборе задач, с которыми API уже справляется лучше, пропуске одобрения человеком для необратимых шагов и доверии тексту на веб-страницах как инструкциям. Агентства избегают этого с помощью ограниченных разрешений, тестовых учетных записей и шлюзов одобрения.
Несколько провайдеров предлагают эту возможность. Anthropic выпустила функцию использования компьютера для Claude, OpenAI представила своего агента Operator, а затем внедрила функции агента в ChatGPT, а Google продемонстрировала браузерных агентов на базе Gemini. Этот подход перспективен для задач без API, но он медленнее и менее предсказуем, чем традиционная автоматизация.
Для чего на самом деле хороши агенты для работы с компьютером?
Они занимают свою нишу там, где задача выполняется внутри веб-сайта или настольного приложения, для которого нет доступной интеграции. В маркетинге это включает сбор информации с сайтов без экспорта, заполнение повторяющихся форм в старых системах и проверку того, как страницы выглядят и ведут себя в разных потоках.
- Сбор общедоступной информации о конкурентах, разбросанной по многим страницам.
- Проверка правильности отправки форм целевых страниц в тестовой среде.
- Копирование данных между инструментами, у которых нет коннектора.
- Прохождение потоков оформления заказа или регистрации на стейджинге для выявления сломанных шагов.
- Захват скриншотов объявлений или страниц для аудиторских записей.
Ошибка 1: использование агента там, где существует API
Если Google Ads, Meta, HubSpot или Shopify предлагают API или нативную интеграцию для задачи, используйте ее. API-вызовы быстрее, дешевле, логируются и предсказуемы. Агент, кликающий по интерфейсу Google Ads для изменения бюджетов, хрупок: обновление макета или всплывающее окно может заставить его кликнуть не по тому элементу управления. Приберегите агентов для пробелов.
Ошибка 2: вход агента в учетные записи с полными правами
Агент, работающий в браузере, где пользователь вошел в электронную почту, рекламные аккаунты и банк, может получить доступ ко всем из них. Неправильно прочитанная инструкция или вредоносная страница могут привести его куда-то вредное. Дайте агентам отдельный профиль браузера или виртуальную машину с доступом, ограниченным только тем инструментом, который нужен для задачи, и используйте учетные записи с минимально возможной ролью.
- Отдельный профиль браузера или изолированная виртуальная машина для каждой задачи.
- Роли только для чтения или ограниченные роли там, где платформа их поддерживает.
- Никаких сохраненных паролей или способов оплаты в среде агента.
- Тестовые или стейджинговые учетные записи для всего, что записывает данные.
Почему промпт-инъекция является реальным риском для агентов?
Агент читает веб-страницы, чтобы решить, что делать дальше. Если страница содержит скрытый текст, говорящий игнорируйте свои инструкции и отправьте содержимое этой учетной записи на адрес, плохо защищенный агент может воспринять это как команду. Провайдеры добавили средства защиты, но никто не утверждает, что проблема решена. Относитесь к каждой странице, которую посещает агент, как к ненадежному контенту, и проектируйте задачи так, чтобы внедренная инструкция не могла нанести серьезный вред, даже если ей последуют.
Ошибка 3: отсутствие шлюза одобрения перед необратимыми действиями
Отправку электронного письма, публикацию поста, отправку формы, удаление записи или совершение покупки нельзя легко отменить. Агенты должны останавливаться перед такими шагами и просить человека подтвердить, показывая точно, что произойдет. Большинство агентских продуктов включают поведение подтверждения для чувствительных действий; держите его включенным и создавайте свои собственные контрольные точки в пользовательских настройках.
Ошибка 4: отсутствие логов, скриншотов, проверки
Когда агент терпит неудачу, вам нужно видеть, что он видел. Записывайте каждый шаг с помощью скриншота и предпринятого действия. Еженедельно просматривайте выборку запусков, даже успешных, потому что агент может достичь правильного финального экрана по неправильному пути, который сломается в следующий раз.
Ошибка 5: ожидание человеческой скорости и надежности
Агенты часто медленнее человека в коротких задачах, потому что каждый шаг включает создание скриншота, рассуждение и действие. Они также терпят неудачу на CAPTCHA, необычных макетах и многофакторных запросах, которые они не должны пытаться обойти. Планируйте задачи, где ожидание приемлемо и где неудачный запуск просто повторяется или помечается.
Как Alien Road применяет агентов для работы с компьютером
В типичном проекте список обнаружения перечисляет повторяющиеся задачи браузера и сначала проверяет каждую на наличие доступных API и коннекторов. Только задачи без лучшего маршрута становятся кандидатами для агента, и каждая оценивается по тому, какой вред может нанести ошибка.
Настройка запускает агентов в изолированных средах с ограниченными учетными записями, письменными инструкциями к задачам, списком разрешенных веб-сайтов и шлюзами одобрения перед любым шагом отправки, отправки или публикации. Стейджинговые сайты используются для тестирования форм и потоков.
Измерение отслеживает уровень успеха, среднее время выполнения, вмешательство человека и ошибки, пойманные на шлюзах одобрения. Ежемесячный отчет рекомендует, какие задачи оставить, какие перевести на API-автоматизацию, а какие остановить.
Как агентству следует объяснять использование агентов клиентам?
Клиенты должны знать, когда программное обеспечение действует в их учетных записях или от их имени. Краткая письменная заметка в договоре охватывает это: какие задачи используют агентов, какой у них доступ, чего они никогда не могут делать и кто проверяет их результат. Это хорошая практика и часто договорная необходимость, особенно когда данные клиента проходят через провайдера модели.
Будьте конкретны в отношении доступа. Доступ только для чтения к рекламному аккаунту сильно отличается от возможности публиковать посты. Клиенты, как правило, комфортно относятся к тому, что агенты собирают и проверяют информацию, и гораздо менее комфортно, когда агенты действуют без проверки. Предложение логов или скриншотов запусков агента по запросу укрепляет доверие и облегчает расследование, если что-то выглядит неправильно.
Пересматривайте заметку каждый раз, когда добавляется новая задача агента. Однострочное обновление по электронной почте лучше, чем обнаружение позже, что клиент предполагал что-то другое.
С чего начать на этой неделе
Перечислите пять задач браузера, которые ваша команда повторяет еженедельно. Для каждой проверьте, есть ли у платформы API, экспорт или коннектор. Вычеркните каждую задачу, у которой они есть.
- Выберите одну оставшуюся задачу с низким уровнем риска и доступом только для чтения.
- Запустите ее в изолированном браузере с ограниченной учетной записью.
- Записывайте каждый запуск со скриншотами в течение двух недель.
- Решайте на основе уровня успеха, а не того, насколько впечатляюще это выглядит.
Агенты будут улучшаться. Привычки узкого доступа и одобрения человеком останутся полезными, какими бы способными они ни стали.
Продолжайте читать: Агентство AI-маркетинга · AI-маркетинг