Агенты компьютерного использования для маркетологов: что они делают и где применяются

Модель получает скриншот экрана, решает, что делать дальше, и отправляет действие, например «нажать в этой позиции» или «ввести этот текст». Затем следует новый скриншот, и цикл повторяется, пока задача не будет выполнена или агент не сдастся.

Поскольку агент работает через визуальный интерфейс, он в принципе может использовать любое программное обеспечение, которое может использовать человек. В этом и заключается привлекательность. Некоторые продукты пропускают скриншоты на веб-страницах и считывают структуру страницы напрямую, что быстрее и точнее, но идея та же: агент действует через интерфейс, который видит человек. В этом и слабость: интерфейсы меняются, появляются всплывающие окна, и кнопка, сдвинутая на десять пикселей, может нарушить шаг, который работал вчера.

Лучшее применение — это повторяющиеся задачи в инструментах без хороших интеграций, где ошибку легко заметить и дешево исправить.

• Сбор показателей из панелей управления, не имеющих экспорта или API
• Проверка того, что реклама, целевые страницы и теги отслеживания отображаются правильно на многих страницах
• Заполнение бизнес-каталогов и поддержание согласованности данных NAP для локального SEO
• Исследование публичных страниц конкурентов, таблиц цен и списков продуктов
• Тестирование форм веб-сайтов и процессов оформления заказа в промежуточных средах
• Создание скриншотов результатов поиска или профилей в социальных сетях для отчетов

Интеграция API взаимодействует с программным обеспечением напрямую, со структурированными данными, и является быстрой и предсказуемой. Компьютерное использование имитирует человека и по сравнению с этим медленно, каждый шаг занимает секунды.

Используйте API или инструмент, такой как Zapier или Make, если он существует. Многие платформы, которые выглядят закрытыми, имеют скрытую функцию экспорта или API отчетности в своих настройках, поэтому проверьте документацию, прежде чем предполагать, что экран — единственный способ доступа. Компьютерное использование заполняет пробелы: устаревшие системы, небольшие поставщики без интеграций и задачи, охватывающие несколько сайтов с разными макетами. Для задачи, которую вы выполняете каждый час для десяти тысяч элементов, это неподходящий инструмент.

Точность снижается при выполнении длительных задач. Каждый клик несет определенную вероятность ошибки, и ошибки накапливаются. Агенты могут неправильно прочитать мелкий текст, нажать не на ту строку в плотной таблице или заполнить поле правильным значением не в том месте.

Они также испытывают трудности с вещами, созданными для остановки ботов. CAPTCHA, необычные процессы входа в систему и двухфакторная аутентификация обычно требуют участия человека, и многие провайдеры предписывают своим агентам вообще не обходить эти проверки. Сайты также могут запрещать автоматизированный доступ в своих условиях обслуживания, что стоит проверить, прежде чем автоматизировать что-либо на стороннем сайте.

Типичные точки сбоя

• Баннеры cookie и всплывающие окна, закрывающие страницу
• Бесконечная прокрутка и ленивая загрузка, скрывающие контент
• Выбор даты и пользовательские выпадающие списки
• Тайм-ауты сессии во время длительных задач
• Страницы на языке, который инструкции не ожидали

Агенты компьютерного использования видят все, что есть на экране, и могут делать все, что может делать вошедший в систему пользователь. Это делает их одновременно мощными и рискованными.

Запускайте их в отдельном профиле браузера или виртуальной машине только с теми аккаунтами, которые необходимы для задачи. Не позволяйте им использовать браузер, в котором выполнен вход в вашу электронную почту, банковские сервисы и панели администратора. Никогда не давайте им пароли в открытом виде; войдите сами, а затем передайте управление. Следите за инъекциями промптов, когда веб-страница содержит скрытые инструкции, направленные на агента, и держите человека в курсе для любого действия, которое отправляет, публикует, покупает или удаляет.

Выберите одну задачу с четким завершением, известным правильным результатом и низкой стоимостью ошибки. Сбор публичных цен с пяти сайтов конкурентов в таблицу — хороший пример.

• Напишите задачу в виде пронумерованных шагов, как вы бы сделали это для нового стажера
• Запустите ее, наблюдая первые несколько раз
• Сравните результат с ручной версией и посчитайте ошибки
• Запишите время, затраченное агентом и человеком
• Решите, оправдывает ли экономия время на проверку

В типичном пилотном проекте агент медленнее человека при выполнении задачи, но работает в фоновом режиме, поэтому настоящий вопрос заключается в том, занимает ли проверка его работы меньше времени, чем выполнение задачи самостоятельно.