Измерение ChatGPT в маркетинговой команде означает отслеживание четырех показателей по сравнению с базовым уровнем: внедрение, время, сэкономленное на конкретных задачах, качество результатов и затраты, плюс линия риска для ошибок и инцидентов с данными. Количество лицензий и объемы сообщений сами по себе ничего не доказывают. Краткий ежемесячный дашборд, связывающий использование ChatGPT с конкретными рабочими процессами, дает руководству повод продолжать платить или четкую причину остановиться.
ChatGPT, созданный OpenAI, доступен для бизнеса через планы Team, Enterprise и Edu, с административным контролем, защитой данных и функциями рабочего пространства, такими как пользовательские GPT, проекты и коннекторы к таким инструментам, как Google Drive и SharePoint. Рабочие пространства Enterprise включают аналитику использования для администраторов. Названия планов и функции меняются, поэтому проверьте, что включает ваше рабочее пространство, прежде чем проектировать измерение.
Почему сложно измерить ChatGPT?
ChatGPT — это общий инструмент, используемый для многих мелких задач. Никто не записывает десять минут, сэкономленных на переписывании электронного письма. Ценность реальна, но она разрознена и скрыта внутри другой работы.
Решение состоит в том, чтобы перестать измерять ChatGPT в целом и измерять его в рамках нескольких конкретных рабочих процессов. Выберите задачи, которые повторяются, имеют четкий результат и занимают измеримое время. Затем сравните их до и после.
Какие рабочие процессы следует измерять?
- Первые черновики постов в блоге, описаний продуктов или рекламных текстов
- Сводки исследований, транскрипты звонков или страницы конкурентов
- Комментарии к ежемесячным отчетам о кампаниях
- Варианты постов для социальных сетей на основе одного брифа
- Черновики переводов, проверенные носителем языка
- Написание брифов для дизайнеров и видеоредакторов
Достаточно трех-пяти рабочих процессов. У каждого должен быть владелец, который согласен отслеживать время для выборки задач в течение месяца.
Какие KPI доказывают ценность?
Внедрение
Еженедельные активные пользователи как доля лицензий, из административной аналитики, где это доступно. Низкий уровень внедрения обычно означает, что людям не хватает обучения или утвержденных вариантов использования, а не то, что инструмент бесполезен.
Сэкономленное время
Для каждого измеренного рабочего процесса записывайте время на задачу с ChatGPT и без него на выборке. Достаточно простого листа с задачей, датой, минутами и методом. Самостоятельно сообщаемое время несовершенно, но последовательное отслеживание в течение месяца дает полезную оценку.
Качество
Сэкономленное время бесполезно, если качество падает. Используйте показатель, который уже есть у каждого рабочего процесса: раунды правок редактора для контента, отзывы клиентов для отчетов, CTR для рекламных текстов, количество фактических ошибок для сводок. Сравните результаты, полученные с помощью ChatGPT, с базовым уровнем.
Затраты
Стоимость лицензии на активного пользователя в месяц плюс любое использование API. Сравните это со стоимостью сэкономленных часов по загруженной почасовой ставке. Будьте консервативны: учитывайте только время, сэкономленное на измеренных рабочих процессах, а не догадки обо всем остальном.
Риск
Отслеживайте инциденты: фактические ошибки, которые дошли до клиента или общественности, конфиденциальные данные, вставленные там, где политика это запрещает, результаты, которые слишком близко скопировали конкурента. Снижающееся или нулевое количество — это результат, о котором стоит отчитываться.
Как должен выглядеть дашборд?
Одна страница, обновляемая ежемесячно. Руководство должно понять его менее чем за две минуты.
- Активные пользователи и доля лицензий с трехмесячным трендом
- Сэкономленные часы в месяц по измеренным рабочим процессам с указанием метода
- Сравнение качества по рабочим процессам: лучше, так же или хуже, чем базовый уровень
- Затраты на активного пользователя и оценочная стоимость сэкономленных часов
- Зарегистрированные инциденты и принятые меры
- Три лучших новых варианта использования, которые команды обнаружили в этом месяце
Создайте его в электронной таблице или Looker Studio. Примечание о методе важно: четко укажите, что сэкономленное время получено из выборочных самоотчетов. Честность в отношении метода делает цифры более достоверными, а не менее.
Как повысить внедрение, не принуждая к нему?
Внедрение растет, когда люди видят, как коллега экономит время на задаче, которую они тоже выполняют. Короткие внутренние демонстрации, общая библиотека протестированных промптов и пользовательские GPT для повторяющихся работ помогают больше, чем приказ.
- Проведите 30-минутную сессию для каждой команды по двум реальным задачам
- Ведите общую библиотеку промптов с примерами хороших результатов
- Создавайте пользовательские GPT или проекты с загруженными рекомендациями по бренду и шаблонами
- Опубликуйте краткую политику о том, какие данные можно, а какие нельзя вводить
- Назначьте одного чемпиона в каждой команде, который собирает вопросы
Как Alien Road применяет измерение ChatGPT
В типичном взаимодействии с маркетинговой командой мы проводим двухнедельное исследование: интервью для составления списка повторяющихся задач, обзор текущего плана и настроек ChatGPT, а также проверка политики данных. Вместе с клиентом мы выбираем от трех до пяти рабочих процессов и настраиваем лист отслеживания.
Настройка включает обучающие сессии, библиотеку промптов и, где полезно, пользовательские GPT, загруженные рекомендациями по бренду. В течение первого месяца владельцы задач записывают время и качество для выборок. Затем мы строим дашборд и представляем его вместе с руководителем маркетинга клиента. Например, если составление комментариев к отчетам экономит время, но увеличивает количество раундов правок, следующим шагом будут лучшие шаблоны и исходные данные, а не больше лицензий.
Каких ошибок измерения следует избегать?
Самая распространенная ошибка — сообщать количество сообщений как ценность. Команда, которая отправляет тысячи промптов в месяц, может экономить много времени или тратить его впустую в долгих, нецеленаправленных разговорах. Объем ничего не говорит о том, что происходит на самом деле.
- Считать лицензии как внедрение, когда многие места могут быть неиспользованными
- Умножать одну экономию времени на каждую задачу, которую выполняет команда
- Сравнивать новый рабочий процесс с базовым уровнем из другого сезона или другой рабочей нагрузки
- Игнорировать время на проверку и исправление в рабочем процессе с поддержкой
- Пропускать журнал инцидентов, потому что пока ничего плохого не произошло
Пересматривайте метод дашборда каждый квартал. По мере того как команда лучше осваивает ChatGPT, сам базовый уровень меняется, и старые сравнения могут переоценивать или недооценивать текущую ценность. Обновляйте выборки, а не повторяйте цифры первого месяца.
Наконец, включите качественную строку. Короткая цитата члена команды о том, что изменилось в его неделе, часто объясняет цифры лучше, чем еще один график.
С чего начать на этой неделе
Выберите одну задачу, которую ваша команда повторяет как минимум еженедельно, например, написание вариантов рекламных текстов. Попросите двух человек записать минуты и раунды правок для пяти задач без ChatGPT и пяти с ним. Поместите результаты в простую таблицу. Этой небольшой выборки достаточно, чтобы решить, заслуживает ли рабочий процесс более широкого внедрения и места на дашборде. Маленькие, честные цифры, повторяющиеся каждый месяц, вызывают больше доверия, чем одна впечатляющая оценка.
Читайте дальше: ИИ-маркетинговое агентство · AI Marketing