Измерение Shopify Sidekick и Shopify Magic сводится к двум вопросам: экономят ли они время сотрудников и работает ли контент, в создании которого они помогают, по крайней мере так же хорошо, как раньше? KPI, которые отвечают на эти вопросы, — это время на задачу, уровень редактирования черновиков ИИ, внедрение в команде и показатели результатов, такие как конверсия страниц товаров, рейтинг кликов по электронной почте и органический трафик для страниц, созданных с помощью ИИ.
Sidekick — это ИИ-помощник в административной панели Shopify; Shopify Magic охватывает встроенные функции, такие как создание описаний товаров, текстов электронных писем и редактирование изображений. Поскольку на момент написания они включены в планы Shopify, нет лицензионного сбора, который нужно оправдывать. Это позволяет легко пропустить измерение, но затраты реальны: время сотрудников, потраченное на проверку, и риск того, что более слабый контент дойдет до клиентов.
Зачем измерять бесплатные функции?
Бесплатные функции по-прежнему используют время людей и формируют то, что видят клиенты. Магазин, который публикует 300 сгенерированных описаний, не проверяя, конвертируются ли они, может медленно терять продажи и никогда этого не заметить. Измерение также помогает решить, куда инвестировать сэкономленное время: если команда тратит на четыре часа в неделю меньше на тексты, куда ушли эти часы?
Какие KPI эффективности важны?
Начните со времени, потому что именно там ценность обычно проявляется в первую очередь.
- Время на товарную позицию, от атрибутов до опубликованной страницы.
- Время на кампанию по электронной почте, от брифа до запланированной отправки.
- Время на редактирование изображения для удаления или замены фона.
- Количество вопросов по поддержке или инструкциям, на которые ответил Sidekick вместо коллеги или справочного центра.
Измерьте базовый уровень за две недели до внедрения, затем повторите через месяц. Записывайте тип задачи, продукт или кампанию, время начала и окончания, а также использовался ли ИИ. Четырех столбцов достаточно, и простота ведения журнала — это то, что заставляет людей его заполнять. Самостоятельно заполняемые журналы времени в общей таблице вполне подходят для небольшой команды.
Уровень редактирования
Уровень редактирования — это доля текста, созданного ИИ, которую рецензенты меняют перед публикацией. Низкий уровень означает, что черновики пригодны для использования; высокий уровень означает, что функция экономит мало времени. Отслеживайте это по типу контента, потому что описания и тексты электронных писем часто ведут себя по-разному.
Какие KPI результатов доказывают, что контент работает?
Эффективность мало что значит, если результаты падают. Сравните контент, созданный с помощью ИИ, с контентом, написанным человеком, по следующим показателям:
- Коэффициент конверсии страницы товара и коэффициент добавления в корзину из Shopify Analytics.
- Органические сеансы и показы для страниц товаров из Google Search Console.
- Рейтинг открытий и кликов по электронной почте в Shopify Email или вашей платформе электронной почты.
- Уровень возвратов и вопросы клиентов о товарах, которые могут возрасти, если описания неточны.
Последний пункт часто забывают. Описание, которое преувеличивает качество материала или размер, может увеличить количество возвратов. Помечайте возвраты кодом причины, чтобы вы могли видеть закономерности.
Как честно протестировать ИИ-контент?
Простое контролируемое сравнение работает для большинства магазинов.
- Выберите две группы похожих товаров, подобранных по цене, трафику и категории.
- Дайте одной группе описания, созданные с помощью ИИ (сгенерированные и отредактированные), а другую оставьте как есть.
- Оставьте другие переменные без изменений на четыре-шесть недель: цена, изображения, реклама.
- Сравните конверсию, добавление в корзину и органические сеансы между группами.
Для электронной почты Shopify Email и большинство инструментов электронной почты позволяют проводить A/B-тестирование тем писем. Протестируйте строку, написанную человеком, против сгенерированной при одной и той же отправке.
Сезонность может исказить результаты, поэтому избегайте начала сравнения непосредственно перед периодом крупных распродаж, таких как «Черная пятница», когда трафик и намерения резко меняются для каждого товара.
Небольшие магазины не достигнут статистической значимости в каждом тесте. Это нормально; ищите последовательное направление в нескольких тестах, а не один решающий результат.
Как выглядит полезная панель мониторинга?
Ограничьтесь одной страницей с тремя разделами:
- Эффективность: время на задачу, уровень редактирования, количество активов, созданных с помощью ИИ в этом месяце.
- Результаты: конверсия и органические показатели для страниц, созданных с помощью ИИ, по сравнению с контрольной группой.
- Внедрение: какие члены команды используют функции и для чего.
Собственные отчеты Shopify охватывают продажи и конверсию; Search Console охватывает органический поиск; электронная таблица охватывает журналы времени. Looker Studio может объединить их, если вам нужен один вид, но общей таблицы, обновляемой ежемесячно, часто бывает достаточно.
Что делать с результатами?
Действуйте в соответствии с ними. Если уровень редактирования описаний высок, улучшите входные данные: заполните атрибуты товара, добавьте краткую заметку о голосе бренда к вашим промптам или оставьте ключевые товары написанными человеком. Если страницы, созданные с помощью ИИ, конвертируются так же хорошо, как и другие, и занимают меньше времени, распространите этот подход на остальную часть каталога. Если причины возвратов указывают на неточные описания, ужесточите проверку, прежде чем делать что-либо еще.
Избегайте показателей тщеславия
Подсчет количества сгенерированных описаний или заданных вопросов Sidekick сам по себе мало что говорит. Это показатели активности. Магазин может сгенерировать 500 описаний и одновременно потерять конверсию. Всегда сочетайте подсчет активности с измерением времени и измерением результата, чтобы отчет показывал, принесла ли активность что-то полезное.
Пересматривайте список KPI каждый квартал. Shopify часто обновляет эти функции, и функция, которая была слабой полгода назад, теперь может быть полезной, или наоборот.
Как Alien Road применяет измерение Shopify Sidekick и Shopify Magic
В типичном проекте по электронной коммерции этап обнаружения фиксирует базовое время для задач по листингу, электронной почте и изображениям, а также извлекает текущие данные о конверсии и органические данные для групп товаров, которые мы планируем сравнить.
Настройка определяет группы сравнения, контрольный список проверки и журнал уровня редактирования. Мы согласовываем с клиентом, какие страницы останутся написанными человеком, обычно это бестселлеры и ключевые коллекции, чтобы тест не подвергал риску самый важный доход.
Измерение проводится ежемесячно на панели из трех разделов. Отчеты указывают на сэкономленное время, тенденцию уровня редактирования и на то, различаются ли показатели результатов между группами, а также рекомендуют, где расширить или сократить использование ИИ.
С чего начать на этой неделе
Попросите всех, кто пишет описания товаров или тексты электронных писем, записывать свое время на задачу в течение следующих десяти рабочих дней. Без этой базовой линии любое последующее утверждение об экономии времени будет догадкой. Пока они записывают, выберите две подходящие группы товаров для вашего первого сравнения.
Продолжайте читать: Электронная коммерция · Электронная коммерция