Рекомендации товаров с помощью AI измеряются правильно путем сравнения покупателей, которые их видят, с похожими покупателями, которые их не видят, а затем анализа дохода на посетителя, коэффициента конверсии, среднего чека и маржи. Клики по виджетам и показатели “влияния на доход” от поставщиков завышают результат, потому что многие из этих покупателей купили бы товар в любом случае. Хорошая панель управления показывает реальный прирост, по каждому слоту, наряду с охватом каталога и проверками качества.
Почему цифры поставщиков вводят в заблуждение?
Большинство инструментов рекомендаций сообщают о “доходе от рекомендаций” или “влиянии на доход”. Обычно это учитывает любой заказ, который включал товар, на который нажали в виджете, иногда в течение длительного периода. Покупатель, который нашел бы тот же товар через поиск, все равно учитывается.
Эти цифры полезны для сравнения слотов внутри одного инструмента. Они не являются доказательством добавочной стоимости. Для этого вам нужна контрольная группа.
Что такое контрольный тест и как его провести?
Контрольный тест случайным образом разделяет трафик. Одна группа видит рекомендации как обычно; другая видит альтернативу, например, отсутствие блока или простой список бестселлеров. Через достаточное время вы сравниваете результаты между группами.
- Выберите слот для тестирования, например, “похожие товары” на странице товара
- Разделите посетителей случайным образом, часто 90/10 или 80/20, чтобы ограничить потерю дохода
- Сохраняйте разделение стабильным для каждого посетителя на протяжении сессий
- Проводите тест не менее двух полных недель, дольше для магазинов с низким трафиком, чтобы охватить закономерности по дням недели
- Сравните доход на посетителя, коэффициент конверсии и средний чек
- Проверьте статистическую значимость перед принятием решения
Многие платформы, включая Dynamic Yield, Bloomreach и Vertex AI Search for commerce, предлагают встроенные инструменты для экспериментов. В небольших магазинах прекращение работы Google Optimize подтолкнуло команды к использованию таких инструментов, как VWO, Optimizely или встроенных A/B функций платформы.
Какие KPI наиболее важны?
Группируйте их по бизнес-эффекту, вовлеченности, состоянию каталога и качеству.
Бизнес-эффект
- Доход на посетителя: лучшее сводное резюме прироста
- Коэффициент конверсии
- Средний чек и количество товаров в заказе
- Валовая маржа на заказ, так как дешевые дополнения могут увеличить средний чек и снизить прибыль
- Коэффициент повторных покупок за 60–90 дней для персонализированных слотов
Вовлеченность
- CTR блока рекомендаций
- Коэффициент добавления в корзину из рекомендованных товаров
- Доля сессий, взаимодействующих с рекомендацией
Состояние каталога
- Охват: доля активных товаров, которые когда-либо были рекомендованы
- Концентрация: доля показов рекомендаций, приходящихся на топ-10 товаров
- Охват новых товаров в первые недели
Качество
- Отображение товаров, которых нет в наличии
- Странные или нерелевантные предложения, обнаруженные при ручной проверке
- Коэффициент возврата товаров, купленных через рекомендации
Почему важны охват и концентрация?
Модели рекомендаций отдают предпочтение товарам с большим объемом данных. Если их оставить без внимания, они везде показывают одни и те же бестселлеры, а длинный хвост каталога остается незамеченным. Это вредит новым коллекциям и может вытеснить остатки товаров на распродаже.
Ежемесячно отслеживайте охват и концентрацию. Если на десять лучших товаров приходится большая часть показов, добавьте правила разнообразия или продвижения для новых товаров, а затем проверьте, сохраняется ли доход на одного посетителя.
Как должна выглядеть панель управления?
Ограничьтесь одним экраном для каждой аудитории. Руководству нужны рост и маржа; команде электронной коммерции нужны детали слотов.
- Сводка: доход на посетителя и маржа, тестовая группа против контрольной, с доверительными интервалами
- Таблица слотов: стратегия каждого слота, CTR, коэффициент добавления в корзину и измеренный прирост там, где проводилось тестирование
- Панель каталога: охват, концентрация и демонстрация новых продуктов
- Панель качества: отображение отсутствующих товаров, флаги ручной проверки, уровень возвратов
- Журнал тестов: что было изменено, когда и каков результат
Данные обычно поступают с платформы рекомендаций, из аналитических инструментов, таких как Google Analytics 4, и базы данных заказов магазина. Объедините их в Looker Studio, Power BI или хранилище, например BigQuery. Запишите определения метрик на панели управления, чтобы они оставались стабильными.
Какие ошибки искажают результаты?
Небольшие ошибки в настройке могут сделать тест бесполезным.
- Завершение тестов раньше времени, когда одна группа выглядит лучше
- Проведение нескольких тестов на одном слоте одновременно
- Сравнение периодов вместо групп, из-за чего сезоны искажают результат
- Игнорирование ботов и внутреннего трафика в данных
- Подсчет дохода без учета маржи
Как долго должен длиться тест и каким он должен быть по размеру?
Единого ответа нет, так как это зависит от трафика и того, насколько большой эффект вы ожидаете. Магазин с десятками тысяч ежедневных посетителей может обнаружить небольшой прирост за две недели. Небольшому магазину может потребоваться месяц или больше, и он может обнаружить только значительные различия.
Онлайн-калькуляторы размера выборки помогают. Введите текущий коэффициент конверсии и наименьший прирост, ради которого стоит действовать, и инструмент подскажет, сколько посетителей нужно каждой группе. Если это число намного превышает ваш трафик, протестируйте более значительное изменение, например, рекомендации против их отсутствия, а не две похожие стратегии.
- Определите минимальный прирост, который изменил бы решение
- Рассчитайте размер выборки перед началом
- Не останавливайте тест раньше времени, потому что результат выглядит хорошо
- Записывайте результат, даже если он не показывает никакой разницы
Как связать рекомендации с пожизненной ценностью клиента?
Короткие тесты фиксируют первый заказ. Персонализированные рекомендации также могут изменить то, что покупатели купят в следующем месяце, как часто они будут возвращаться и перейдут ли они в новые категории. Эти эффекты проявляются дольше.
Для магазинов с достаточным количеством повторных покупателей сохраняйте небольшую долгосрочную контрольную группу, например 5 процентов клиентов, которые никогда не получают персонализированные блоки или электронные письма. Сравните их доход за 90 дней с остальными. Это самый понятный способ увидеть, формирует ли персонализация лояльность или просто меняет время покупок.
Как Alien Road применяет измерение рекомендаций
При типичном взаимодействии в сфере электронной коммерции мы сначала проверяем отслеживание: просмотры товаров, события добавления в корзину и покупки с ID товаров, а также обработку согласия. Без чистых событий ни одному отчету по рекомендациям нельзя доверять.
Затем мы настраиваем контрольные тесты на основных слотах, создаем панель управления на основе данных аналитики, платформы и заказов, а также согласовываем определения с командой клиента. Тесты проводятся по одному слоту за раз.
Ежемесячные отчеты показывают измеренный прирост с доверительными интервалами, влияние на маржу, охват каталога и журнал тестов. Когда слот не показывает прироста, мы говорим об этом и предлагаем другую стратегию или удаление, так как каждый блок конкурирует за место на странице.
С чего начать на этой неделе
Проверьте, как ваш инструмент рекомендаций отчитывается о доходе, и запишите его правило атрибуции. Затем выберите самый загруженный слот рекомендаций и настройте контрольную группу 90/10, используя функцию тестирования платформы или ваш A/B-инструмент. Запустите его как минимум на две недели и сравните доход на посетителя между группами. Этот единственный тест дает вам реальную базовую линию для каждого последующего решения.
Читать далее: Электронная коммерция · Электронная коммерция