Предиктивная аналитика: KPI и дашборды

Предиктивная аналитика использует исторические данные и статистические модели или модели машинного обучения для оценки того, что произойдет дальше. В маркетинге распространенными случаями являются склонность к покупке, риск оттока, пожизненная ценность клиента, прогнозирование спроса и скоринг лидов. Инструменты варьируются от предиктивных аудиторий в Google Analytics 4 до пользовательских моделей, созданных в BigQuery ML, Python или платформе клиентских данных.

Источник модели менее важен, чем вопрос, на который она отвечает. Модель пожизненной ценности существует для того, чтобы решить, сколько платить за клиента. Модель оттока существует для того, чтобы решить, кто получит предложение об удержании. Если вы не можете назвать решение, вы не можете измерить ценность.

Метрики модели говорят вам, верны ли прогнозы. Они необходимы, но недостаточны. Выбирайте те, которые соответствуют типу прогноза.

Для прогнозов да/нет (отток, покупка, конверсия)

• AUC: насколько хорошо модель ранжирует вероятных конвертеров выше маловероятных. 0.5 — это подбрасывание монеты.
• Точность в топе: сколько из 10% клиентов с самым высоким баллом действительно совершили конверсию.
• Полнота: какую долю всех конвертеров уловила модель.
• Калибровка: действительно ли клиенты с баллом 30% конвертируются примерно в 30% случаев. Плохая калибровка портит бюджетные решения, даже если ранжирование хорошее.

Для числовых прогнозов (доход, спрос, пожизненная ценность)

• MAE или MAPE: средняя ошибка в единицах или процентах, легко объяснить финансовому отделу.
• Смещение: постоянно ли модель завышает или занижает прогнозы. Прогноз, который всегда на 15% выше, приводит к излишкам запасов.
• Ошибка по сегментам: модель может быть точной в целом, но ошибаться для новых клиентов или одного региона.

Отслеживайте их с течением времени, а не один раз. Поведение клиентов меняется в зависимости от сезона, цен и конкурентов, а качество модели снижается. Ежемесячный линейный график AUC или MAPE часто является самым ранним предупреждением о том, что требуется переобучение.

Самое четкое доказательство — это контролируемый тест. Разделите аудиторию случайным образом: одна группа обрабатывается в соответствии с моделью, другая — в соответствии со старым правилом или вообще без правил. Разница в результате — это вклад модели. Без контрольной группы вы сравниваете с догадкой.

Например, компания по подписке может отправлять скидку на удержание только 20% клиентов с самым высоким риском оттока в тестовой группе, в то время как контрольная группа сохраняет старую политику предоставления скидки всем, кто посещает страницу отмены. Метрики для сравнения — это удержанный доход, стоимость скидки и чистая прибыль на клиента.

• Дополнительные конверсии или доход по сравнению с контрольной группой.
• Избежание затрат: бюджет, не потраченный на пользователей с низкой склонностью.
• Рентабельность расходов на рекламу в кампаниях, использующих предиктивные аудитории, по сравнению с аналогичными кампаниями, которые их не используют.
• Сэкономленное время для аналитиков, которые ранее создавали сегменты вручную.
• Ошибки в запасах или кадрах, основанные на прогнозах, до и после.

Когда контрольная группа невозможна

Некоторые решения нельзя рандомизировать, например, прогноз, определяющий общий объем запасов на сезон. В этом случае сравните прогноз с тем, что произошло на самом деле, и с простой базовой линией, такой как продажи прошлого года плюс текущий темп роста. Если модель не превосходит базовую линию с маржой, которая важна для бизнеса, ее сложность трудно оправдать. Запишите базовую линию до начала сезона, чтобы никто не скорректировал ее позже, чтобы модель выглядела лучше или хуже.

Хороший дашборд предиктивной аналитики отвечает на три вопроса на одном экране: точна ли модель, используется ли она и окупается ли она. Looker Studio, Power BI или Tableau — все они работают; макет важнее инструмента.

• Верхний ряд: бизнес-результат по сравнению с контрольной группой, с доверительным интервалом, за текущий период.
• Средний ряд: состояние модели, например, тренд AUC или MAPE, график калибровки и дата актуальности данных.
• Нижний ряд: использование, например, сколько кампаний или решений использовали баллы в этом месяце.
• Панель заметок с указанием дат переобучения, изменений данных и периодов тестирования, чтобы читатели могли объяснить скачки.

Технические детали оставьте на второй странице для команды по работе с данными. Маркетинговым лидерам нужны результат и светофорный сигнал о состоянии модели, а не матрицы ошибок.