Предиктивная аналитика в маркетинге терпит неудачу по ряду повторяющихся причин: модель обучается на данных, которые раскрывают ответ, она предсказывает то, на что никто не может повлиять, или никто не измеряет, изменило ли что-то действие на основе прогноза. Агентства избегают этих ошибок, сначала определяя решение, тестируя на отложенных периодах времени и проводя контролируемые тесты прироста перед масштабированием.
Сама техника не нова. Регрессия, градиентный бустинг и модели выживаемости десятилетиями использовались для анализа оттока и пожизненной ценности клиента. Что изменилось, так это доступность: GA4 предоставляет метрики вероятности покупки и оттока, Google Ads и Meta используют прогнозируемую ценность конверсии для ставок, а такие инструменты, как BigQuery ML, позволяют аналитику обучать модель с помощью SQL. Более легкий доступ означает, что те же ошибки теперь происходят быстрее.
Что на самом деле делает предиктивная аналитика в маркетинге?
Предиктивная модель оценивает вероятность или размер будущего результата для каждого клиента, лида или сессии. Типичные цели — покупка в ближайшие семь дней, отток в ближайшие 30 дней, ожидаемый доход за 12 месяцев или вероятность того, что лид станет возможностью.
Результат — это оценка. Сама по себе она ничего не делает. Ценность появляется только тогда, когда оценка меняет решение: кто получает скидку, какая аудитория получает больше бюджета, какому лиду продавец звонит в первую очередь. Этот разрыв между оценкой и решением — место, где большинство проектов тихо умирают.
Ошибка 1: Предсказание того, на что никто не будет действовать
Команда строит модель оттока с хорошей точностью, представляет график, и ничего не происходит, потому что нет предложения по удержанию, бюджета или ответственного лица. Модель была исследовательским проектом, а не маркетинговым инструментом.
Решение — записать действие до того, как начнется любая работа с данными. Например: клиенты с баллом оттока выше определенного порога получают серию писем для возврата и купон на 10 процентов, за что отвечает CRM-менеджер, с ежемесячным пересмотром. Если вы не можете написать это предложение, модель не готова к созданию.
Ошибка 2: Данные обучения, которые раскрывают ответ
Утечка — самая дорогая техническая ошибка, потому что она создает модели, которые выглядят отлично при тестировании, но терпят неудачу в производстве. Это происходит, когда признак содержит информацию, которой не существовало бы на момент прогнозирования.
Классический случай: предсказание того, конвертируется ли лид, используя поле вроде «количество звонков по продажам». Лиды, которые конвертируются, получают больше звонков, потому что они конвертируются. Модель учит следствие, а не причину.
Как проверить наличие утечки
- Для каждого признака спросите: было бы это значение известно в тот самый момент, когда делается прогноз?
- Разделяйте данные обучения и тестирования по времени, а не случайно. Обучайте с января по июнь, тестируйте с июля по сентябрь.
- С подозрением относитесь к любой модели с почти идеальной точностью в сложной бизнес-задаче.
- Перестройте таблицу признаков как моментальный снимок на определенный момент времени, а не читайте текущие значения CRM.
Ошибка 3: Оптимизация точности вместо бизнес-ценности
Точность — плохая метрика, когда результаты редки. Если 3 процента пользователей покупают, модель, которая предсказывает «нет покупки» для всех, имеет точность 97 процентов и бесполезна.
Лучшие метрики зависят от решения. Для ранжирования лидов смотрите на точность в верхнем дециле: из 10 процентов лидов с наивысшим баллом сколько конвертировалось? Для распределения бюджета смотрите на калибровку: когда модель говорит 20 процентов, конвертируется ли примерно 20 процентов этой группы? Калибровка важна, потому что ставки на основе ценности и прогнозы LTV умножают вероятности на деньги.
Почему предиктивные модели перестают работать после запуска?
Модели описывают прошлое. Когда меняются цены, ассортимент продукции, источники трафика или экономика, связь, которую выучила модель, дрейфует. Модель, обученная до крупного календаря акций или нового канала привлечения, может деградировать в течение нескольких недель.
Дрейф — это нормально, и его нужно планировать. Простая процедура мониторинга ловит большинство проблем:
- Отслеживайте средний прогнозируемый балл в неделю рядом с фактическим уровнем результатов.
- Сравнивайте распределения признаков в этом месяце с периодом обучения, особенно источник трафика и устройство.
- Установите график переобучения, ежемесячный или ежеквартальный в зависимости от объема, вместо того чтобы переобучать только тогда, когда кто-то жалуется.
- Сохраняйте предыдущую версию модели, чтобы можно было откатиться.
Ошибка 4: Никогда не измерять инкрементальный прирост
Аудитория с высокой склонностью конвертируется чаще. В этом смысл оценки, а также ловушка. Если вы отправляете скидку людям, которые и так собирались купить, конверсии выглядят отлично, в то время как маржа падает.
Честный тест — это контрольная группа. Разделите группу с высоким баллом случайным образом, воздействуйте на половину и оставьте половину в покое. Разница между двумя группами — это прирост, который модель и действие создали вместе. Некоторые команды идут дальше с моделями прироста, которые предсказывают, кто изменит поведение из-за действия, но чистая контрольная группа — это отправная точка.
Ошибка 5: Относиться к оценке поставщика как к истине
Оценки платформы, такие как вероятность покупки в GA4 или прогнозируемая ценность, используемая для ставок в рекламе, полезны, но это черные ящики, обученные на целях, которые вы не полностью контролируете. У GA4 также есть пороги приемлемости: свойству нужно достаточно положительных и отрицательных примеров за недавний период, прежде чем предиктивные метрики вообще появятся.
Используйте эти оценки как один из входов, а не как последнее слово. Сравнивайте их с простым правилом, которое вы понимаете, например, давность и частота покупки. Если базовый RFM-сегмент работает так же хорошо, как оценка платформы в контрольном тесте, вы узнали что-то ценное о том, откуда на самом деле берется сигнал.
Как Alien Road применяет предиктивную аналитику
В типичном взаимодействии работа начинается с семинара по принятию решений, а не с набора данных. Мы перечисляем два или три выбора, которые клиент делает неоднократно, например, распределение бюджета по аудиториям или маршрутизация лидов, и выбираем один, где лучший прогноз изменил бы расходы.
Настройка обычно означает таблицу признаков на определенный момент времени в BigQuery, построенную на основе данных экспорта GA4 и CRM, базовую модель и разделение теста по времени. Прежде чем что-то запускать, мы согласуем дизайн контрольной группы и метрику, часто маржу на пользователя, а не коэффициент конверсии. Отчетность идет в дашборд Looker Studio, показывающий прогнозируемые результаты против фактических и сравнение контрольной группы, чтобы клиент видел, оправдывает ли модель свое место.
С чего начать на этой неделе
Выберите одно решение, которое вы принимаете каждую неделю по наитию, например, какие прошлые клиенты получают предложение по ремаркетингу. Запишите действие, ответственного и метрику, которая доказала бы, что это сработало.
Затем проверьте, какие данные существуют в тот момент, когда принимается это решение. Если предиктивные метрики GA4 доступны в вашем свойстве, создайте тестовую аудиторию из «вероятных покупателей на 7 дней» и запустите ее против случайной контрольной группы в течение месяца. Этот небольшой, измеренный тест научит вас большему о ваших данных, чем большая модель, построенная без него.
Продолжайте читать: ИИ-оптимизация · ИИ-оптимизация