Большинство отчетов о работе машинного обучения в маркетинге не проходят одну и ту же проверку. Кто-то открывает панель управления, указывает на изменившееся число и говорит, что система работает. Затем финансовый руководитель задает простой вопрос: что бы произошло, если бы мы ничего не сделали? В комнате воцаряется тишина. Проблема редко кроется в модели. Проблема в том, что метрики оптимизации AI на экране были выбраны потому, что их было легко собрать, а не потому, что они отвечают на этот вопрос.
Мы выстраиваем измерение до того, как выстраиваем автоматизацию, и делаем это в таком порядке не просто так. Как только система оптимизации запущена, она меняет данные, по которым ее измеряют. Модель ставок, которая перераспределяет бюджет в сторону трафика с высоким намерением, улучшит коэффициент конверсии независимо от того, принесла ли она хоть одну дополнительную продажу, потому что она изменила состав тех, кого учитывали. Если вы не зафиксируете свою базовую линию и метод сравнения до того, как система начнет действовать, вы потеряете способность отделять реальный прирост от перетасовки. В этой статье изложен уровень измерения, который мы помещаем в основу каждого проекта по оптимизации, цифры, которые мы сообщаем клиентам, и те, которые мы намеренно оставляем за пределами заголовка.
Начните с решения, а не с панели управления
Каждое измерение должно сводиться к решению, которое кто-то действительно примет. Если число меняется, а никто ничего не меняет, это число — украшение. Мы просим клиентов сначала назвать решение: увеличиваем ли мы бюджет, расширяем ли модель на второй рынок, продолжаем ли платить за эту систему в следующем квартале. Метрика — это любое доказательство, которое действительно изменило бы ответ. Это ограничение убивает около половины типичного набора отчетов на первой же встрече.
Метрики оптимизации AI, о которых мы действительно отчитываемся
Наша отчетность состоит из трех уровней. Верхний уровень — это бизнес-результат: выручка, квалифицированный пайплайн, стоимость привлечения, маржа вклада. Это то, что покупает клиент. Средний уровень — это механизм: конкретное поведение, которое система должна была изменить, например, доля бюджета, приходящаяся на прибыльные сегменты, или доля страниц, соответствующих порогу качества. Нижний уровень — это работоспособность системы, которая включает уровни ошибок, задержку, свежесть данных и покрытие. Метрики работоспособности никогда не появляются в заголовке. Они существуют для того, чтобы, когда верхний уровень движется не в ту сторону, мы могли быстро определить, является ли причиной рынок или сломанный пайплайн.
- Инкрементальный результат по сравнению с контрольной группой, а не общий результат для обработанной группы.
- Стоимость за инкрементальную единицу, включая стоимость работы самой системы, а не только расходы на медиа.
- Охват решений: какая доля допустимых решений была фактически принята системой, а не пропущена.
- Стабильность: насколько сильно выходные данные варьируются от недели к неделе, когда входные данные в целом остаются неизменными.
- Время на исправление: сколько времени требуется, чтобы заметить и отменить плохое автоматизированное решение.
Последнее недооценено. Система, которая большую часть времени работает правильно, но которой требуется три недели, чтобы заметить, что она ошибается, может быть хуже, чем более медленный ручной процесс. Мы измеряем это намеренно и сообщаем об этом, даже если это нелестно, потому что это число предсказывает, сколько автономии можно безопасно предоставить системе в следующий раз.
Контрольные группы — единственное честное сравнение
Сравнение этого месяца с прошлым — не доказательство. Сезонность, активность конкурентов, проблемы с поставками, упоминание в прессе и изменение цен могут повлиять на результаты сильнее, чем любая оптимизация. Единственное сравнение, которое выдерживает проверку, — это группа, которую системе не разрешили трогать, работающая в то же время и взятая из той же популяции. Это означает географические контрольные группы, контрольные группы аудитории или случайная доля кампаний или страниц, намеренно оставленных без оптимизации.
Клиенты часто сопротивляются этому, потому что контрольная группа кажется потерей денег. Наш ответ заключается в том, что контрольная группа — это самая дешевая доступная страховка. Без нее система, которая тихо перестает работать, продолжает получать бюджет месяцами. С ней разрыв становится виден, и вы узнаете об этом за недели.
Ограничители должны быть в том же отчете
Системы оптимизации находят кратчайший путь к тому, за что их вознаграждают, и кратчайший путь часто оказывается тем, чего вы не хотели. Модель, вознаграждаемая за коэффициент конверсии, учится перестать делать ставки на всех незнакомых. Контентная система, вознаграждаемая за ранжирование, учится писать тонкие, почти дублирующие тексты. Мы публикуем метрики ограничителей рядом с заголовком: доля новых клиентов, уровень возвратов, уровень возмещений, соотношение брендовых и небрендовых запросов, проверки оригинальности контента. Если ограничитель движется не в ту сторону, пока заголовок улучшается, мы рассматриваем это как неудачный эксперимент, а не как успех с оговоркой.
Как выглядит хороший результат через шесть месяцев
Зрелая система измерений скучна на вид: короткий заголовок инкрементального результата с диапазоном достоверности, небольшой набор метрик механизма, объясняющих, как был получен прирост, ограничители, показывающие, что ничего не сломалось, и приложение о работоспособности системы. Одни и те же метрики оптимизации AI появляются каждый месяц в одном и том же порядке, что делает отклонения очевидными. Никто не добавляет новый график, чтобы оправдать плохой месяц.
Если вы начинаете с нуля, последовательность проста. Определите решение, выберите результат, выделите контрольную группу перед запуском, согласуйте ограничители и зафиксируйте метод атрибуции в письменном виде. Эта работа занимает неделю или две и гораздо менее интересна, чем сама оптимизация, но именно она превращает многообещающий пилотный проект в систему, которую ваш финансовый отдел будет продолжать финансировать. Если вы хотите получить второе мнение об измерениях, которые у вас уже есть, мы будем рады взглянуть на них, прежде чем вы подпишетесь на еще один квартал расходов.
Читайте дальше: Оптимизация AI · Оптимизация AI