Этапы подготовки данных ИИ — это процессы, используемые для очистки, организации и преобразования необработанных маркетинговых данных в высококачественный формат, который модели машинного обучения могут эффективно обрабатывать. Этот цикл начинается со сбора данных и продолжается через очистку, нормализацию и проектирование признаков, чтобы гарантировать высокое качество входных данных. Уточняя данные до того, как они попадут в модель ИИ, маркетологи могут предотвратить ошибки, что приводит к более точным прогнозам и автоматизированным оптимизациям.
Почему подготовка данных — самая трудоемкая часть ИИ?
Общая закономерность в цифровом маркетинге заключается в осознании того, что специалисты по данным и инженеры ИИ тратят около 80% времени проекта на подготовку, а не на построение модели. Это происходит потому, что маркетинговые данные фрагментированы по разным экосистемам, таким как Google Ads, Meta Ads и различные CRM-платформы. Каждая платформа использует разные соглашения об именовании, часовые пояса и форматы валют, что делает невозможным для модели ИИ поиск закономерностей без предварительного выравнивания. Без этих этапов подготовки ИИ может интерпретировать разницу в валюте между магазином Shopify и кампанией в Facebook как падение производительности, что приведет к неправильному распределению бюджета. Следовательно, этап подготовки является самой критической частью всего процесса оптимизации.
Высококачественный результат системы искусственного интеллекта полностью зависит от целостности данных, подаваемых в нее. В типичной учетной записи необработанные данные часто содержат шум, такой как бот-трафик в Google Analytics 4 или дубликаты записей потенциальных клиентов в CRM HubSpot. Если эти аномалии не удалить, модель ИИ будет учиться на ложных сигналах, что приведет к искаженным сегментам аудитории или неточным прогнозам конверсии. Кроме того, подготовка данных позволяет маркетологам создать единое представление о пути клиента, соединяя разрозненные точки взаимодействия. Это выравнивание необходимо для расширенного атрибуционного моделирования, где ИИ должен понимать, как взаимодействие с поисковой рекламой влияет на последующую регистрацию по электронной почте.
Шаг 1: Обнаружение данных и интеграция источников
Первая фаза включает в себя идентификацию всех потенциальных источников данных, которые будут информировать вашу модель ИИ. В современной маркетинговой среде это обычно включает первичные источники, такие как экспорты GA4 BigQuery, экспорты CRM и данные пикселей с платформ социальных сетей. Вам следует начать с аудита полей, доступных в каждом источнике, чтобы увидеть, соответствуют ли они вашим бизнес-целям. Например, если вы хотите предсказать отток клиентов, вы должны убедиться, что ваши источники данных включают исторические даты покупок, частоту обращений в службу поддержки и показатели вовлеченности по электронной почте. Раннее картирование этих источников помогает выявить пробелы, где данные могут отсутствовать или где отслеживание было непоследовательным с течением времени.
Интеграция часто требует использования API или решений для хранилищ данных, чтобы собрать все в централизованной среде. Например, при извлечении данных из магазина Shopify вам может потребоваться объединить историю заказов с маркетинговыми расходами из Google Ads для расчета истинной рентабельности расходов на рекламу (ROAS). На этом этапе вы определяете уникальный идентификатор, который свяжет различные наборы данных, например, хешированный адрес электронной почты или конкретный ID пользователя. Создание чистого пути интеграции на этом этапе предотвращает технический долг позже в конвейере машинного обучения и гарантирует, что модель имеет достаточно широкую перспективу для принятия значимых решений.
Шаг 2: Очистка данных и исправление ошибок
Очистка данных — это процесс исправления или удаления неверных, поврежденных или дублирующихся данных в наборе данных. В маркетинге это часто включает исправление структурных ошибок, таких как непоследовательное использование заглавных букв в названиях кампаний или исправление форматов дат, которые варьируются между платформами. Например, одна система может записывать даты как ММ/ДД/ГГГГ, в то время как другая использует ГГГГ-ММ-ДД. Стандартизация их в единый формат необходима для анализа временных рядов. Кроме того, очистка включает удаление выбросов, которые могут запутать модель. Одна случайная покупка на 50 000 долларов в магазине, где средняя стоимость заказа составляет 50 долларов, может значительно исказить понимание ИИ типичного клиента, поэтому эти аномалии должны быть устранены.
Другой критической частью очистки является обработка дублирующихся записей, которые часто возникают, когда клиенты используют разные адреса электронной почты или когда пиксели отслеживания срабатывают несколько раз для одного события. Если модель ИИ видит одну и ту же конверсию трижды, она переоценит конкретные ключевые слова или объявления, которые привели к этой конверсии. Использование таких инструментов, как библиотека Pandas в Python или Google Cloud DataPrep, может помочь автоматизировать идентификацию этих дубликатов на основе общих характеристик. Обеспечивая уникальность и правильное форматирование каждой точки данных, вы создаете стабильную основу для более сложных этапов преобразования, которые следуют в рабочем процессе подготовки ИИ.
Как вы обрабатываете пропущенные значения в маркетинговых наборах данных?
Пропущенные значения — это неизбежная проблема при работе с реальными маркетинговыми данными, часто появляющаяся как нулевые записи в CRM или пустые поля в опросе клиентов. Есть три основных способа справиться с этим: удаление, импутация или маркировка. Удаление включает удаление любой записи, в которой отсутствует информация, но это может привести к значительной потере данных, если пробелы широко распространены. Импутация — это более продвинутый метод, при котором вы заполняете пропущенные значения на основе других доступных данных. Например, если ‘Регион’ клиента отсутствует, но его ‘Город’ указан как Лондон, вы можете безопасно импутировать регион как ‘Большой Лондон’, чтобы сохранить полезность записи.
В случаях, когда отсутствуют числовые данные, такие как ‘Средняя продолжительность сессии’, маркетологи часто используют среднее или медианное значение оставшихся данных для заполнения пробелов. Однако следует заметить, что использование среднего значения может уменьшить дисперсию в вашем наборе данных, что может скрыть важные закономерности от ИИ. Более сложный подход — использование вторичной модели машинного обучения для прогнозирования пропущенных значений на основе других признаков. Если вы управляете крупномасштабным набором данных электронной коммерции, маркировка пропущенных значений специальным кодом, таким как ‘-1’ или ‘Неизвестно’, также может сказать ИИ, что отсутствие данных само по себе является значимым сигналом, что часто верно при анализе поведения клиентов.
- Идентифицируйте пропущенные значения с помощью тепловых карт или сводных статистик в таких инструментах, как Excel или Python.
- Решите между удалением строк (построчное удаление) или их заполнением (импутация) на основе процента пропущенных данных.
- Используйте медиану для числовой импутации, если данные искажены, так как она менее подвержена влиянию выбросов, чем среднее значение.
- Классифицируйте пропущенные категориальные данные как новый класс ‘Неизвестно’, чтобы сохранить размер выборки.
- Проверьте, что метод, используемый для обработки пропущенных данных, не вносит непреднамеренное смещение в модель.
Шаг 3: Преобразование и масштабирование данных
Преобразование данных включает преобразование данных из их исходного формата в формат, который более подходит для алгоритма. Одной из самых важных частей этого этапа является масштабирование. Модели машинного обучения часто испытывают трудности, когда разные признаки имеют сильно различающиеся диапазоны. Например, признак ‘Общие расходы’ может варьироваться от 10 до 10 000 долларов, в то время как признак ‘Количество кликов’ варьируется от 1 до 100. Без масштабирования ИИ может придать признаку расходов в 100 раз больше веса просто потому, что числа больше. Такие методы, как масштабирование Min-Max, которое сжимает все значения в диапазон от 0 до 1, гарантируют, что каждый признак вносит равный вклад в окончательный прогноз модели.
Другой метод преобразования — нормализация Z-оценки, которая центрирует данные вокруг среднего значения, равного нулю, со стандартным отклонением, равным единице. Это особенно полезно для алгоритмов, таких как кластеризация K-means или машины опорных векторов, которые полагаются на расчет расстояний между точками данных. Помимо масштабирования, преобразование также включает кодирование категориальных переменных. Поскольку модели ИИ не могут понимать текст, такой как ‘Поиск’ или ‘Социальные сети’, вы должны преобразовать их в числа. ‘One-hot кодирование’ — это распространенный метод, при котором каждая категория становится новым столбцом с 1 или 0, что позволяет модели обрабатывать данные маркетинговых каналов, не предполагая присущего порядка или ранжирования между различными каналами.
Шаг 4: Проектирование признаков для маркетинговых моделей
Проектирование признаков — это процесс использования знаний предметной области для создания новых переменных, которые помогают ИИ работать лучше. Вместо того чтобы просто давать модели список дат транзакций, маркетолог может создать признак ‘Дней с момента последней покупки’. Это единственное число гораздо лучше предсказывает будущее поведение, чем необработанная временная метка. В типичном сценарии магазина Shopify проектирование признаков может включать расчет отношения ‘Добавлений в корзину’ к ‘Просмотрам товаров’ для каждого пользователя. Эта производная метрика дает четкий сигнал о намерении покупки, который ИИ может использовать для приоритизации определенных пользователей для ретаргетинговых кампаний, что часто приводит к более высокому коэффициенту конверсии, чем использование только необработанных данных.
Эффективное проектирование признаков требует глубокого понимания маркетинговой воронки. Вы можете объединить ‘Общие сессии’ и ‘Общие конверсии’ для создания признака ‘Коэффициент конверсии на пользователя’ или извлечь ‘День недели’ из временной метки, чтобы помочь модели идентифицировать закономерности покупок в выходные дни. Уменьшение размерности также является частью этого этапа, где вы удаляете избыточные признаки, которые не добавляют ценности. Если ‘Город’ и ‘Почтовый индекс’ предоставляют одну и ту же географическую информацию, сохранение обоих может привести к мультиколлинеарности, что может запутать некоторые модели. Практики Alien Road часто фокусируются на этих высокоэффективных признаках, чтобы гарантировать, что модели остаются эффективными и сфокусированными на наиболее релевантных сигналах данных.
Каковы лучшие практики маркировки маркетинговых данных?
Маркировка — это процесс идентификации целевого результата для вашей модели ИИ, например, совершил ли потенциальный клиент конверсию или ушел ли клиент. Для обучения с учителем эти метки должны быть точными и четко определенными. Лучшая практика — убедиться, что ваши метки согласованы по всему набору данных. Если вы определяете ‘Конвертированного’ потенциального клиента как того, кто совершил покупку, вы должны строго применять это правило ко всем записям. В анализе тональности маркировка может включать человеческих рецензентов, классифицирующих отзывы клиентов как ‘Положительные’, ‘Нейтральные’ или ‘Отрицательные’. Использование консенсусного подхода, при котором несколько рецензентов проверяют одни и те же данные, может помочь уменьшить субъективность и улучшить качество обучающего набора.
При маркировке для автоматизации маркетинга также полезно учитывать временное окно. Если вы прогнозируете, совершит ли пользователь покупку в течение следующих 30 дней, ваши метки должны отражать этот конкретный временной интервал. Маркировка также может быть бинарной, например, 1 для ‘Кликнул’ и 0 для ‘Не кликнул’, или многоклассовой, где вы можете классифицировать пользователей на ‘Низкая ценность’, ‘Средняя ценность’ и ‘Высокая ценность’. На этом этапе важно проверить наличие дисбаланса классов. Если 99% ваших данных помечены как ‘Нет покупки’, ИИ может просто научиться каждый раз предсказывать ‘Нет покупки’, чтобы достичь высокой точности. Использование таких методов, как передискретизация миноритарного класса, может помочь модели изучить характеристики 1%, которые действительно совершают покупку.
Шаг 5: Разделение данных и валидация
После того как данные очищены, преобразованы и маркированы, их необходимо разделить на разные наборы для обучения и тестирования. Общий подход — правило 80/20, где 80% данных используются для обучения модели, а 20% откладываются для проверки ее производительности на невидимых данных. Этот этап жизненно важен для обеспечения того, чтобы ИИ не просто запоминал обучающие данные, проблема, известная как переобучение. Если модель работает идеально на обучающем наборе, но терпит неудачу на тестовом наборе, она не изучила лежащие в основе закономерности и не будет полезна для прогнозирования в реальной маркетинговой среде. Тестовый набор действует как выпускной экзамен, чтобы доказать готовность модели.
- Обучающий набор: Основная часть данных, используемая алгоритмом для поиска закономерностей и настройки своих параметров.
- Валидационный набор: Меньшее подмножество, используемое во время фазы обучения для тонкой настройки параметров модели и предотвращения переобучения.
- Тестовый набор: Полностью независимый набор данных, используемый только один раз в конце процесса для оценки окончательной точности.
- Рандомизация: Убедитесь, что данные перемешаны перед разделением, чтобы наборы были репрезентативными для всей популяции.
- Временное разделение: Для данных, чувствительных ко времени, используйте более ранние данные для обучения, а более поздние данные для тестирования, чтобы имитировать прогнозирование в реальном мире.
С чего начать на этой неделе
Чтобы начать свое путешествие с этапами подготовки данных ИИ, начните с аудита одного источника данных на этой неделе, такого как ваш экспорт GA4 BigQuery или ваш основной список CRM. Ищите наиболее распространенные ошибки, такие как пропущенные значения в ключевых полях или непоследовательные соглашения об именовании в данных вашей кампании. Попробуйте очистить только один месяц данных вручную в электронной таблице, чтобы понять проблемы, прежде чем переходить к автоматизированным скриптам. Выявляя эти проблемы на ранней стадии, вы будете лучше подготовлены к созданию масштабируемого конвейера данных, который может поддерживать передовые стратегии маркетинга ИИ и повысить общую эффективность вашей кампании.
Продолжить чтение: Оптимизация ИИ · Оптимизация ИИ