Mistral AI в кампаниях: опыт Alien Road

Большинство агентств работают с несколькими поставщиками моделей, и Mistral заслуживает своего места по нескольким конкретным причинам. Компания, основанная в Париже, выпускает несколько моделей с открытыми весами, что означает, что их можно загружать и запускать на частной инфраструктуре. Она также предлагает коммерческие модели через свой API, La Plateforme, и чат-ассистента под названием Le Chat.

В работе агентства важны три свойства. Во-первых, небольшие модели Mistral быстры и недороги, что подходит для задач с тысячами коротких запросов. Во-вторых, модели хорошо справляются с европейскими языками, включая французский, немецкий, испанский и итальянский, что помогает в многоязычных кампаниях. В-третьих, открытые веса предлагают путь для клиентов со строгими требованиями к данным, потому что модель может работать там, где данные уже находятся.

Ничто из этого не делает Mistral лучшим выбором для каждой задачи. Длинные творческие тексты или сложные рассуждения могут лучше подходить для других моделей, и мы тестируем перед принятием решения.

Классификация поисковых запросов

Аккаунты платного поиска генерируют длинные отчеты по поисковым запросам. Небольшая модель может тегировать каждый запрос по намерению, например, информационный, сравнительный, покупка или нерелевантный, чтобы менеджер аккаунта просматривал отсортированный список вместо тысяч необработанных строк. Кандидаты в минус-слова появляются быстрее.

Варианты рекламных текстов

Адаптивные поисковые объявления в Google Ads принимают до 15 заголовков и 4 описаний, при этом заголовки ограничены 30 символами, а описания — 90. Модель может составить много вариантов в рамках этих ограничений на основе брифа, а копирайтер выбирает и дорабатывает лучшие. Ограничения по символам проверяются скриптом, а не доверяются модели.

Обогащение товарного фида

Торговые кампании зависят от качества фида. Mistral может превращать беспорядочные атрибуты поставщиков в последовательные заголовки и описания, которые следуют рекомендациям Google Merchant Center, со структурированным выводом в JSON, чтобы инструмент фида мог импортировать его напрямую.

Сводки исследований

Перед запуском кампании целевые страницы конкурентов, сайты с отзывами и темы форумов могут быть обобщены по темам: общие возражения, часто хвалимые функции, жалобы на цены. Аналитик читает сводку и проверяет источники, стоящие за любым удивительным утверждением.

Черновики локализации

Для кампаний на нескольких европейских рынках первые черновики перевода рекламных текстов и разделов целевых страниц экономят время. Носитель языка всегда проверяет их перед запуском.

Обработка данных определяет, какой вариант развертывания мы используем. Для публичных или малочувствительных входных данных, таких как опубликованные описания продуктов или публичные поисковые тренды, хостинговый API подходит. Для всего, что содержит персональные данные или конфиденциальные коммерческие цифры, мы либо удаляем идентификаторы перед отправкой, либо используем развертывание, которое контролирует клиент.

Практические правила, которым мы следуем:

• Имена клиентов, адреса электронной почты и номера телефонов никогда не отправляются в модель, если это не предусмотрено договором и правовым основанием.
• Отчеты по поисковым запросам агрегируются перед классификацией, поэтому данные на уровне пользователя не задействованы.
• API-ключи хранятся в менеджере секретов, никогда не в общих документах.
• Клиенты, подпадающие под GDPR или турецкий KVKK, получают письменное уведомление о том, какие данные передаются какому поставщику.
• Когда клиент требует, чтобы данные оставались в его облаке, мы используем модели Mistral через его собственный аккаунт на облачной торговой площадке или самохостинговую модель с открытыми весами.

Каждый кейс получает два типа метрик: производственные метрики и метрики кампании.

Производственные метрики показывают, экономит ли модель усилия. Мы отслеживаем часы, затраченные на задачу до и после, уровень правок редактора и долю результатов, отклоненных сразу. Высокий уровень отклонений означает, что промпт или выбор модели требуют доработки.

Метрики кампании показывают, работает ли результат. Для рекламных текстов мы сравниваем заголовки, созданные с помощью модели, с заголовками, написанными только человеком, в одних и тех же группах объявлений, используя метки эффективности активов и показатели кликабельности в Google Ads. Для обогащения фида мы следим за отклонениями в Merchant Center и кликами в Shopping. Для классификации поисковых запросов мы измеряем, насколько сокращаются бесполезные расходы благодаря минус-словам, которые она помогает найти.

Эти сравнения — не лабораторные эксперименты, потому что многие факторы меняются одновременно, но их последовательное отслеживание в течение месяцев дает надежную картину.

Ежемесячные отчеты включают краткий раздел о работе с использованием ИИ. В нем перечислены задачи, где использовался Mistral, обработанный объем, стоимость, сэкономленные часы и любые доступные сравнения производительности. Мы отмечаем, какие результаты были проверены и кем.

Мы также сообщаем о том, что не сработало. Если модель показала плохие результаты на языке или типе задачи, клиент узнает об этом вместе с изменением, которое мы внесли, например, сменой модели или возвратом задачи копирайтеру-человеку. Клиенты ценят откровенность об ограничениях больше, чем список побед.

• Фактический дрейф: сводки могут включать утверждения, не найденные в источнике, поэтому ключевые факты сверяются с оригиналами.
• Сглаживание тона: черновики могут звучать шаблонно, поэтому редакторы переписывают вступления и призывы к действию.
• Языковые пробелы: производительность варьируется в зависимости от языка, и результаты на турецком или азербайджанском языках проходят дополнительную проверку носителем.
• Изменения моделей: поставщики обновляют модели, поэтому мы перезапускаем тест на образцах, когда новая версия заменяет старую.