Промпт-инжиниринг измеряется путем сравнения результатов работы разных промптов на фиксированном наборе тестовых входных данных и оценки их по качеству, стоимости и времени, затраченному человеком на исправление. Без такого набора для оценки команды меняют промпты на основе одного хорошего или плохого примера и не могут сказать, помогло ли изменение или, в среднем, сделало ситуацию хуже.
Маркетинговые команды теперь запускают промпты для рекламных текстов, описаний продуктов, мета-описаний, вариантов электронных писем и сводок отчетов. Каждый промпт — это небольшая часть программного обеспечения. Он заслуживает такой же дисциплины: версии, тесты и дашборд.
Почему работу с промптами так сложно измерить?
Языковые модели на практике не являются детерминированными. Один и тот же промпт может дать сильный ответ в понедельник и слабый во вторник, особенно при более высоких настройках температуры. Одно сравнение почти ничего не говорит.
У маркетингового результата также нет единственно правильного ответа. Два заголовка могут быть хорошими. Это подталкивает команды к расплывчатым суждениям вроде «новый промпт кажется лучше», которые никто не сможет проверить позже.
Сначала создайте набор для оценки
Набор для оценки — это фиксированный список входных данных, представляющих реальную работу. Для промпта описания продукта это может быть 50 продуктов из разных категорий, включая сложные случаи с отсутствующими атрибутами. Для промпта рекламного текста это может быть 30 брифов с разной аудиторией и ограничениями по количеству символов.
- Включите простые, типичные и сложные случаи в примерно реалистичных пропорциях
- Запишите, что должен содержать хороший результат для каждого случая (факты, длина, тон)
- Держите набор замороженным в течение квартала, чтобы результаты оставались сопоставимыми
- Добавляйте новые случаи, когда производственный сбой показывает пробел, и записывайте причину
Храните набор в электронной таблице или инструменте, таком как Promptfoo, LangSmith или Braintrust. Инструмент менее важен, чем привычка запускать каждую версию промпта на одних и тех же входных данных.
Какие KPI должен показывать дашборд промптов?
Группируйте метрики по трем уровням: качество результата, операционные расходы и бизнес-эффект. Первые два можно измерить в тот же день. Третий занимает недели.
Качество результата
- Процент прохождения по жестким правилам: ограничения по символам, обязательные ключевые слова, запрещенные утверждения, правильный язык
- Оценка по рубрикам от экспертов-людей по шкале от 1 до 5 за точность, ясность и соответствие бренду
- Оценка, выставленная моделью, где вторая модель проверяет результаты по рубрикам, откалиброванная по оценкам людей
- Уровень фактических ошибок: доля результатов, содержащих утверждение, не подтвержденное входными данными
Операционные расходы
- Токены и стоимость API за принятый результат, а не за вызов
- Время редактирования: минуты, которые человек тратит на исправление результата перед публикацией
- Уровень отказов: результаты, которые были полностью отброшены
- Задержка, если промпт работает внутри живого инструмента
Время редактирования часто является самым честным показателем. Промпт, который выдает дешевые результаты, на исправление которых уходит по десять минут, дороже, чем более длинный промпт, результаты которого требуют одной минуты.
Бизнес-эффект
Когда результаты выходят в продакшн, связывайте их с метриками платформы, на которые они должны влиять: CTR для рекламных текстов, органический CTR в Search Console для мета-описаний, конверсия для страниц продуктов. Используйте надлежащие тесты, где это возможно, такие как эксперименты Google Ads или сплит-тесты на вашей платформе электронной почты, потому что сезонность скрывает небольшие различия.
Как справедливо сравнить две версии промпта?
Запустите обе версии на полном наборе для оценки, по несколько раз каждую, если температура выше нуля. Сравните средние значения и разброс. Промпт, который в среднем набирает чуть больше баллов, но иногда выдает катастрофические результаты, может быть хуже для продакшена.
Меняйте только что-то одно за раз. Если вы перепишете инструкции, добавите примеры и смените модель за один раз, вы не узнаете, какое изменение имело значение. Записывайте каждую версию с краткой заметкой: что изменилось и почему.
Простой макет дашборда
Обычно достаточно дашборда в Looker Studio или Google Sheets. Одна строка на версию промпта, со столбцами для даты оценки, модели, процента прохождения, средней оценки по рубрикам, стоимости за принятый результат, медианного времени редактирования и, если доступно, метрики эффективности в реальном времени. Добавьте график времени редактирования по версиям; он показывает, окупается ли работа.
Держите вторую вкладку для ошибок: реальные производственные результаты, которые были неверными, с входными данными и причиной. Они становятся новыми случаями для оценки и являются лучшим источником улучшений промптов.
Как Alien Road применяет измерение промпт-инжиниринга
В типичном проекте наша команда начинает со списка всех промптов, которые уже использует маркетинговая команда клиента, часто разбросанных по личным чатам ChatGPT и общим документам. Мы переносим те, которые создают опубликованный контент, в систему контроля версий и выбираем три с наибольшим объемом для измерения.
Для каждого мы создаем набор для оценки на основе прошлой работы клиента, согласовываем рубрики с людьми, которые утверждают контент, и измеряем текущий промпт как базовую линию. Изменения тестируются относительно этой базовой линии, прежде чем они заменят что-либо в продакшене.
Отчетность ежемесячная и краткая: какие версии промптов изменились, как это повлияло на время редактирования и стоимость, и что показали живые метрики. Когда изменение не улучшает показатели, мы говорим об этом и откатываем его.
Кто должен владеть промптами в маркетинговой команде?
Промпты, которые создают опубликованный контент, нуждаются во владельце, так же как шаблоны или брендбуки. В небольших командах это обычно контент-лид. В крупных — специалист по маркетинговым операциям ведет библиотеку промптов с версиями, результатами оценки для каждого и заметками о том, с какой моделью он тестировался.
Обновления моделей — причина, по которой это важно. Когда провайдер выпускает новую модель или меняет настройки по умолчанию, работающие промпты могут вести себя иначе. Владелец с набором для оценки может перезапустить его за час и узнать, сломалось ли что-то, вместо того чтобы узнавать об этом через жалобы клиентов.
Ошибки, которые делают цифры бессмысленными
- Тестирование на тех же пяти примерах, которые использовались для написания промпта
- Позволять модели оценивать результаты без проверки ее оценок экспертами-людьми
- Считать стоимость API за вызов, а не за принятый результат
- Изменять набор для оценки каждую неделю, что ломает сравнения
С чего начать на этой неделе
Выберите один промпт, который ваша команда запускает чаще всего. Возьмите 30 реальных входных данных, напишите определение хорошего результата в одну строку для каждого и засеките, сколько времени человек тратит на редактирование текущих результатов. Это единственное базовое число, минуты редактирования на результат, дает каждому будущему изменению промпта конкретную цель, которую нужно превзойти.
Читайте далее: ИИ-маркетинговое агентство · AI Marketing