Анализ эффективности ИИ-перевода и локализации

Результат машинного перевода может выглядеть гладким, будучи при этом неверным. Предложение может звучать естественно на немецком языке, но при этом искажать ограничение продукта или использовать неверный термин для юридического понятия. Поскольку плавность скрывает ошибки, команды, которые судят по принципу «читается хорошо», склонны переоценивать качество.

Существует также проблема времени. Экономия затрат видна в первом счете, в то время как влияние на рейтинги или конверсии на новом рынке может проявиться только через месяцы. Команды, которые сообщают только о ранней экономии, могут слишком сильно сократить проверку и увидеть ущерб только позже.

Качество требует как человеческой, так и автоматической оценки. Автоматические метрики, такие как BLEU, chrF или COMET, сравнивают результат с эталонными переводами и полезны для сравнения движков на одном и том же тестовом наборе. Они плохо подходят для оценки одной страницы для реального читателя.

Человеческая проверка с использованием типологии ошибок дает наиболее ясную картину. Система MQM (многомерные метрики качества) классифицирует ошибки по типу, например, точность, терминология, плавность и стиль, а также по степени серьезности. Рецензенты оценивают выборку, и результатом является уровень ошибок на тысячу слов, который можно отслеживать с течением времени.

• Оценка ошибок по стилю MQM на 1000 слов, по языку
• Доля сегментов, не требующих правок после проверки постредактирования
• Расстояние редактирования между машинным результатом и окончательным опубликованным текстом
• Соблюдение терминологии в соответствии с вашим глоссарием
• Количество проблем, о которых сообщили локальные команды или клиенты после публикации

Расстояние редактирования особенно практично. Если редакторы меняют 40 процентов результата на языке, движок или промпт не работает для этой пары, независимо от того, что говорят автоматические оценки.

Стоимость опубликованного слова — это основной показатель эффективности. Включите сборы за движок или API, человеческое постредактирование, время проверки и управление проектом. Сравнение только стоимости API со старыми ставками агентств игнорирует время редактирования, которое все еще требуется для ИИ-результата.

Скорость измеряется как время от утверждения исходника до публикации страницы на каждом языке. Для запуска продукта это часто важнее всего с коммерческой точки зрения: быть в эфире на шести языках в день запуска, а не через три недели.

Отслеживайте пропускную способность на редактора

Количество слов после постредактирования в час, по языку и типу контента, показывает, где ИИ помогает больше всего. Маркетинговый текст с игрой слов обычно требует более серьезного редактирования, чем техническая документация. Видение этой разницы помогает вам направлять контент в правильный рабочий процесс.

Финальный тест — работают ли локализованные страницы на своих рынках. Используйте Google Search Console, отфильтрованную по стране и по языковой папке или кластеру hreflang, плюс аналитику, сегментированную по локали.

• Показы и клики по языковой папке в Search Console
• Страницы, проиндексированные по языку, по сравнению с опубликованными страницами
• Коэффициент конверсии по локали по сравнению с исходным языком
• Показатель отказов или вовлеченности на локализованных целевых страницах
• Тикеты в поддержку или возвраты, упоминающие языковую путаницу

Внимательно следите за соотношением проиндексированных и опубликованных страниц. Если 800 французских страниц активны, но Search Console показывает 300 проиндексированных, проблема может быть в качестве или дублировании, и больше перевода не поможет, пока это не будет решено.

Полезный дашборд помещается на одном экране и читается ежемесячно. Разместите качество, эффективность и рыночные результаты рядом для каждого языка, с линией тренда, а не с одной цифрой.

Простой макет в Looker Studio или таблице работает хорошо: строки для языков, столбцы для оценки ошибок, расстояния редактирования, стоимости слова, дней до публикации, проиндексированных страниц, органических кликов и конверсий. Раскрасьте ячейки в соответствии с целями, которые вы установили в начале, например, оценка ошибок ниже согласованного порога.

Добавьте один качественный столбец для заметок от локальных рецензентов. Цифры упускают такие вещи, как тон, который кажется слишком формальным для испанских читателей, или термин, который конкуренты используют иначе. Держите эти заметки краткими и конкретными, со ссылкой на страницу, чтобы следующий раунд редактирования мог действовать на их основе, а не спорить о том, что имел в виду рецензент. Через несколько месяцев столбец заметок часто становится самой полезной частью дашборда.