Обнаружение AI-контента — это использование классификаторов, которые оценивают вероятность того, что текст был написан языковой моделью. Переход от пилотного проекта к производству означает выбор инструмента, тестирование его на собственных текстах, установку пороговых значений, допускающих ложноположительные результаты, и интеграцию в редакционный рабочий процесс, где окончательное решение принимает человек. Оценка детектора — это сигнал, а не вердикт.
Зачем маркетинговой команде использовать обнаружение AI-контента?
Команды редко внедряют детекторы, чтобы наказывать авторов. Обычные причины — контроль качества и риски. Агентства хотят знать, что фриланс-копирайтинг не был скопирован прямо из чат-бота, издатели хотят избежать массового производства низкокачественных страниц, а бренды хотят иметь аудиторский след при аутсорсинге контента.
Поисковые системы добавляют контекст. Публичные рекомендации Google гласят, что он вознаграждает полезный контент независимо от того, как он создан, в то время как его политика в отношении спама нацелена на контент, созданный в основном для манипулирования рейтингами. Так что настоящий вопрос не в том, «участвовал ли AI», а в том, «является ли эта страница оригинальной, точной и полезной». Детектор может помочь пометить страницы для более внимательного рассмотрения этого вопроса.
Что могут делать детекторы, а что нет?
Инструменты, такие как GPTZero, Originality.ai, Copyleaks, Winston AI и индикатор AI-письма Turnitin, анализируют статистические закономерности: насколько предсказуемо каждое слово, как сильно варьируется длина предложений, как часто повторяются определенные фразы. Высокооднородный, предсказуемый текст, как правило, оценивается как написанный машиной.
Ограничения серьезны, и каждый заинтересованный участник должен услышать о них до начала пилотного проекта.
- Ложноположительные результаты случаются, особенно с короткими текстами, шаблонными жанрами, такими как описания товаров, и текстами, написанными не носителями английского языка.
- Легкое редактирование человеком AI-вывода может резко снизить баллы, поэтому низкий балл мало что доказывает.
- Оценки различаются между инструментами на одном и том же тексте, иногда со значительным отрывом.
- Детекторы обучены в основном на английском языке; точность на турецком, русском или азербайджанском языках обычно слабее.
- Ни один инструмент не может сказать вам, верны ли факты, что важнее для читателей.
Независимые оценки неоднократно показывали, что точность далека от уверенности, поэтому ни один детектор не должен самостоятельно решать вопрос об оплате или контракте кого-либо.
Контрольный список пилотного проекта
Проводите пилотный проект в течение четырех-шести недель на ограниченном наборе контента. Цель — узнать, как инструмент ведет себя на вашем собственном материале.
Шаг 1: определите цель
- Напишите одно предложение о том, почему вы проводите обнаружение: проверка качества, аудит поставщика или соответствие требованиям.
- Решите, что происходит после пометки: проверка редактором, а не автоматический отказ.
- Договоритесь, кто видит оценки, а кто нет.
Шаг 2: создайте тестовый набор
- Соберите 30 текстов, которые, как вы знаете, были написаны людьми в вашей команде.
- Соберите 30 текстов, которые, как вы знаете, были сгенерированы, некоторые сырые, некоторые отредактированные.
- Включите каждый язык и тип контента, который вы публикуете: блоги, страницы товаров, реклама, электронные письма.
- Пропустите каждый текст через два или три инструмента и запишите оценки в таблицу.
Шаг 3: честно прочитайте результаты
- Посчитайте, сколько человеческих текстов было помечено. Это ваш уровень ложноположительных результатов на ваших собственных данных.
- Отметьте, какие типы контента больше всего сбивают инструмент с толку.
- Выберите инструмент, чьи ошибки вы можете терпеть, а не тот, у которого лучшая маркетинговая страница.
Переход от пилота к производству
Производство означает, что проверка выполняется на каждом соответствующем материале без необходимости напоминать об этом.
Размещение в рабочем процессе
Поместите обнаружение после первого редактирования и перед окончательным утверждением. Многие команды добавляют его как шаг в свою доску управления контентом в Asana, Trello, Notion или Jira, с оценкой, вставленной в задачу. Некоторые инструменты предлагают доступ к API или плагин для Google Docs и WordPress, что устраняет работу по копированию и вставке.
Пороговые значения и действия
- Ниже вашего нижнего порога: никаких действий.
- В среднем диапазоне: редактор читает на предмет общих фраз, отсутствующих примеров и неподтвержденных утверждений.
- Выше верхнего порога: редактор запрашивает у автора черновики, заметки или источники перед утверждением.
Устанавливайте пороговые значения на основе данных пилотного проекта, а не настроек поставщика по умолчанию. Пересматривайте их каждый квартал, потому что модели детекторов меняются, как и ваш стиль письма.
Документация
Сохраняйте оценку, примечание рецензента и решение с каждой статьей. Если клиент или регулирующий орган когда-нибудь спросит, как проверялся контент, краткая запись гораздо убедительнее, чем воспоминания о разговоре.
Как Alien Road применяет обнаружение AI-контента
Alien Road открыто использует инструменты AI-черновиков во многих проектах, поэтому обнаружение служит для нас другой цели: обеспечение качества контента, который должен читаться как опытный и специфический. В типичном взаимодействии открытие начинается с собственной политики клиента. Некоторые клиенты запрещают сгенерированный текст в определенных разделах, таких как медицинские или юридические утверждения; другие требуют только проверки человеком.
Настройка следует шагам пилотного проекта выше. Мы тестируем детекторы на существующих страницах клиента на каждом языке, записываем правила пороговых значений в редакционный контрольный список и добавляем шаг проверки фактов, который не может заменить ни один детектор: каждая цифра нуждается в источнике, каждое утверждение о продукте нуждается в одобрении клиента.
Отчетность является частью ежемесячного отчета о контенте. В нем перечислены проверенные страницы, возвращенные страницы и причины, которыми обычно являются отсутствие примеров или расплывчатые советы, а не просто высокий балл. Со временем эта обратная связь формирует бриф на написание больше, чем сам инструмент.
Каких ошибок следует избегать?
- Использование оценок детектора для обвинения авторов без разговора и доказательств.
- Отношение к оценке «100% человек» как к доказательству качества; человек тоже может писать пустые страницы.
- Запуск только одного инструмента и доверие его числу до десятичной точки.
- Забывание о многоязычном контенте, где оценки наименее надежны.
- Трата большего времени на оценки, чем на факты, структуру и оригинальность.
Как следует говорить с авторами об обнаружении?
Скажите авторам до начала пилотного проекта, объясните цель и покажите им результаты ложноположительных срабатываний из вашего собственного тестового набора. Люди принимают проверку, которую понимают. Они сопротивляются скрытой оценке, которая появляется в письме об отказе без объяснения причин, и хорошие фрилансеры просто уходят.
С чего начать на этой неделе
Соберите 20 написанных людьми и 20 сгенерированных текстов из вашего собственного архива, пропустите их через два детектора и посчитайте ложноположительные результаты. Этот небольшой тест расскажет вам об инструменте больше, чем любое заявление поставщика.
Затем напишите политику на одной странице: почему вы проверяете, где проверка находится в рабочем процессе и что вызывает пометку. Поделитесь ею с авторами до того, как первая оценка попадет в задачу, чтобы обнаружение поддерживало качество, а не создавало подозрения.
Читать далее: SEO (Поисковая оптимизация) · SEO