ИИ на устройстве запускает компактную языковую или визуальную модель непосредственно на телефоне или ноутбуке, а не на облачном сервере. Apple Intelligence и Gemini Nano от Google — самые известные примеры. Перевод функции из пилотного проекта в производство означает подтверждение поддержки устройства, разработку облачного резервного варианта, тестирование качества на реальном оборудовании, документирование поведения в отношении конфиденциальности и измерение внедрения отдельно для каждой платформы.
Apple Intelligence — это система генеративных функций Apple в iOS, iPadOS и macOS, с меньшей моделью на устройстве и Private Cloud Compute для более тяжелых запросов. На момент написания Apple открыла доступ к своей базовой модели на устройстве для разработчиков через фреймворк. Gemini Nano — это самая маленькая модель Gemini от Google, доступная на выбранных устройствах Android через системную службу Android AICore и, в экспериментальной форме, внутри Chrome через встроенные API ИИ. Оба варианта несут один и тот же компромисс: конфиденциальность и скорость в обмен на меньшую модель и неравномерное покрытие устройств.
Почему это должно волновать команду маркетинга или продукта?
Модели на устройстве позволяют приложению обобщать, переписывать, классифицировать или извлекать текст без отправки пользовательских данных на сервер. Это важно для приложений, обрабатывающих сообщения, медицинские заметки или финансовые данные, а также для рынков, где пользователи и регулирующие органы чувствительны к передаче данных.
Есть также аспект стоимости. Вывод на устройстве пользователя не появляется в вашем облачном счете. Для функции, используемой миллионы раз в день, такой как умные ответы или очистка текста, это может изменить экономику, хотя инженерные усилия выше.
Какие устройства на самом деле поддерживают это?
Это первый барьер в контрольном списке. Apple Intelligence требует недавнего оборудования и специфических настроек языка и региона; Gemini Nano ограничена устройствами, производители которых поставляют поддержку AICore. Оба списка меняются с каждым выпуском, поэтому проверяйте официальную документацию, а не запись в блоге.
Изучите свою собственную аналитику, прежде чем брать на себя обязательства. Если только часть ваших активных пользователей владеет поддерживаемыми устройствами, функция становится улучшением, а не основной функцией, и план должен это отражать.
Пилотный контрольный список
- Запишите одну задачу, которую будет выполнять модель, например, обобщение тикетов поддержки или тегирование фотографий.
- Подтвердите долю ваших активных пользователей на поддерживаемых устройствах по платформам и странам.
- Протестируйте модель на устройстве на 50–100 реальных примерах и сравните ее с облачной моделью на том же наборе.
- Измерьте задержку и влияние на батарею на самом старом поддерживаемом устройстве, а не только на самом новом.
- Решите, что происходит на неподдерживаемых устройствах: скрыть функцию, вызвать облачную модель или предложить более простую версию без ИИ.
- Просмотрите формулировку политики конфиденциальности с юридическим отделом, прежде чем любой пользователь увидит функцию.
Что меняется между пилотом и производством?
Пилот доказывает, что модель может выполнить задачу. Производство доказывает, что она может сделать это для тысяч людей на смешанном оборудовании, с обновлениями модели, которые вы не контролируете.
И Apple, и Google обновляют свои модели на устройстве через обновления операционной системы или системных служб. Ваши промпты и парсинг вывода могут вести себя иначе после обновления. Относитесь к этому как к любой сторонней зависимости: ведите набор регрессионных тестов и запускайте его, когда новая версия ОС достигает бета-версии.
Производственный контрольный список
- Используйте флаг функции для пути ИИ, чтобы его можно было отключить удаленно.
- Регистрируйте анонимные сигналы результатов, такие как принято, отредактировано или отклонено, не регистрируя контент пользователя.
- Установите ограничения для длины и формата вывода, а также обрабатывайте пустые или неправильно сформированные ответы.
- Задокументируйте путь отката и его стоимость, если он использует облачную модель.
- Добавьте функцию в QA выпуска как минимум на одном поддерживаемом и одном неподдерживаемом устройстве для каждой платформы.
- Подготовьте ответы службы поддержки на вопрос “почему я не вижу эту функцию?”
Как измерить, сработало ли это?
Измеряйте внедрение и качество по платформам, потому что модели различаются. Полезными метриками являются доля подходящих пользователей, которые пробуют функцию, уровень принятия вывода ИИ, уровень редактирования после принятия и время завершения задачи по сравнению с путем без ИИ.
Будьте осторожны с обещаниями конфиденциальности при измерении. Если ваш маркетинг говорит, что данные никогда не покидают устройство, ваша аналитика не может тихо собирать текст. Отслеживайте поведение, а не контент.
Каковы основные ограничения моделей на устройстве?
Маленькие модели знают меньше и рассуждают хуже, чем их облачные собратья. Они хороши в ограниченных задачах с необходимой информацией в промпте, таких как переписывание абзаца или извлечение даты из электронной почты. Они плохи в открытых вопросах, требующих широких знаний о мире.
Контекстные окна также короче, поэтому длинные документы, возможно, придется разбивать. И поскольку вы не можете точно настроить системную модель так, как вы бы сделали это с облачной моделью, улучшения качества приходят от лучших промптов и лучшей подготовки ввода, а не от обучения. Планируйте функции вокруг этих ограничений, а не надейтесь, что следующий выпуск ОС их устранит.
Какие варианты использования лучше всего подходят для моделей на устройстве?
Ограниченные текстовые задачи — самый безопасный старт: обобщение одного сообщения, предложение короткого ответа, переписывание заметки в более дружелюбном тоне или извлечение адреса или даты. Задачи с изображениями, такие как тегирование фотографий или удаление фона, также подходят для локальной обработки.
Задачи, требующие свежей информации, длинных документов или тщательного рассуждения, относятся к серверной модели. Четкое разделение — локальное для быстрых личных задач и облачное для тяжелых — легче объяснить пользователям и юридическим командам, чем функцию, которая переключается непредсказуемо.
Как Alien Road применяет ИИ на устройстве
Наша роль в типичном взаимодействии находится между продуктом и маркетингом. Открытие начинается с аналитики клиента, чтобы определить размер аудитории поддерживаемых устройств, затем короткий семинар о том, какая задача дает пользователям видимую выгоду.
Мы помогаем настроить набор тестов и сравнение с облачной моделью, определяем метрики внедрения и создаем панель мониторинга, которая разделяет результаты по платформам и классам устройств. Со стороны маркетинга мы пишем текст внутри приложения и магазина так, чтобы заявления о конфиденциальности точно соответствовали тому, что делает функция, и ежемесячно отчитываемся о внедрении, чтобы клиент мог решить, расширять, сохранять или прекращать ее использование.
С чего начать на этой неделе
Экспортируйте активных пользователей за последний месяц по модели устройства и версии ОС. Сравните это с текущими официальными списками поддержки для Apple Intelligence и Gemini Nano. Эта единственная таблица скажет вам, является ли ИИ на устройстве главной функцией или тихим улучшением для вашего продукта.
Если доля значительна, выберите одну текстовую задачу, соберите 50 реальных примеров и прогоните их через модель на устройстве на тестовом телефоне. Запишите, где она терпит неудачу. Этот список — ваш пилотный план.
Читать далее: ИИ-оптимизация · ИИ-оптимизация