ИИ на устройстве (Apple Intelligence, Gemini Nano) против облачных инструментов

Apple Intelligence — это набор функций ИИ от Apple, встроенных в ее операционные системы. Он включает инструменты письма, которые переписывают, проверяют и суммируют текст в приложениях, сводки уведомлений и электронной почты, инструменты для работы с изображениями и более способную Siri. Apple запускает небольшие модели на устройстве и отправляет более крупные запросы на свои серверы Private Cloud Compute, которые, по ее словам, разработаны так, чтобы данные не сохранялись. Некоторые запросы также могут быть переданы в ChatGPT с разрешения пользователя.

Gemini Nano — это самая маленькая модель Gemini от Google, разработанная для работы на устройстве. На телефонах Pixel и некоторых Samsung она поддерживает такие функции, как сводки диктофона, умные ответы и обнаружение мошеннических звонков. Google также добавила Nano в Chrome на рабочем столе, где разработчики могут вызывать встроенные API ИИ для таких задач, как суммирование или перевод текста без обращения к серверу.

Списки функций различаются в зависимости от устройства, региона и языка и меняются с каждым обновлением программного обеспечения. Проверьте текущую поддержку для ваших устройств на момент написания.

• Конфиденциальность: обработка на устройстве сохраняет данные на оборудовании; облачные инструменты отправляют их провайдеру в соответствии с их условиями обработки данных.
• Скорость: локальные модели отвечают без сетевой задержки для небольших задач; облачные модели могут запускаться медленнее, но обрабатывают больше работы за запрос.
• Возможности: небольшие локальные модели справляются со сводками, переписыванием и классификацией; большие облачные модели справляются с длинным контекстом, сложными рассуждениями и детальной генерацией.
• Стоимость: функции на устройстве поставляются вместе с оборудованием; облачные инструменты обычно взимают плату за место или за токен.
• Использование в автономном режиме: локальные модели могут работать без подключения; облачные инструменты — нет.
• Контроль: облачные API предоставляют выбор модели, журналы и настройки; встроенные функции устройства предлагают мало элементов управления.

Инструменты на устройстве хорошо подходят для личной продуктивности с конфиденциальными материалами. Менеджер по продажам, суммирующий длинное письмо клиента на iPhone, или руководитель аккаунта, проверяющий сводку контракта на Mac, держит этот текст подальше от сторонних серверов. Для агентств, обрабатывающих данные клиентов, это важно.

Они также подходят для быстрых, повторяющихся микрозадач: переписывание подписи в социальных сетях в более дружелюбном тоне, очистка заметок о встрече или перевод короткого сообщения. Эти задачи не требуют большой модели, и результат достаточно быстр, чтобы оставаться в рабочем процессе.

Облачные модели выигрывают, когда работа большая. Анализ данных кампании за полный квартал, написание длинной статьи, сравнение десяти страниц конкурентов или создание множества вариантов объявлений требует больше памяти и рассуждений, чем может обеспечить телефон. Общие рабочие процессы также благоприятствуют облаку: команде нужны подсказки, история и результаты в одном месте, а не разбросанные по личным устройствам.

Другая причина — последовательность. Облачный API возвращает похожий результат для одного и того же запроса и настроек, что облегчает проверку и аудит. Функции на устройстве различаются в зависимости от устройства пользователя, версии операционной системы и настроек языка.

Более важная история может быть на стороне получателя. Когда телефоны суммируют уведомления и электронные письма, ваша тщательно написанная тема письма может дойти до пользователя как короткая машинная сводка. Сводки почты и функции приоритета Apple уже меняют то, как сообщения отображаются в некоторых почтовых ящиках.

• Поместите основной момент в первое предложение электронных писем и push-уведомлений.
• Избегайте умных, но расплывчатых тем писем, которые сводка может сгладить.
• Используйте четкие имена отправителей и последовательное форматирование, чтобы сортировка по приоритету правильно считывала ваше сообщение.
• Тестируйте кампании на устройствах с включенными этими функциями и смотрите, что говорит сводка.

Модели на основе браузера вызывают похожие вопросы для веб-сайтов. Если Chrome может суммировать страницу локально, четкие заголовки и прямой вступительный абзац помогут сводке сказать то, что вы задумали.

Маленькие модели совершают ошибки, и сводки уведомлений приводили к хорошо известным ошибкам, что побудило Apple скорректировать и пометить некоторые функции сводок. Относитесь к любой сводке на устройстве как к удобству, а не как к записи. Для работы с клиентами сохраняйте исходный текст как источник истины.

Управление устройствами — это другая проблема. Компании должны решить, разрешены ли функции ИИ на управляемых устройствах и какие внешние расширения, такие как проход через ChatGPT, допустимы. Apple и Google предоставляют администраторам элементы управления через управление мобильными устройствами.