La IA en el dispositivo cambia dónde recae la factura. Con Apple Intelligence y Gemini Nano, el modelo se ejecuta en el teléfono o portátil del usuario, por lo que no hay tarifa de nube por solicitud, pero los costes se trasladan al tiempo de ingeniería, los límites de cobertura del dispositivo y una capacidad de modelo más limitada. El ROI proviene de un menor gasto en inferencia, un mejor posicionamiento de privacidad y funciones más rápidas, medido frente a una línea base de modelo en la nube.
¿Qué cuenta como IA en el dispositivo hoy en día?
Apple Intelligence es el conjunto de funciones del sistema y marcos de desarrollo de Apple que ejecutan un modelo de lenguaje compacto localmente en hardware compatible de iPhone, iPad y Mac, con Private Cloud Compute utilizado para tareas más pesadas. Los desarrolladores pueden llamar al modelo en el dispositivo a través del marco Foundation Models de Apple. Gemini Nano es el modelo Gemini más pequeño de Google, integrado en Android a través de AICore en dispositivos compatibles y expuesto a desarrolladores web a través de API de IA integradas experimentales en Chrome.
Ambos comparten el mismo compromiso. El modelo es lo suficientemente pequeño como para caber en la memoria del dispositivo, por lo que maneja bien el resumen, la reescritura, la clasificación y la extracción corta. No es un reemplazo para un modelo de nube grande en razonamiento largo, conocimiento mundial amplio o documentos grandes.
¿Dónde residen realmente los costes?
Los equipos acostumbrados a las API en la nube a menudo asumen que en el dispositivo significa gratis. Es gratis por llamada, pero el proyecto no lo es. El presupuesto se traslada a cuatro lugares.
- Ingeniería: integración de marcos de plataforma, manejo de comprobaciones de disponibilidad, escritura de alternativas y pruebas en todas las generaciones de dispositivos.
- Brechas de cobertura: solo los dispositivos recientes de gama alta admiten estos modelos, por lo que una parte de su audiencia aún necesita una ruta en la nube o ninguna función en absoluto.
- Trabajo de calidad: el diseño de prompts y la evaluación para un modelo más pequeño requieren más iteraciones, porque falla de manera diferente a uno grande.
- Mantenimiento: las actualizaciones del sistema operativo pueden cambiar el comportamiento del modelo, lo que significa volver a probar en cada versión principal.
La alternativa en la nube tiene la forma opuesta: configuración baja, tarifas continuas por token que escalan con el uso. Esa diferencia es el núcleo del cálculo del ROI.
¿Cómo presupuestar una función de IA en el dispositivo?
Divida el presupuesto en una construcción única y un coste de ejecución recurrente. La construcción es principalmente semanas de desarrollador. El coste de ejecución es cercano a cero para los dispositivos compatibles e igual a su coste de alternativa en la nube para el resto.
Un marco de trabajo
Por ejemplo, imagine una aplicación minorista que añade un botón de “resumir reseñas”. En los dispositivos compatibles, el resumen se genera localmente. En los dispositivos más antiguos, llama a un modelo en la nube. Su coste de ejecución mensual es entonces el número de resúmenes solicitados en dispositivos no compatibles multiplicado por el precio en la nube por resumen. A medida que la base de dispositivos se actualiza, ese número se reduce sin ningún trabajo nuevo.
- Estime el uso mensual de la función a partir de análisis de funciones similares.
- Divida ese uso por dispositivos compatibles frente a no compatibles utilizando sus propios datos de audiencia.
- Ponga precio a la parte no compatible a la tarifa actual de su proveedor de nube.
- Añada el coste de construcción, amortizado durante la vida útil esperada de la función.
Esto da un punto de equilibrio: el mes en el que los ahorros acumulados en la nube superan el esfuerzo de construcción adicional.
¿Qué retornos es realista reclamar?
El retorno más claro es el gasto de inferencia evitado. Si una función de alto volumen pasa de la nube al dispositivo para la mayoría de los usuarios, el ahorro es visible en la factura. Sin embargo, solo importa cuando el volumen es alto. Una función utilizada unas pocas cientos de veces al día rara vez justifica una ruta separada en el dispositivo.
El segundo retorno es la privacidad. El procesamiento en el dispositivo significa que el texto personal, las fotos o los mensajes no lo abandonan, lo que simplifica algunas conversaciones de cumplimiento bajo reglas como el RGPD y la KVKK de Turquía. Eso es difícil de cuantificar, pero puede desbloquear funciones que un equipo legal rechazaría de otro modo.
El tercer retorno es la velocidad y el uso sin conexión. La inferencia local evita un viaje de ida y vuelta a la red, y las funciones siguen funcionando en un tren o en una tienda con mala señal. Mídalo como latencia y tasa de finalización, no como un beneficio vago.
¿Qué KPI prueban el valor?
Elija una lista corta y sígala desde el lanzamiento. Demasiadas métricas ocultan la señal.
- Cuota de solicitudes de funciones servidas en el dispositivo frente a la alternativa en la nube.
- Gasto de inferencia en la nube por mes para la función, antes y después.
- Tiempo de respuesta medio en el dispositivo en comparación con la ruta en la nube.
- Adopción de funciones y uso repetido entre usuarios compatibles.
- Tasa de éxito de la tarea a partir de comentarios de los usuarios o una pequeña muestra de revisión manual.
Si la adopción es baja, los ahorros de costes son irrelevantes. Trate el uso como la primera puerta, luego mire el dinero.
Cómo aplica Alien Road la IA en el dispositivo en proyectos de optimización
Un compromiso típico comienza con una auditoría de las funciones de IA existentes del cliente y sus facturas de nube. El equipo marca las tareas que son cortas, frecuentes y sensibles a la privacidad, porque son las mejores candidatas para modelos locales. La generación de formato largo y las tareas de investigación permanecen en la nube.
Durante la configuración, el equipo trabaja junto a los desarrolladores del cliente para definir alternativas y un conjunto de evaluación: unos pocos cientos de entradas reales y anonimizadas con resultados buenos acordados. Tanto la ruta en el dispositivo como la de la nube se puntúan frente al mismo conjunto, por lo que la calidad se compara con evidencia en lugar de impresiones.
La medición se ejecuta a través de la pila de análisis del cliente, generalmente Firebase o una herramienta de análisis de productos, con eventos para qué ruta sirvió cada solicitud. El informe mensual muestra la cobertura del dispositivo, el gasto ahorrado, la latencia y las puntuaciones de calidad lado a lado, además de una recomendación sobre si extender el procesamiento en el dispositivo a la siguiente función o mantenerlo donde está.
¿Cuándo es la IA en el dispositivo la elección incorrecta?
Algunas situaciones argumentan en contra. Ser claro sobre ellas es parte de un caso de ROI honesto.
- Funciones de bajo volumen, donde las tarifas de la nube ya son triviales.
- Audiencias en hardware más antiguo o económico, donde la cobertura sería pequeña durante años.
- Tareas que necesitan información actual o grandes ventanas de contexto.
- Sitios web de marketing sin una aplicación, donde el soporte del navegador para modelos integrados sigue siendo experimental.
En estos casos, un modelo en la nube bien elegido con almacenamiento en caché suele ser más barato en general.
Por dónde empezar esta semana
Exporte la factura de la nube relacionada con la IA del mes pasado y enumere las funciones detrás de ella. Para cada una, anote el volumen de solicitudes y la duración de la entrada típica. Las tareas cortas, frecuentes y privadas van a una lista corta.
Luego, verifique sus análisis para conocer la cuota de usuarios en dispositivos que admiten Apple Intelligence o Gemini Nano. Multiplique ambos y tendrá una primera estimación de cuánto gasto podría mover una ruta en el dispositivo. Si el número es pequeño, deténgase allí. Si es grande, un prototipo de dos semanas con un conjunto de evaluación es el siguiente paso sensato.
Siga leyendo: Optimización con IA · Optimización con IA