On-Device AI führt ein kompaktes Sprach- oder Bildmodell direkt auf dem Telefon oder Laptop aus, anstatt auf einem Cloud-Server. Apple Intelligence und Googles Gemini Nano sind die bekanntesten Beispiele. Eine Funktion vom Pilotprojekt in die Produktion zu überführen bedeutet, die Geräteunterstützung zu bestätigen, ein Cloud-Fallback zu entwerfen, die Qualität auf echter Hardware zu testen, das Datenschutzverhalten zu dokumentieren und die Akzeptanz für jede Plattform separat zu messen.
Apple Intelligence ist Apples System generativer Funktionen für iOS, iPadOS und macOS, mit einem kleineren On-Device-Modell und Private Cloud Compute für anspruchsvollere Anfragen. Apple hat zum Zeitpunkt der Erstellung dieses Textes den Zugriff auf sein On-Device-Grundmodell für Entwickler über ein Framework geöffnet. Gemini Nano ist Googles kleinstes Gemini-Modell, das auf ausgewählten Android-Geräten über den AICore-Systemdienst von Android und in experimenteller Form innerhalb von Chrome über integrierte AI-APIs verfügbar ist. Beide bringen denselben Kompromiss mit sich: Datenschutz und Geschwindigkeit im Austausch für ein kleineres Modell und eine ungleichmäßige Geräteabdeckung.
Warum sollte sich ein Marketing- oder Produktteam dafür interessieren?
On-Device-Modelle ermöglichen es einer App, Texte zusammenzufassen, umzuschreiben, zu klassifizieren oder zu extrahieren, ohne Benutzerdaten an einen Server zu senden. Das ist wichtig für Apps, die Nachrichten, Gesundheitsnotizen oder Finanzdaten verarbeiten, sowie für Märkte, in denen Benutzer und Regulierungsbehörden sensibel auf Datenübertragungen reagieren.
Es gibt auch einen Kostenaspekt. Die Inferenz auf dem Gerät des Benutzers erscheint nicht auf Ihrer Cloud-Rechnung. Für eine Funktion, die millionenfach am Tag genutzt wird, wie intelligente Antworten oder Textbereinigung, kann das die Wirtschaftlichkeit verändern, auch wenn der technische Aufwand höher ist.
Welche Geräte unterstützen es tatsächlich?
Dies ist die erste Hürde in der Checkliste. Apple Intelligence erfordert aktuelle Hardware sowie spezifische Sprach- und Regionseinstellungen; Gemini Nano ist auf Geräte beschränkt, deren Hersteller AICore-Unterstützung ausliefern. Beide Listen ändern sich mit jeder Veröffentlichung, prüfen Sie also die offizielle Dokumentation anstelle eines Blogbeitrags.
Ziehen Sie Ihre eigenen Analysen heran, bevor Sie sich festlegen. Wenn nur ein Bruchteil Ihrer aktiven Benutzer über unterstützte Geräte verfügt, wird die Funktion zu einer Erweiterung, nicht zu einer Kernfunktion, und der Plan sollte dies widerspiegeln.
Pilot-Checkliste
- Schreiben Sie die einzelne Aufgabe auf, die das Modell ausführen soll, wie z. B. Support-Tickets zusammenfassen oder Fotos taggen.
- Bestätigen Sie den Anteil Ihrer aktiven Benutzer auf unterstützten Geräten, nach Plattform und Land.
- Testen Sie das On-Device-Modell an 50 bis 100 echten Beispielen und vergleichen Sie es mit einem Cloud-Modell auf demselben Datensatz.
- Messen Sie Latenz und Batterieauswirkung auf dem ältesten unterstützten Gerät, nicht nur auf dem neuesten.
- Entscheiden Sie, was auf nicht unterstützten Geräten passiert: die Funktion ausblenden, ein Cloud-Modell aufrufen oder eine einfachere Nicht-AI-Version anbieten.
- Überprüfen Sie den Wortlaut der Datenschutzrichtlinie mit der Rechtsabteilung, bevor ein Benutzer die Funktion sieht.
Was ändert sich zwischen Pilot und Produktion?
Ein Pilot beweist, dass das Modell die Aufgabe erledigen kann. Die Produktion beweist, dass es dies für Tausende von Menschen auf gemischter Hardware tun kann, mit Modell-Updates, die Sie nicht kontrollieren.
Sowohl Apple als auch Google aktualisieren ihre On-Device-Modelle durch Betriebssystem- oder Systemdienst-Updates. Ihre Prompts und die Ausgabe-Analyse können sich nach einem Update anders verhalten. Behandeln Sie dies wie jede Drittanbieter-Abhängigkeit: Pflegen Sie ein Regressions-Testset und führen Sie es aus, wenn eine neue OS-Version die Beta-Phase erreicht.
Produktions-Checkliste
- Versehen Sie den AI-Pfad mit einem Feature-Flag, damit er aus der Ferne abgeschaltet werden kann.
- Protokollieren Sie anonyme Ergebnissignale, wie akzeptiert, bearbeitet oder abgelehnt, ohne den Inhalt des Benutzers zu protokollieren.
- Setzen Sie Leitplanken für Ausgabelänge und -format und behandeln Sie leere oder fehlerhafte Antworten.
- Dokumentieren Sie den Fallback-Pfad und dessen Kosten, falls er ein Cloud-Modell verwendet.
- Fügen Sie die Funktion der Release-QA auf mindestens einem unterstützten und einem nicht unterstützten Gerät pro Plattform hinzu.
- Bereiten Sie Support-Antworten auf die Frage “Warum sehe ich diese Funktion nicht?” vor.
Wie messen Sie, ob es funktioniert hat?
Messen Sie Akzeptanz und Qualität pro Plattform, da sich die Modelle unterscheiden. Nützliche Metriken sind der Anteil der berechtigten Benutzer, die die Funktion ausprobieren, die Akzeptanzrate der AI-Ausgabe, die Bearbeitungsrate nach der Akzeptanz und die Zeit bis zur Aufgabenabschluss im Vergleich zum Nicht-AI-Pfad.
Seien Sie vorsichtig mit Datenschutzversprechen bei der Messung. Wenn Ihr Marketing sagt, dass Daten das Gerät niemals verlassen, kann Ihre Analytik den Text nicht im Stillen sammeln. Verfolgen Sie das Verhalten, nicht den Inhalt.
Was sind die Hauptgrenzen von On-Device-Modellen?
Kleine Modelle wissen weniger und schlussfolgern weniger gut als ihre Cloud-Geschwister. Sie sind gut bei begrenzten Aufgaben mit den benötigten Informationen im Prompt, wie das Umschreiben eines Absatzes oder das Extrahieren eines Datums aus einer E-Mail. Sie sind schlecht bei offenen Fragen, die breites Weltwissen erfordern.
Kontextfenster sind ebenfalls kürzer, daher müssen lange Dokumente möglicherweise aufgeteilt werden. Und da Sie das Systemmodell nicht so feinabstimmen können wie ein Cloud-Modell, kommen Qualitätsverbesserungen durch bessere Prompts und eine bessere Eingabevorbereitung, nicht durch Training. Planen Sie Funktionen um diese Grenzen herum, anstatt zu hoffen, dass das nächste OS-Release sie entfernt.
Welche Anwendungsfälle eignen sich am besten für On-Device-Modelle?
Begrenzte Textaufgaben sind der sicherste Start: Zusammenfassen einer einzelnen Nachricht, Vorschlagen einer kurzen Antwort, Umschreiben einer Notiz in einem freundlicheren Ton oder Extrahieren einer Adresse oder eines Datums. Bildaufgaben wie das Taggen von Fotos oder das Entfernen eines Hintergrunds eignen sich ebenfalls für die lokale Verarbeitung.
Aufgaben, die frische Informationen, lange Dokumente oder sorgfältiges Schlussfolgern erfordern, gehören auf ein Server-Modell. Eine klare Trennung, lokal für schnelle private Aufgaben und Cloud für schwere, ist einfacher für Benutzer und Rechtsteams zu erklären als eine Funktion, die unvorhersehbar umschaltet.
Wie Alien Road On-Device AI anwendet
Unsere Rolle bei einem typischen Engagement liegt zwischen Produkt und Marketing. Die Entdeckung beginnt mit der Analyse des Kunden, um die Zielgruppe mit unterstützten Geräten zu dimensionieren, gefolgt von einem kurzen Workshop darüber, welche Aufgabe den Benutzern einen sichtbaren Nutzen bringt.
Wir helfen beim Aufbau des Testsets und des Vergleichs mit einem Cloud-Modell, definieren die Akzeptanzmetriken und bauen ein Dashboard, das die Ergebnisse nach Plattform und Geräteklasse aufteilt. Auf der Marketingseite schreiben wir die In-App- und Store-Texte so, dass die Datenschutzbehauptungen genau dem entsprechen, was die Funktion tut, und wir berichten monatlich über die Akzeptanz, damit der Kunde entscheiden kann, ob er sie erweitern, beibehalten oder einstellen soll.
Wo man diese Woche anfangen sollte
Exportieren Sie die aktiven Benutzer des letzten Monats nach Gerätemodell und OS-Version. Vergleichen Sie dies mit den aktuellen offiziellen Support-Listen für Apple Intelligence und Gemini Nano. Diese eine Tabelle sagt Ihnen, ob On-Device AI ein Hauptmerkmal oder eine stille Erweiterung für Ihr Produkt ist.
Wenn der Anteil signifikant ist, wählen Sie eine Textaufgabe, sammeln Sie 50 echte Beispiele und führen Sie sie auf einem Testtelefon durch das On-Device-Modell. Schreiben Sie auf, wo es scheitert. Diese Liste ist Ihr Pilotplan.
Weiterlesen: KI-Optimierung · KI-Optimierung