Multimodale KI bezieht sich auf Modelle, die mehr als eine Art von Daten, wie Text, Bilder, Audio und Video, innerhalb eines einzigen Systems verstehen und produzieren. Beispiele sind GPT-4o, Gemini und Claude mit Vision-Input. Ihren Wert zu beweisen bedeutet, die Aufgabenpräzision bei echten Eingaben, die menschliche Prüfzeit, die Kosten pro Ausgabe und das Geschäftsergebnis, das die Aufgabe unterstützt, zu messen, nicht wie beeindruckend eine Demo aussieht.
Was zählt in der Marketingarbeit als multimodale KI?
Die meisten aktuellen Grenzmodelle akzeptieren Bilder neben Text, und einige verarbeiten Audio und Video. Im Marketing gehören zu den häufigen Aufgaben das Lesen von Screenshots von Werbe-Dashboards, das Schreiben von Alt-Texten und Produktbeschreibungen aus Fotos, das Überprüfen von Creatives anhand von Markenregeln, das Transkribieren und Zusammenfassen von Videos sowie das Extrahieren von Daten aus PDFs oder gescannten Dokumenten.
Die Generierung ist ebenfalls multimodal: Bildmodelle, Sprachsynthese und Videogenerierung. Die Messung von Generierung und Verständnis erfordert leicht unterschiedliche Metriken, also trennen Sie diese von Anfang an.
Warum ist die Messung schwieriger als bei reiner Text-KI?
Textausgaben können recht einfach mit Referenzantworten verglichen werden. Multimodalen Aufgaben fehlt oft eine einzige richtige Antwort. Zwei gute Alt-Texte für dasselbe Foto können nur wenige Wörter gemeinsam haben. Ein Bild, das dem Markenleitfaden folgt, kann dennoch die kreative Absicht verfehlen.
Eingaben variieren ebenfalls stärker. Unscharfe Fotos, ungewöhnliche Winkel, dichte Diagramme und akzentuierte Sprache beeinflussen die Genauigkeit. Ein Modell, das bei sauberen Beispielen gut abschneidet, könnte bei den unordentlichen Dateien, die Ihr Team tatsächlich hochlädt, Schwierigkeiten haben.
Welche KPIs sollten Sie verfolgen?
Wählen Sie einige Metriken pro Aufgabenfamilie und halten Sie diese über die Zeit stabil.
Für Verständnisaufgaben
- Genauigkeit gegenüber einer geprüften Stichprobe, bewertet mit einem Bewertungsschema wie korrekt, kleine Änderung, große Änderung, falsch.
- Extraktionsgenauigkeit auf Feldebene für Dokumente: Anteil der korrekten Felder.
- Halluzinationsrate: Anteil der Ausgaben, die etwas beschreiben, das in der Eingabe nicht vorhanden ist.
- Menschliche Prüfzeit pro Element, gemessen mit einer Stoppuhr bei Stichproben.
Für Generierungsaufgaben
- Erstabnahmerate: Anteil der Ausgaben, die ohne Änderungen genehmigt wurden.
- Iterationen pro genehmigtem Asset.
- Gefundene Markenkonformitätsprobleme pro Charge.
- Leistung veröffentlichter Assets, wie z. B. Klickrate in Anzeigen, im Vergleich zur vorherigen Methode.
Kosten und Geschwindigkeit
Verfolgen Sie die Kosten pro abgeschlossenem Element, einschließlich Wiederholungen, und die Durchlaufzeit von der Anfrage bis zur genehmigten Ausgabe. Bilder und Audio können pro Aufruf weit mehr kosten als Text, daher überraschen die Kosten pro Element die Teams oft.
Wie erstellt man ein Testset für Bilder und Videos?
Sammeln Sie echte Eingaben, keine Stock-Beispiele. Ein gutes Testset enthält die einfachen Fälle, die typischen und die schwierigen. Für eine Produktbeschreibungsaufgabe bedeutet das Studioaufnahmen, Benutzerfotos, Artikel mit Text auf der Verpackung und Artikel, die vor unruhigen Hintergründen fotografiert wurden.
Zielen Sie auf mindestens 100 Elemente pro Aufgabe ab. Lassen Sie zwei Personen darüber einig werden, was eine akzeptable Ausgabe enthält, und schreiben Sie dies eher als Checkliste denn als perfekte Antwort auf. Checklisten eignen sich besser für multimodale Aufgaben als exakte Referenzen.
Was sollte das Dashboard zeigen?
Beschränken Sie es auf einen Bildschirm pro Aufgabenfamilie:
- Wöchentlicher Trend bei Genauigkeit oder Erstabnahme.
- Halluzinationsanzahl mit Links zu Beispielen.
- Mittlere menschliche Prüfzeit pro Element.
- Kosten pro Element und Gesamtausgaben.
- Verarbeitetes Volumen.
- Eine Geschäftskennzahl, wie z. B. pro Woche veröffentlichte Produktseiten oder getestete Werbevarianten.
Links zu Beispielen sind wichtig. Eine Zahl allein sagt einem Prüfer nicht, was fehlgeschlagen ist; drei schlechte Beispiele tun dies normalerweise. Speichern Sie diese Beispiele in einem freigegebenen Ordner mit Datum und Modellversion, damit die Historie der Fehler verfügbar bleibt, nachdem sich die Dashboard-Zahlen weiterentwickelt haben.
Wie vergleicht man Modelle fair?
Führen Sie dasselbe Testset mit denselben Anweisungen durch jeden Kandidaten. Bewerten Sie blind, wenn Sie können, wobei die Prüfer nicht wissen, welches Modell welche Ausgabe erzeugt hat. Beachten Sie, dass Bildauflösungseinstellungen, die einige APIs offenlegen, sowohl die Genauigkeit als auch die Kosten ändern.
Wiederholen Sie den Vergleich, wenn Modelle aktualisiert werden. Anbieter veröffentlichen oft neue Versionen, und das Ranking zwischen ihnen bei Ihrer spezifischen Aufgabe kann sich ändern.
Wie Alien Road die Messung multimodaler KI anwendet
In einem typischen Engagement listet die Discovery jede Aufgabe auf, bei der Mitarbeiter Bilder, Dokumente, Audio oder Video betrachten und etwas darüber schreiben. Produktkatalogbeschreibungen, kreative Überprüfungen anhand von Markenleitfäden und Videotranskripte sind häufige Kandidaten.
Das Setup erstellt für jede ausgewählte Aufgabe ein Testset aus den eigenen Dateien des Kunden, definiert die Bewertungscheckliste mit dessen Team und vergleicht zwei oder drei Modelle damit. Der gewählte Workflow läuft zunächst mit menschlicher Überprüfung bei jeder Ausgabe und später mit Stichproben, sobald die Genauigkeit stabil ist.
Die Messung verwendet das oben genannte Dashboard. Zum Beispiel könnte ein monatlicher Bericht die Prüfzeit pro Produktbeschreibung, die Erstabnahmerate und die Kosten pro Beschreibung neben der Anzahl der veröffentlichten Produktseiten anzeigen. Wenn die Genauigkeit sinkt, verlinkt der Bericht die fehlgeschlagenen Beispiele, damit der Kunde die Ursache sehen kann, oft eine neue Art von Eingabe, die das Testset nicht enthielt.
Welche Fallstricke verzerren die Zahlen?
Achten Sie auf diese:
- Testen an sauberen Stichproben und Bereitstellung bei unordentlichen Uploads.
- Einsparungen zählen, ohne die Prüfzeit zu zählen.
- Halluzinationen ignorieren, weil die Ausgabe gut lesbar ist.
- Prompts und Modelle gleichzeitig ändern, sodass man nicht sagen kann, was geholfen hat.
- Ausgabevolumen messen, ohne dass ein Geschäftsergebnis damit verbunden ist.
Wer sollte die Messung besitzen?
Weisen Sie einer Person pro Aufgabenfamilie die Verantwortung für die Zahlen zu. Ihre Aufgabe ist klein, aber regelmäßig: Führen Sie die wöchentliche Stichprobe durch, aktualisieren Sie das Testset, wenn ein neuer Fehlertyp auftritt, und notieren Sie jede Prompt- oder Modelländerung in einem Änderungsprotokoll neben dem Dashboard.
Ohne einen benannten Eigentümer wird das Dashboard einmal erstellt und aufgegeben. Das Änderungsprotokoll ist besonders nützlich. Wenn die Genauigkeit sinkt, ist die erste Frage immer, was sich geändert hat, und eine datierte Liste von Bearbeitungen beantwortet dies schnell. Es hilft auch bei der Präsentation von Ergebnissen vor der Führungsebene, da Sie zeigen können, welche Anpassungen die Genauigkeit verbessert haben und welche nicht.
Wo man diese Woche anfangen soll
Wählen Sie eine Aufgabe, bei der Ihr Team Bilder oder Dokumente schriftlich beschreibt, wie z. B. Alt-Text für einen Produktkatalog. Ziehen Sie 100 echte Elemente, schreiben Sie eine kurze Akzeptanzcheckliste und führen Sie sie durch zwei multimodale Modelle. Messen Sie, wie lange ein Prüfer braucht, um jede Ausgabe zu genehmigen oder zu korrigieren. Genauigkeit, Prüfzeit und Kosten pro Element aus diesem einen Test werden Ihnen sagen, ob sich ein breiterer Rollout lohnt.
Weiterlesen: KI-Optimierung · KI-Optimierung