Die Messung von KI-Übersetzung und Lokalisierung bedeutet, vier Dinge gemeinsam zu verfolgen: Qualität, Kosten, Geschwindigkeit und Marktergebnisse. Die Qualität zeigt, ob das Ergebnis veröffentlichungsreif ist, Kosten und Geschwindigkeit zeigen den Effizienzgewinn, und lokaler Traffic und Conversions zeigen, ob der lokalisierte Inhalt etwas einbringt. Ein Dashboard, das nur eines davon anzeigt, führt in die Irre.
Warum ist KI-Übersetzung schwer zu messen?
Maschinelle Übersetzungsergebnisse können flüssig aussehen, obwohl sie falsch sind. Ein Satz mag auf Deutsch natürlich klingen, aber eine Produkteinschränkung umkehren oder den falschen Begriff für ein rechtliches Konzept verwenden. Da Flüssigkeit Fehler verbirgt, neigen Teams, die nach dem Prinzip „es liest sich gut“ urteilen, dazu, die Qualität zu überschätzen.
Es gibt auch ein Zeitproblem. Kosteneinsparungen erscheinen auf der ersten Rechnung, während sich die Auswirkungen auf Rankings oder Conversions in einem neuen Markt erst nach Monaten zeigen können. Teams, die nur frühe Einsparungen melden, kürzen möglicherweise die Überprüfung zu stark und sehen den Schaden erst später.
Welche Qualitäts-KPIs sollten Sie verfolgen?
Qualität erfordert sowohl ein menschliches als auch ein automatisches Maß. Automatische Metriken wie BLEU, chrF oder COMET vergleichen Ergebnisse mit Referenzübersetzungen und sind nützlich, um Engines auf demselben Testset zu vergleichen. Sie sind jedoch schlecht darin, eine einzelne Seite für einen echten Leser zu beurteilen.
Eine menschliche Überprüfung unter Verwendung einer Fehlertypologie liefert das klarste Bild. Das MQM-Framework (Multidimensional Quality Metrics) klassifiziert Fehler nach Typ, wie Genauigkeit, Terminologie, Flüssigkeit und Stil, sowie nach Schweregrad. Prüfer bewerten eine Stichprobe, und das Ergebnis ist eine Fehlerrate pro tausend Wörter, die Sie im Laufe der Zeit verfolgen können.
- MQM-Fehlerwert pro 1.000 Wörter, nach Sprache
- Anteil der Segmente, die nach der Post-Editing-Überprüfung keine Bearbeitung benötigen
- Bearbeitungsabstand zwischen maschinellem Ergebnis und dem endgültigen veröffentlichten Text
- Terminologie-Compliance gegenüber Ihrem Glossar
- Anzahl der von lokalen Teams oder Kunden nach der Veröffentlichung gemeldeten Probleme
Der Bearbeitungsabstand ist besonders praktisch. Wenn Redakteure 40 Prozent des Ergebnisses einer Sprache ändern, funktioniert die Engine oder der Prompt für dieses Paar nicht, unabhängig davon, was die automatischen Werte sagen.
Wie messen Sie Kosten und Geschwindigkeit?
Die Kosten pro veröffentlichtem Wort sind die zentrale Effizienzzahl. Beziehen Sie Engine- oder API-Gebühren, menschliches Post-Editing, Überprüfungszeit und Projektmanagement ein. Nur die API-Kosten mit alten Agenturraten zu vergleichen, ignoriert die Bearbeitungszeit, die KI-Ergebnisse immer noch benötigen.
Geschwindigkeit wird als Zeit von der Quellgenehmigung bis zur veröffentlichten Seite in jeder Sprache gemessen. Bei einer Produkteinführung ist dies kommerziell oft am wichtigsten: am Tag der Einführung in sechs Sprachen live zu sein, statt drei Wochen später.
Verfolgen Sie den Durchsatz pro Redakteur
Wörter pro Stunde nach dem Post-Editing, nach Sprache und Inhaltstyp, zeigen, wo KI am meisten hilft. Marketingtexte mit Wortspielen erfordern normalerweise eine stärkere Bearbeitung als technische Dokumentationen. Diesen Unterschied zu sehen, hilft Ihnen, Inhalte an den richtigen Workflow weiterzuleiten.
Welche Geschäfts-KPIs zeigen den Lokalisierungswert?
Der ultimative Test ist, ob lokalisierte Seiten in ihren Märkten funktionieren. Verwenden Sie die Google Search Console, gefiltert nach Land und nach Sprachordner oder Hreflang-Cluster, sowie Analysen, die nach Gebietsschema segmentiert sind.
- Impressionen und Klicks pro Sprachordner in der Search Console
- Indexierte Seiten pro Sprache im Vergleich zu veröffentlichten Seiten
- Conversion-Rate pro Gebietsschema im Vergleich zur Quellsprache
- Absprung- oder Engagement-Rate auf lokalisierten Landingpages
- Support-Tickets oder Rücksendungen, die Sprachverwirrung erwähnen
Beobachten Sie indexierte versus veröffentlichte Seiten genau. Wenn 800 französische Seiten live sind, aber die Search Console 300 indexiert anzeigt, könnten Qualität oder Duplizierung das Problem sein, und mehr Übersetzung wird nicht helfen, bis das gelöst ist.
Wie sollte ein Lokalisierungs-Dashboard aussehen?
Ein nützliches Dashboard passt auf einen Bildschirm und wird monatlich gelesen. Stellen Sie Qualität, Effizienz und Marktergebnisse für jede Sprache nebeneinander, mit einer Trendlinie, nicht einer einzelnen Zahl.
Ein einfaches Layout in Looker Studio oder einer Tabelle funktioniert gut: Zeilen für Sprachen, Spalten für Fehlerwert, Bearbeitungsabstand, Kosten pro Wort, Tage bis zur Veröffentlichung, indexierte Seiten, organische Klicks und Conversions. Färben Sie Zellen basierend auf Zielen, die Sie zu Beginn festgelegt haben, zum Beispiel ein Fehlerwert unter einem vereinbarten Schwellenwert.
Fügen Sie eine qualitative Spalte für Notizen von lokalen Prüfern hinzu. Zahlen übersehen Dinge wie einen Ton, der für spanische Leser zu formell wirkt, oder einen Begriff, den Wettbewerber anders verwenden. Halten Sie diese Notizen kurz und spezifisch, mit einem Seitenlink, damit die nächste Bearbeitungsrunde darauf reagieren kann, anstatt zu debattieren, was der Prüfer meinte. Nach ein paar Monaten wird die Notizenspalte oft zum nützlichsten Teil des Dashboards.
Wie Alien Road KI-Übersetzungsmessung anwendet
Bei einem typischen Engagement beginnt die Agentur mit einer Baseline: einer Stichprobe vorhandener übersetzter Seiten pro Sprache, bewertet mit einer MQM-Checkliste, aktuellen Kosten pro Wort und aktueller Zeit bis zur Veröffentlichung. Ohne Baseline ist jede spätere Zahl schwer zu lesen.
Die Einrichtung umfasst ein Glossar, einen Stil-Guide pro Sprache und einen Überprüfungs-Workflow, bei dem KI-Ergebnisse vor der Veröffentlichung an einen muttersprachlichen Redakteur gehen. Der Bearbeitungsabstand wird automatisch protokolliert, indem der maschinelle Entwurf mit dem endgültigen Text verglichen wird, sodass sich das Team nicht auf die Schätzungen der Redakteure verlassen muss.
Das Reporting kombiniert die Qualitätsstichprobe, Effizienzzahlen und Search Console-Daten pro Sprachordner in einer monatlichen Ansicht. Wenn eine Sprache einen hohen Bearbeitungsabstand oder eine schwache Indexierung aufweist, nennt der Bericht den verantwortlichen Inhaltstyp und die nächste Korrektur, wie Glossar-Updates oder eine andere Engine für dieses Paar.
Häufige Messfallen
Einige Fallen treten wiederholt auf und es lohnt sich, sie ab dem ersten Monat zu vermeiden:
- Qualität nur bei einfachen Inhalten bewerten, wie kurzen UI-Strings
- Dieselbe Person übersetzen und überprüfen lassen, was Fehler verbirgt
- Sprachen mit unterschiedlichen Inhaltsmischungen vergleichen, als wären sie gleich
- Hreflang-Fehler ignorieren, die Traffic an das falsche Gebietsschema senden
- Veröffentlichte Seiten als Erfolg zählen, ohne die Indexierung zu prüfen
Wo man diese Woche anfangen sollte
Wählen Sie Ihre zwei wichtigsten Zielsprachen aus. Nehmen Sie zehn kürzlich übersetzte Seiten in jeder Sprache als Stichprobe und lassen Sie einen muttersprachlichen Prüfer Fehler nach Typ und Schweregrad mit einem einfachen MQM-Blatt protokollieren.
Exportieren Sie gleichzeitig Search Console-Daten, die für die letzten drei Monate nach diesen Sprachordnern gefiltert sind. Fügen Sie beides in ein Blatt mit Kosten pro Wort und Tagen bis zur Veröffentlichung ein. Dieses einzelne Blatt ist Ihre Baseline, und es wird schnell zeigen, ob Sie in bessere Überprüfung, bessere Engines oder einfach mehr Inhalt investieren sollten.
Weiterlesen: KI-Optimierung · KI-Optimierung