Medir la traducción y localización por IA significa realizar un seguimiento conjunto de cuatro elementos: calidad, coste, velocidad y resultados de mercado. La calidad muestra si el resultado es apto para su publicación, el coste y la velocidad muestran la ganancia en eficiencia, y el tráfico local y las conversiones muestran si el contenido localizado genera algún beneficio. Un panel que solo muestre uno de estos elementos inducirá a error.
¿Por qué es difícil medir la traducción por IA?
El resultado de la traducción automática puede parecer fluido y, sin embargo, ser incorrecto. Una frase puede leerse con naturalidad en alemán y, aun así, invertir una limitación del producto o utilizar el término equivocado para un concepto legal. Dado que la fluidez oculta los errores, los equipos que juzgan basándose en “se lee bien” tienden a sobrevalorar la calidad.
También existe un problema de tiempos. El ahorro de costes aparece en la primera factura, mientras que el efecto en el posicionamiento o las conversiones en un nuevo mercado puede tardar meses. Los equipos que solo informan de los ahorros iniciales pueden recortar demasiado la revisión y ver el daño solo más tarde.
¿Qué KPI de calidad debería seguir?
La calidad necesita tanto una medida humana como una automática. Las métricas automáticas como BLEU, chrF o COMET comparan el resultado con traducciones de referencia y son útiles para comparar motores en el mismo conjunto de pruebas. Son deficientes a la hora de juzgar una sola página para un lector real.
La revisión humana utilizando una tipología de errores ofrece la imagen más clara. El marco MQM (Métricas de Calidad Multidimensionales) clasifica los errores por tipo, como precisión, terminología, fluidez y estilo, y por gravedad. Los revisores puntúan una muestra y el resultado es una tasa de error por cada mil palabras que puede seguir a lo largo del tiempo.
- Puntuación de error estilo MQM por cada 1.000 palabras, por idioma
- Porcentaje de segmentos que no necesitan edición tras la revisión de posedición
- Distancia de edición entre el resultado de la máquina y el texto final publicado
- Cumplimiento de la terminología con respecto a su glosario
- Número de problemas notificados por los equipos locales o los clientes tras la publicación
La distancia de edición es especialmente práctica. Si los editores cambian el 40 por ciento del resultado de un idioma, el motor o el prompt no funciona para ese par, independientemente de lo que digan las puntuaciones automáticas.
¿Cómo se miden el coste y la velocidad?
El coste por palabra publicada es la cifra central de eficiencia. Incluya las tarifas del motor o la API, la posedición humana, el tiempo de revisión y la gestión del proyecto. Comparar solo el coste de la API con las antiguas tarifas de la agencia ignora el tiempo de edición que el resultado de la IA sigue necesitando.
La velocidad se mide como el tiempo transcurrido desde la aprobación de la fuente hasta la página publicada en cada idioma. Para un lanzamiento de producto, esto es a menudo lo que más importa comercialmente: estar activo en seis idiomas el día del lanzamiento en lugar de tres semanas después.
Seguimiento del rendimiento por editor
Las palabras posedadas por hora, por idioma y tipo de contenido, muestran dónde ayuda más la IA. El texto de marketing con juegos de palabras suele necesitar una edición más pesada que la documentación técnica. Ver esa diferencia le ayuda a dirigir el contenido al flujo de trabajo adecuado.
¿Qué KPI empresariales muestran el valor de la localización?
La prueba definitiva es si las páginas localizadas funcionan en sus mercados. Utilice Google Search Console filtrado por país y por carpeta de idioma o clúster hreflang, además de análisis segmentados por configuración regional.
- Impresiones y clics por carpeta de idioma en Search Console
- Páginas indexadas por idioma en comparación con las páginas publicadas
- Tasa de conversión por configuración regional en comparación con el idioma de origen
- Tasa de rebote o interacción en páginas de destino localizadas
- Tickets de soporte o devoluciones que mencionan confusión lingüística
Observe de cerca las páginas indexadas frente a las publicadas. Si hay 800 páginas en francés activas pero Search Console muestra 300 indexadas, la calidad o la duplicación pueden ser el problema, y más traducción no ayudará hasta que eso se resuelva.
¿Cómo debería ser un panel de localización?
Un panel útil cabe en una pantalla y se lee mensualmente. Ponga la calidad, la eficiencia y los resultados de mercado uno al lado del otro para cada idioma, con una línea de tendencia, no con un solo número.
Un diseño sencillo en Looker Studio o una hoja de cálculo funciona bien: filas para idiomas, columnas para puntuación de error, distancia de edición, coste por palabra, días hasta la publicación, páginas indexadas, clics orgánicos y conversiones. Coloree las celdas según los objetivos que haya establecido al principio, por ejemplo, una puntuación de error por debajo de un umbral acordado.
Añada una columna cualitativa para las notas de los revisores locales. Los números pasan por alto cosas como un tono que parece demasiado formal para los lectores españoles o un término que los competidores utilizan de forma diferente. Mantenga esas notas breves y específicas, con un enlace a la página, para que la siguiente ronda de edición pueda actuar sobre ellas en lugar de debatir lo que quería decir el revisor. Al cabo de unos meses, la columna de notas suele convertirse en la parte más útil del panel.
Cómo aplica Alien Road la medición de la traducción por IA
En un compromiso típico, la agencia comienza con una línea de base: una muestra de páginas traducidas existentes por idioma puntuadas con una lista de control estilo MQM, el coste actual por palabra y el tiempo actual hasta la publicación. Sin una línea de base, cualquier número posterior es difícil de leer.
La configuración incluye un glosario, una guía de estilo por idioma y un flujo de trabajo de revisión donde el resultado de la IA va a un editor nativo antes de su publicación. La distancia de edición se registra automáticamente comparando el borrador de la máquina con el texto final, por lo que el equipo no depende de las estimaciones de los editores.
Los informes combinan la muestra de calidad, las cifras de eficiencia y los datos de Search Console por carpeta de idioma en una vista mensual. Cuando un idioma muestra una gran distancia de edición o una indexación débil, el informe nombra el tipo de contenido responsable y la siguiente corrección, como actualizaciones del glosario o un motor diferente para ese par.
Trampas comunes en la medición
Algunas trampas aparecen repetidamente y vale la pena evitarlas desde el primer mes:
- Puntuar la calidad solo en contenido fácil, como cadenas de interfaz de usuario cortas
- Dejar que la misma persona traduzca y revise, lo que oculta errores
- Comparar idiomas con diferentes mezclas de contenido como si fueran iguales
- Ignorar los errores de hreflang que envían tráfico a la configuración regional incorrecta
- Contar las páginas publicadas como éxito sin comprobar la indexación
Por dónde empezar esta semana
Elija sus dos idiomas de destino más importantes. Tome una muestra de diez páginas traducidas recientemente en cada uno y haga que un revisor nativo registre los errores por tipo y gravedad utilizando una hoja sencilla estilo MQM.
Al mismo tiempo, exporte los datos de Search Console filtrados a esas carpetas de idioma durante los últimos tres meses. Ponga ambos en una hoja con el coste por palabra y los días hasta la publicación. Esa única hoja es su línea de base, y mostrará rápidamente si debe invertir en una mejor revisión, mejores motores o simplemente más contenido.
Siga leyendo: Optimización con IA · Optimización con IA