La ingeniería de prompts se mide comparando los resultados de diferentes prompts frente a un conjunto fijo de entradas de prueba y puntuándolos en cuanto a calidad, coste y tiempo humano necesario para corregirlos. Sin ese conjunto de evaluación, los equipos cambian los prompts basándose en un ejemplo bueno o malo y no pueden saber si el cambio ayudó o empeoró las cosas en promedio.
Los equipos de marketing ahora ejecutan prompts para textos publicitarios, descripciones de productos, meta descripciones, variantes de correo electrónico y resúmenes de informes. Cada prompt es una pequeña pieza de software. Merece la misma disciplina: versiones, pruebas y un panel de control.
¿Por qué es tan difícil medir el trabajo con prompts?
Los modelos de lenguaje no son deterministas en la práctica. El mismo prompt puede dar una respuesta sólida el lunes y una débil el martes, especialmente con configuraciones de temperatura más altas. Una sola comparación no te dice casi nada.
El resultado de marketing tampoco tiene una única respuesta correcta. Dos titulares pueden ser buenos. Eso empuja a los equipos hacia juicios vagos como “el nuevo prompt se siente mejor”, que nadie puede auditar después.
Construye primero un conjunto de evaluación
Un conjunto de evaluación es una lista fija de entradas que representan el trabajo real. Para un prompt de descripción de producto, podrían ser 50 productos de todas las categorías, incluidos los difíciles con atributos faltantes. Para un prompt de texto publicitario, podrían ser 30 briefs con diferentes audiencias y límites de caracteres.
- Incluye casos fáciles, típicos y difíciles en proporciones aproximadamente realistas
- Escribe lo que debe contener un buen resultado para cada caso (hechos, longitud, tono)
- Mantén el conjunto congelado durante un trimestre para que los resultados sigan siendo comparables
- Añade nuevos casos cuando un fallo de producción muestre una brecha, y registra el porqué
Almacena el conjunto en una hoja de cálculo o en una herramienta como Promptfoo, LangSmith o Braintrust. La herramienta importa menos que el hábito de ejecutar cada versión de prompt frente a las mismas entradas.
¿Qué KPIs debería mostrar un panel de control de prompts?
Agrupa las métricas en tres niveles: calidad del resultado, coste operativo y efecto comercial. Los dos primeros puedes medirlos el mismo día. El tercero lleva semanas.
Calidad del resultado
- Tasa de aprobación en reglas estrictas: límites de caracteres, palabras clave requeridas, afirmaciones prohibidas, idioma correcto
- Puntuación de rúbrica de revisores humanos en una escala del 1 al 5 para precisión, claridad y ajuste a la marca
- Puntuación calificada por modelo, donde un segundo modelo verifica los resultados frente a la rúbrica, calibrada frente a las puntuaciones humanas
- Tasa de error fáctico: proporción de resultados que contienen una afirmación no respaldada por la entrada
Coste operativo
- Tokens y coste de API por resultado aceptado, no por llamada
- Tiempo de edición: minutos que una persona pasa corrigiendo un resultado antes de que pueda publicarse
- Tasa de rechazo: resultados descartados por completo
- Latencia, si el prompt se ejecuta dentro de una herramienta en vivo
El tiempo de edición suele ser el número más honesto. Un prompt que produce resultados baratos que tardan diez minutos en corregirse es más caro que un prompt más largo cuyos resultados necesitan un minuto.
Efecto comercial
Cuando los resultados se publiquen, conéctalos a las métricas de la plataforma que deben mover: tasa de clics para textos publicitarios, CTR orgánico en Search Console para meta descripciones, tasa de conversión para páginas de productos. Utiliza pruebas adecuadas siempre que sea posible, como experimentos de Google Ads o pruebas divididas en tu plataforma de correo electrónico, porque la estacionalidad oculta pequeñas diferencias.
¿Cómo comparas dos versiones de prompt de manera justa?
Ejecuta ambas versiones en el conjunto de evaluación completo, varias veces cada una si la temperatura es superior a cero. Compara los promedios y la dispersión. Un prompt que obtiene una puntuación ligeramente superior en promedio pero produce desastres ocasionales puede ser peor para la producción.
Cambia una cosa a la vez. Si reescribes las instrucciones, añades ejemplos y cambias de modelo de una sola vez, no sabrás qué cambio importó. Registra cada versión con una nota breve: qué cambió y por qué.
Un diseño de panel de control simple
Un panel de Looker Studio o Google Sheets suele ser suficiente. Una fila por versión de prompt, con columnas para fecha de evaluación, modelo, tasa de aprobación, puntuación media de rúbrica, coste por resultado aceptado, tiempo medio de edición y, cuando esté disponible, la métrica de rendimiento en vivo. Añade un gráfico del tiempo de edición a lo largo de las versiones; muestra si el trabajo está dando sus frutos.
Mantén una segunda pestaña para fallos: resultados de producción reales que fueron incorrectos, con la entrada y el motivo. Estos se convierten en nuevos casos de evaluación y son la mejor fuente de mejoras de prompts.
Cómo aplica Alien Road la medición de la ingeniería de prompts
En un compromiso típico, nuestro equipo comienza enumerando cada prompt que el equipo de marketing de un cliente ya utiliza, a menudo disperso en chats personales de ChatGPT y documentos compartidos. Trasladamos los que producen contenido publicado al control de versiones y elegimos los tres con mayor volumen para la medición.
Para cada uno, construimos un conjunto de evaluación a partir del trabajo anterior del cliente, acordamos una rúbrica con las personas que aprueban el contenido y medimos el prompt actual como línea base. Los cambios se prueban frente a esa línea base antes de que reemplacen algo en producción.
Los informes son mensuales y breves: qué versiones de prompt se movieron, qué hizo con el tiempo de edición y el coste, y qué mostraron las métricas en vivo. Cuando un cambio no mejora los números, lo decimos y lo revertimos.
¿Quién debería ser dueño de los prompts en un equipo de marketing?
Los prompts que producen contenido publicado necesitan un propietario, al igual que las plantillas o las pautas de marca. En equipos más pequeños, suele ser el líder de contenido. En los más grandes, una persona de operaciones de marketing mantiene una biblioteca de prompts con versiones, los resultados de evaluación para cada uno y notas sobre con qué modelo se probó.
Las actualizaciones de modelos son la razón por la que esto importa. Cuando un proveedor lanza un nuevo modelo o cambia un valor predeterminado, los prompts que funcionaban pueden comportarse de manera diferente. Un propietario con un conjunto de evaluación puede volver a ejecutarlo en una hora y saber si algo se rompió, en lugar de descubrirlo a través de quejas de los clientes.
Errores que hacen que los números no tengan sentido
- Probar con los mismos cinco ejemplos utilizados para escribir el prompt
- Dejar que un modelo califique los resultados sin verificar sus puntuaciones frente a revisores humanos
- Contar el coste de API por llamada en lugar de por resultado aceptado
- Cambiar el conjunto de evaluación cada semana, lo que rompe las comparaciones
Por dónde empezar esta semana
Elige el prompt que tu equipo ejecuta con más frecuencia. Extrae 30 entradas reales, escribe una definición de una línea de un buen resultado para cada una y cronometra cuánto tiempo pasa una persona editando los resultados actuales. Ese único número de línea base, minutos de edición por resultado, le da a cada futuro cambio de prompt algo concreto que superar.
Sigue leyendo: Agencia de marketing con IA · AI Marketing