La mayoría de los informes sobre el trabajo de aprendizaje automático en marketing fallan en la misma prueba. Alguien abre un panel, señala un número que se movió y dice que el sistema está funcionando. Luego, un líder financiero hace una pregunta simple: ¿qué habría pasado si no hubiéramos hecho nada? La sala se queda en silencio. El problema rara vez es el modelo. Es que las métricas de optimización de AI en la pantalla se eligieron porque eran fáciles de recopilar, no porque respondan a esa pregunta.
Construimos la medición antes de construir la automatización, y lo hacemos en ese orden por una razón. Una vez que un sistema de optimización está activo, cambia los datos por los que se mide. Un modelo de oferta que desplaza el presupuesto hacia el tráfico de alta intención mejorará la tasa de conversión independientemente de si produjo o no una sola venta adicional, porque cambió la mezcla de quién fue contado. Si no corrige su línea de base y su método de comparación antes de que el sistema comience a actuar, pierde la capacidad de separar el impulso genuino de la reorganización. Este artículo establece la capa de medición que ponemos debajo de cada compromiso de optimización, los números que reportamos a los clientes y los que dejamos deliberadamente fuera del titular.
Comience con la decisión, no con el panel
Cada medición debe remontarse a una decisión que alguien realmente tomará. Si un número se mueve y nadie cambia nada, ese número es decoración. Pedimos a los clientes que nombren la decisión primero: ¿aumentamos el presupuesto, expandimos el modelo a un segundo mercado, seguimos pagando por este sistema el próximo trimestre? La métrica es entonces cualquier evidencia que realmente cambiaría la respuesta. Esa restricción elimina aproximadamente la mitad de un conjunto de informes típico en la primera reunión.
Las métricas de optimización de AI que realmente reportamos
Nuestros informes se dividen en tres niveles. El nivel superior es el resultado comercial: ingresos, canalización calificada, costo por adquisición, margen de contribución. Esto es lo que el cliente está comprando. El nivel medio es el mecanismo: el comportamiento específico que se suponía que el sistema debía cambiar, como la parte del presupuesto que llega a segmentos rentables o la proporción de páginas que cumplen con un umbral de calidad. El nivel inferior es la salud del sistema, que incluye tasas de error, latencia, frescura de datos y cobertura. Las métricas de salud nunca aparecen en un titular. Existen para que, cuando el nivel superior se mueva en la dirección incorrecta, podamos saber rápidamente si la causa es el mercado o una tubería rota.
- Resultado incremental frente a un control retenido, no resultado total para el grupo tratado.
- Costo por unidad incremental, incluido el costo de ejecutar el sistema en sí, no solo el gasto en medios.
- Cobertura de decisiones: qué parte de las decisiones elegibles tomó realmente el sistema en lugar de omitirlas.
- Estabilidad: cuánto varía la salida de semana a semana cuando las entradas permanecen prácticamente sin cambios.
- Tiempo de corrección: cuánto tiempo lleva notar y revertir una mala decisión automatizada.
Ese último está subestimado. Un sistema que tiene razón la mayor parte del tiempo pero tarda tres semanas en notar que está equivocado puede ser peor que un proceso manual más lento. Lo medimos deliberadamente y lo reportamos incluso cuando no es halagador, porque es el número que predice cuánta autonomía se le puede dar al sistema de manera segura a continuación.
Las retenciones son la única comparación honesta
Comparar este mes con el mes pasado no es evidencia. La estacionalidad, la actividad de la competencia, un problema de suministro, una mención en la prensa y un cambio de precios pueden mover los resultados más que cualquier optimización. La única comparación que sobrevive al escrutinio es un grupo al que no se le permitió tocar el sistema, que se ejecuta al mismo tiempo, extraído de la misma población. Eso significa retenciones geográficas, retenciones de audiencia o una parte aleatoria de campañas o páginas dejadas deliberadamente sin optimizar.
Los clientes a menudo se resisten a esto porque una retención se siente como dejar dinero sobre la mesa. Nuestra respuesta es que la retención es el seguro más barato disponible. Sin él, un sistema que deja de funcionar silenciosamente continúa recibiendo presupuesto durante meses. Con él, la brecha se cierra visiblemente y te enteras en semanas.
Las barandillas pertenecen al mismo informe
Los sistemas de optimización encuentran el camino más corto hacia lo que sea por lo que son recompensados, y el camino más corto es frecuentemente algo que usted no quería. Un modelo recompensado por la tasa de conversión aprende a dejar de pujar por cualquiera que no sea familiar. Un sistema de contenido recompensado por el ranking aprende a escribir duplicados cercanos y delgados. Publicamos métricas de barandilla junto al titular: participación de nuevos clientes, tasa de devolución, tasa de reembolso, mezcla de marca versus no marca, comprobaciones de originalidad de contenido. Si una barandilla se mueve en la dirección incorrecta mientras el titular mejora, tratamos eso como un experimento fallido en lugar de un éxito con una advertencia.
Cómo se ve lo bueno después de seis meses
Una configuración de medición madura es aburrida de ver: un titular corto de resultado incremental con un rango de confianza, un pequeño conjunto de métricas de mecanismo que explican cómo sucedió la ganancia, barandillas que muestran que nada se rompió y un apéndice de salud del sistema. Las mismas métricas de optimización de AI aparecen cada mes en el mismo orden, lo que hace que la deriva sea obvia. Nadie agrega un nuevo gráfico para justificar un mal mes.
Si está empezando desde cero, la secuencia es sencilla. Defina la decisión, elija el resultado, cree una retención antes del lanzamiento, acuerde las barandillas y fije el método de atribución por escrito. Ese trabajo lleva una o dos semanas y es mucho menos interesante que la optimización en sí, pero es lo que convierte un piloto prometedor en un sistema que su equipo financiero seguirá financiando. Si desea una segunda opinión sobre la medición que ya tiene, estaremos encantados de verla antes de que se comprometa a otro trimestre de gasto.
Siga leyendo: Optimización de AI · Optimización de AI