La medición de Shopify Sidekick y Shopify Magic se reduce a dos preguntas: ¿ahorran tiempo al personal y el contenido que ayudan a producir funciona al menos tan bien como antes? Los KPI que responden a esas preguntas son el tiempo por tarea, la tasa de edición en borradores de IA, la adopción en todo el equipo y las métricas de resultados como la conversión de la página de producto, la tasa de clics en correos electrónicos y el tráfico orgánico para páginas asistidas por IA.
Sidekick es el asistente de IA dentro del administrador de Shopify; Shopify Magic cubre funciones integradas como descripciones de productos generadas, redacción de correos electrónicos y edición de imágenes. Debido a que están incluidos en los planes de Shopify en el momento de escribir este artículo, no hay una tarifa de licencia que justificar. Eso hace que sea fácil omitir la medición, pero el costo es real: el tiempo que el personal dedica a revisar y el riesgo de que contenido más débil llegue a los clientes.
¿Por qué medir funciones que son gratuitas?
Las funciones gratuitas siguen consumiendo el tiempo de las personas y siguen dando forma a lo que ven los clientes. Una tienda que publica 300 descripciones generadas sin comprobar si convierten podría perder ventas lentamente y nunca darse cuenta. La medición también ayuda a decidir dónde invertir el tiempo ahorrado: si el equipo dedica cuatro horas menos a la semana a redactar, ¿a dónde fueron esas horas?
¿Qué KPI de eficiencia importan?
Empiece por el tiempo, porque ahí es donde suele aparecer el valor primero.
- Tiempo por listado de producto, desde los atributos hasta la página publicada.
- Tiempo por campaña de correo electrónico, desde el resumen hasta el envío programado.
- Tiempo por edición de imagen para eliminar o reemplazar el fondo.
- Número de preguntas de soporte o de ayuda respondidas por Sidekick en lugar de un colega o el centro de ayuda.
Mida una línea base durante dos semanas antes del lanzamiento, luego repita después de un mes. Registre el tipo de tarea, el producto o la campaña, la hora de inicio y finalización, y si se utilizó IA. Cuatro columnas son suficientes, y mantener el registro simple es lo que hace que la gente lo complete. Los registros de tiempo autoinformados en una hoja compartida son suficientes para un equipo pequeño.
Tasa de edición
La tasa de edición es la parte del texto generado por IA que los revisores cambian antes de publicar. Una tasa baja significa que los borradores son utilizables; una tasa alta significa que la función ahorra poco tiempo. Realice un seguimiento por tipo de contenido, porque las descripciones y la redacción de correos electrónicos a menudo se comportan de manera diferente.
¿Qué KPI de resultados demuestran que el contenido funciona?
La eficiencia significa poco si los resultados caen. Compare el contenido asistido por IA con el contenido escrito por humanos en:
- Tasa de conversión de la página de producto y tasa de añadir al carrito, desde Shopify Analytics.
- Sesiones orgánicas e impresiones para páginas de producto, desde Google Search Console.
- Tasas de apertura y clics de correo electrónico en Shopify Email o su plataforma de correo electrónico.
- Tasas de devolución y preguntas de los clientes sobre los productos, que pueden aumentar cuando las descripciones son inexactas.
El último punto a menudo se olvida. Una descripción que exagera la calidad del material o el tamaño puede aumentar las devoluciones. Etiquete las devoluciones con un código de motivo para que pueda ver patrones.
¿Cómo se prueba el contenido de IA de manera justa?
Una comparación controlada simple funciona para la mayoría de las tiendas.
- Elija dos grupos de productos similares, emparejados por precio, tráfico y categoría.
- Dé a un grupo descripciones asistidas por IA (generadas y editadas) y mantenga el otro como está.
- Deje otras variables sin cambios durante cuatro a seis semanas: precio, imágenes, anuncios.
- Compare la conversión, añadir al carrito y sesiones orgánicas entre grupos.
Para el correo electrónico, Shopify Email y la mayoría de las herramientas de correo electrónico permiten pruebas A/B de líneas de asunto. Pruebe una línea escrita por humanos contra una generada en el mismo envío.
La estacionalidad puede distorsionar los resultados, así que evite comenzar una comparación justo antes de un período de ventas importante como el Black Friday, cuando el tráfico y la intención cambian drásticamente para cada producto.
Las tiendas pequeñas no alcanzarán significación estadística en cada prueba. Eso está bien; busque una dirección consistente en varias pruebas en lugar de un resultado decisivo.
¿Cómo se ve un panel de control útil?
Manténgalo en una página con tres secciones:
- Eficiencia: tiempo por tarea, tasa de edición, número de activos asistidos por IA este mes.
- Resultados: conversión y métricas orgánicas para páginas asistidas por IA frente al grupo de comparación.
- Adopción: qué miembros del equipo usan las funciones y para qué.
Los informes propios de Shopify cubren ventas y conversión; Search Console cubre la búsqueda orgánica; una hoja de cálculo cubre los registros de tiempo. Looker Studio puede combinarlos si desea una vista, pero una hoja compartida actualizada mensualmente suele ser suficiente.
¿Qué debe hacer con los resultados?
Actúe sobre ellos. Si las tasas de edición en las descripciones son altas, mejore las entradas: complete los atributos del producto, agregue una nota breve sobre la voz de la marca a sus prompts o mantenga los productos estrella escritos por humanos. Si las páginas asistidas por IA convierten tan bien como otras y toman menos tiempo, extienda el enfoque al resto del catálogo. Si los motivos de devolución apuntan a descripciones inexactas, endurezca la revisión antes que cualquier otra cosa.
Evite las medidas de vanidad
Contar el número de descripciones generadas o preguntas hechas a Sidekick dice poco por sí solo. Esas son cifras de actividad. Una tienda puede generar 500 descripciones y perder conversión al mismo tiempo. Siempre combine un recuento de actividad con una medida de tiempo y una medida de resultado, para que el informe muestre si la actividad produjo algo útil.
Revise la lista de KPI cada trimestre. Shopify actualiza estas funciones a menudo, y una función que era débil hace seis meses puede ser útil ahora, o viceversa.
Cómo aplica Alien Road la medición de Shopify Sidekick y Shopify Magic
En un compromiso típico de comercio electrónico, el descubrimiento captura los tiempos base para tareas de listado, correo electrónico e imagen, y extrae los datos actuales de conversión y orgánicos para los grupos de productos que planeamos comparar.
La configuración define los grupos de comparación, la lista de verificación de revisión y el registro de tasa de edición. Acordamos con el cliente qué páginas permanecen escritas por humanos, generalmente los más vendidos y colecciones clave, para que la prueba no ponga en riesgo los ingresos más importantes.
La medición se realiza mensualmente en el panel de tres secciones. Los informes indican el tiempo ahorrado, la tendencia de la tasa de edición y si las métricas de resultados difieren entre grupos, y recomiendan dónde expandir o reducir el uso de IA.
Por dónde empezar esta semana
Pida a todos los que escriben descripciones de productos o correos electrónicos que registren su tiempo por tarea durante los próximos diez días hábiles. Sin esa línea base, cualquier afirmación posterior sobre el tiempo ahorrado es una suposición. Mientras registran, elija dos grupos de productos emparejados para su primera comparación.
Siga leyendo: Comercio electrónico · Comercio electrónico