Medir la detección de contenido de IA significa realizar un seguimiento de si su proceso de detección y revisión mejora la calidad del contenido y protege el rendimiento de búsqueda, no solo recopilar puntuaciones de los detectores. Los KPI útiles incluyen la cobertura de revisión, la tasa de falsos positivos, la tasa de revisión, el tiempo de publicación y el rendimiento orgánico del contenido revisado, mostrados en un panel que leen tanto editores como gerentes.
Los detectores de contenido de IA, como GPTZero, Originality.ai, Copyleaks y el indicador de IA de Turnitin, estiman si un texto fue escrito por un modelo de lenguaje. Son señales útiles y jueces poco fiables. Estudios independientes han encontrado repetidamente tasas de error significativas, incluidos falsos positivos en la escritura humana, especialmente por parte de escritores que no son nativos en inglés. Un plan de medición debe tener esto en cuenta.
¿Por qué medir la detección en absoluto?
La posición de Google es que recompensa el contenido útil independientemente de cómo se produzca, mientras que sus políticas de spam se dirigen al contenido a gran escala creado principalmente para manipular las clasificaciones. Eso significa que el objetivo no es “cero IA”. El objetivo es un contenido que sea preciso, original en su esencia y útil, con un uso de la IA que no derive en relleno producido en masa.
La detección se convierte en un insumo para un proceso de calidad. Medirla le indica si ese proceso detecta contenido débil antes de que se publique y si ralentiza al equipo sin añadir valor.
¿Qué KPI importan realmente?
KPI de proceso
- Cobertura de revisión: porcentaje de piezas publicadas que pasaron por detección y revisión editorial.
- Tasa de marcado: porcentaje de piezas que obtienen una puntuación superior al umbral elegido.
- Tasa de falsos positivos: piezas marcadas que los editores confirman que fueron escritas por humanos o editadas de forma aceptable.
- Tasa de revisión: piezas marcadas que fueron reescritas materialmente antes de su publicación.
- Tiempo de publicación: días promedio desde el borrador hasta la publicación, antes y después de añadir la detección.
KPI de calidad
- Puntuación de calidad editorial: una rúbrica simple que cubre precisión, visión original, fuentes y claridad.
- Tasa de error fáctico: errores encontrados por pieza en la revisión o reportados después de la publicación.
- Contribución única: si cada pieza incluye datos, ejemplos o experiencia que no se encuentran en las páginas mejor clasificadas.
KPI de resultados
- Clics e impresiones orgánicas por pieza después de 90 días, desde Search Console.
- Engagement: profundidad de desplazamiento o tiempo de participación desde su herramienta de análisis.
- Tasa de indexación: porcentaje de páginas nuevas indexadas, ya que grandes volúmenes de contenido pobre a menudo permanecen sin indexar.
- Conversiones o conversiones asistidas desde el contenido.
¿Cómo se establece un umbral de detección sensato?
No confíe en el valor predeterminado de un proveedor. Primero cree un conjunto de calibración: alrededor de 50 textos que sepa que fueron escritos por humanos por su equipo, 50 que sepa que fueron generados por IA y 50 que fueron redactados por IA y editados intensamente. Ejecútelos a través del detector elegido y observe las distribuciones de puntuación.
Elija un umbral que marque la mayoría de los borradores de IA sin procesar mientras marca pocos textos humanos. Anote la tasa de falsos positivos que acepta. Repita la calibración cuando el detector actualice su modelo, ya que las puntuaciones pueden cambiar sin previo aviso.
¿Qué debería mostrar el panel?
Una página, actualizada mensualmente, legible en dos minutos. Los editores necesitan la vista de proceso, los gerentes necesitan la vista de resultados, y ambos deberían verlas una al lado de la otra para que nadie optimice una a expensas de la otra.
- Fila superior: piezas publicadas, cobertura de revisión, tasa de marcado, tasa de falsos positivos.
- Fila central: puntuación de calidad promedio, errores fácticos, tiempo medio de publicación.
- Fila inferior: clics orgánicos a 90 días por pieza, tasa de indexación, conversiones.
- Líneas de tendencia: cada métrica durante los últimos seis meses.
- Notas: cambios de versión del detector y cambios de proceso, con fechas.
Looker Studio, Power BI o una hoja de cálculo compartida funcionan. Extraiga los datos de Search Console a través de su conector o API, y mantenga los datos de revisión en un registro simple que el equipo editorial complete para cada pieza.
¿Cómo debería manejar los falsos positivos?
Una puntuación de detector nunca debería ser la única base para rechazar el trabajo de un escritor o acusar a alguien de mala conducta. Las piezas marcadas van a un editor, quien verifica los problemas que importan: redacción genérica, falta de detalles, errores fácticos, sin contribución original. Si la pieza es sólida, se publica independientemente de la puntuación.
Realice un seguimiento de los falsos positivos por escritor. Si la escritura genuina de una persona se marca repetidamente, el umbral o la herramienta es incorrecta para ellos, no el escritor. Esto a menudo afecta a los escritores que trabajan en un segundo idioma, y la equidad es tan importante como la precisión aquí.
Las actualizaciones de contenido merecen un lugar en el mismo proceso. Muchos sitios actualizan artículos antiguos con ayuda de IA, y esas ediciones pueden introducir párrafos genéricos en páginas que alguna vez tuvieron un buen ranking. Registre las piezas actualizadas en el registro de revisión con una marca y compare sus clics orgánicos 90 días antes y después de la actualización. Si las páginas actualizadas pierden tráfico, el problema suele ser la calidad del texto añadido en lugar del acto de actualizar en sí.
¿Qué errores distorsionan los números?
- Tratar la puntuación del detector como una puntuación de calidad; miden cosas diferentes.
- Cambiar los umbrales cada mes, lo que rompe las comparaciones de tendencias.
- Medir el rendimiento orgánico demasiado pronto; 90 días es una ventana más justa para las páginas nuevas.
- Ignorar las actualizaciones de contenido ya publicado; las páginas antiguas necesitan la misma verificación de calidad.
- Ejecutar texto a través de herramientas de “humanización” para vencer a los detectores, lo que tiende a empeorar la escritura.
Cómo aplica Alien Road la medición de detección de contenido de IA
En un compromiso típico, comenzamos documentando el proceso de contenido actual del cliente: quién redacta, dónde se utilizan las herramientas de IA, cómo funciona la revisión. Luego construimos el conjunto de calibración a partir del propio contenido del cliente y elegimos un detector y un umbral basados en tasas de falsos positivos medidas, no en afirmaciones de marketing.
La configuración incluye un registro de revisión, una rúbrica de calidad acordada con los editores del cliente y un panel conectado a Search Console y análisis. La medición se realiza mensualmente; el informe muestra filas de proceso, calidad y resultados, además de notas sobre cambios de umbral o herramienta. Cuando el contenido marcado funciona tan bien como el contenido no marcado después de 90 días, lo decimos, porque generalmente significa que el proceso de edición, no el detector, está haciendo el trabajo real.
Por dónde empezar esta semana
Recopile 30 piezas que sepa que su equipo escribió a mano y 30 borradores de IA sin procesar. Ejecute ambos grupos a través del detector que utiliza o está considerando, y cuente cuántas de las piezas humanas marca.
- Construya un pequeño conjunto de calibración a partir de su propio contenido.
- Registre la tasa de falsos positivos del detector en la escritura humana.
- Redacte una rúbrica de calidad de cinco puntos para los editores.
- Inicie un registro de revisión con una fila por pieza publicada.
- Programe una verificación de rendimiento de 90 días para el contenido de este mes.
El recuento de falsos positivos por sí solo le dirá cuánto peso merece el detector en su proceso.
Siga leyendo: SEO (optimización para buscadores) · SEO