Hacer la prueba demasiado corta (sesgo de mirar antes de tiempo)
El error
El mayor error: revisar los resultados tras una semana cuando la prueba estaba prevista para dos.
Por qué es un error
Una semana da cuatrocientas conversiones por variante. Dos semanas dan ochocientas. Con cuatrocientas, el ruido aleatorio es mayor. Ves diferencias que desaparecen con más datos.
Ejemplo: la primera semana el tratamiento tiene un 9 % de conversión y el control un 8 %. Una victoria de un punto parece real. Miras antes de tiempo y te emocionas. Segunda semana: el tratamiento baja al 8,5 % y el control se queda en el 8 %. Una victoria de medio punto. Sigue siendo estadísticamente significativa, pero mucho menor de lo que mostraba la primera semana.
Si hubieras parado en la primera semana, habrías sobreestimado el beneficio del tratamiento en un 50 %.
Cómo evitarlo
Decide la duración antes de empezar la prueba. Dos semanas es lo habitual. Apúntala. No mires antes de tiempo. Pon un recordatorio en el calendario para la fecha de fin.
Probar varios cambios a la vez
El error
Cambias el titular. Cambias el color del botón. Cambias el texto del botón. Cambias los campos del formulario. Cuatro cambios a la vez.
Por qué es un error
El tratamiento convierte al 12 % y el control al 10 %. Una victoria de dos puntos. Aplicas los cuatro cambios.
Un mes después, la conversión baja al 9 %. Algo se ha roto. Pero, ¿qué cambio? ¿El titular? ¿El botón? ¿El formulario? Cambiaste cuatro cosas y no sabes cuál perjudicó. No puedes saber qué cambio ayudó y cuál hizo daño.
Cómo evitarlo
Un solo cambio. Cambia solo el titular. Pruébalo. Aplícalo si gana. Después prueba el color del botón. Luego el formulario. Una variable cada vez.
Errores de seguimiento y pruebas rotas
El error
La prueba dura dos semanas. Los resultados muestran que el tratamiento gana por un 5 %. Lo aplicas. Un mes después te das cuenta de que el seguimiento estaba roto. El píxel de conversión no se activó para el 90 % de los visitantes.
Por qué es un error
Los resultados no valen nada. Aplicaste un cambio basado en datos malos. Gastaste recursos de desarrollo en algo basado en resultados no válidos.
Cómo evitarlo
Revisa la configuración de la prueba por muestreo. Haz un recorrido manual sencillo. ¿Se dispara el evento? Mira los registros de seguimiento. Comprueba que el píxel se activa. Audita el seguimiento antes de declarar un ganador.
Tamaño de muestra insuficiente
El error
Haces una prueba con solo quinientas conversiones en total. Doscientas cincuenta por variante. Con una muestra tan pequeña, el ruido aleatorio es enorme. Las diferencias del 5 % son comunes. Las del 10 % no sorprenden.
Ves que el tratamiento está un 5 % por encima del control. Sin significancia estadística. Declaras la prueba no concluyente.
Por qué es un error
Tu prueba nació sin potencia suficiente. Debías haber sabido que necesitaba dos semanas, no una. Las pruebas sin potencia suficiente hacen perder tiempo y dan resultados no concluyentes.
Cómo evitarlo
Calcula el tamaño de muestra antes de empezar. ¿Cuántas conversiones necesitas? ¿Cuánto tardará la prueba en conseguirlas? Si la prueba tarda tres meses, plantéate probar otra cosa que dé resultados más rápido.
No controlar los factores externos
El error
Haces la prueba de martes a jueves. Tienes resultados del lunes antes de la prueba y del viernes después. Comparas el viernes con el lunes.
Pero el viernes tiene un tráfico distinto al del lunes. El viernes es navegación casual de fin de semana. El lunes es navegación de trabajo entre semana. Públicos distintos. Tasas de conversión distintas. Atribuyes la diferencia a la prueba cuando en realidad es una diferencia de composición.
Por qué es un error
Aplicaste un cambio por una diferencia en la composición del tráfico, no por la eficacia del tratamiento. Cuando llega otra composición de tráfico, los resultados no se mantienen.
Cómo evitarlo
Deja correr la prueba el tiempo suficiente para equilibrar la composición del tráfico. Dos semanas incluyen días laborables y fines de semana. Una semana puede salir sesgada.
Cambiar la hipótesis a mitad de la prueba
El error
Empiezas la prueba con una hipótesis: un formulario más corto aumenta los envíos.
A mitad de camino recibes datos nuevos de soporte. Los clientes quieren más opciones de campos. Cambias la hipótesis: quizá más campos sí ayudarían. Ahora tienes una prueba diseñada para una hipótesis que se analiza como otra distinta.
Por qué es un error
Confunde los resultados. No puedes saber qué hipótesis estaba probando realmente la prueba. Podrías aplicar cambios basándote en una interpretación confusa.
Cómo evitarlo
Escribe la hipótesis antes de empezar la prueba. Cíñete a ella. Si recibes información nueva y quieres probar otra hipótesis, termina la prueba en curso. Después lanza una nueva.
No aplicar a los ganadores
El error
La prueba termina. Gana el tratamiento. Dices "lo aplicaremos más adelante". Ese momento nunca llega. La prueba no creó ningún valor. Perdiste el tiempo.
Por qué es un error
Los ganadores solo crean valor si se aplican. Un programa de pruebas solo suma si aplicas los ganadores de forma constante. Un ganador sin aplicar mata el impulso y la confianza del equipo en las pruebas.
Cómo evitarlo
Comprométete a aplicar el resultado antes de lanzar la prueba. Si gana el tratamiento, aplícalo en una semana. Si gana el control, revierte de inmediato. No dejes que los ganadores se queden olvidados.
No segmentar los resultados
El error
Los resultados generales muestran que gana el tratamiento. Lo aplicas en todas partes.
Pero al segmentar ves lo siguiente: en escritorio gana el tratamiento. En móvil pierde. En el tráfico internacional no tiene efecto. Aplicarlo a todos perjudica a los visitantes de móvil y a los internacionales.
Por qué es un error
Optimizaste para el promedio general pero perjudicaste a segmentos concretos. El tráfico móvil puede crecer más rápido que el de escritorio. Al aplicar el tratamiento, perjudicas al segmento que más crecerá.
Cómo evitarlo
Revisa siempre los resultados por segmento antes de declarar un ganador global. Puede que el ganador no sea universal. Aplícalo en los segmentos donde gana. Omítelo en los que no.
Confundir al ganador con la dirección de la causa
El error
La prueba muestra que el tratamiento supera al control. Supones que el tratamiento es mejor. Pero ¿y si el control simplemente está roto? El botón del control no funciona. Todos se confunden. El botón del tratamiento funciona bien. El tratamiento gana porque el control está roto, no porque sea mejor en sí.
Por qué es un error
Sacas la lección equivocada. Crees que gana el estilo del botón cuando en realidad aprendiste que "un botón que funciona gana a uno roto". Implicaciones distintas para las próximas pruebas.
Cómo evitarlo
Entiende por qué ganó el tratamiento. ¿Fue porque el tratamiento es mejor o porque el control es peor? Las implicaciones son distintas.
Repetir la misma prueba esperando otro resultado
El error
Primera prueba: el tratamiento pierde contra el control. Lo intentas otra vez con una pequeña variación. Segunda prueba: mismo resultado. Vuelve a ganar el control. Lo intentas de nuevo. Tercera prueba: mismo patrón. El control sigue ganando.
Estás probando lo mismo una y otra vez y obteniendo el mismo resultado.
Por qué es un error
Estás malgastando presupuesto de pruebas en un enfoque que no funciona. Es mejor cambiar de enfoque que seguir probando la misma estrategia perdedora.
Cómo evitarlo
Deja de probar lo mismo. Hace falta otra estrategia. El enfoque actual no funciona. Pasa a otro tratamiento.
No documentar resultados ni aprendizajes
El error
La prueba termina. Los resultados muestran un ganador. Lo aplicas. Y luego te olvidas.
Seis meses después, un nuevo miembro del equipo pregunta: "¿qué aprendimos sobre titulares?". No tienes documentación. Empiezas de cero.
Por qué es un error
Pierdes el conocimiento de la empresa. Cada prueba debería enseñarte algo. Sin documentación, el conocimiento se va cuando se va la gente del equipo.
Cómo evitarlo
Documenta cada prueba. Hipótesis. Resultados. Aprendizaje. Compártelo con el equipo. Construye tu propio conocimiento.
Preguntas frecuentes
Si reviso los resultados una vez por semana, ¿estoy mirando antes de tiempo?
No, si te comprometes a una duración de dos semanas y no cambias tu comportamiento por los resultados de la primera semana. Estás vigilando, pero no paras antes de tiempo. Revisar está bien. Parar antes es mirar antes de tiempo. Ejemplo: la primera semana el tratamiento tiene un 9 % y el control un 8 %. El tratamiento parece el ganador. No lo apliques todavía. Cíñete a las dos semanas completas. La segunda semana puede mostrar un 8,8 % para el tratamiento y un 8 % para el control. Aparece una diferencia menor. Si hubieras parado en la primera semana, habrías sobreestimado el beneficio en un 50 %. Fija la duración, revisa cada semana si quieres, pero no actúes con resultados preliminares. Con el Creador de webs de WEMASY puedes configurarlo directamente en tu web.
¿Puedo probar a la vez dos cosas parecidas (titulares distintos en regiones distintas)?
Sí, si las regiones están realmente separadas y no las comparas entre sí. Prueba el titular A contra el B con tráfico de EE. UU. Prueba el titular C contra el D con tráfico de la UE. Son pruebas separadas. Hacerlas en paralelo está bien. Pero no compares A con C entre regiones, porque la composición es distinta. Los públicos regionales convierten a tasas distintas. EE. UU. puede tener una base del 12 % y la UE del 8 %. El titular A gana en EE. UU. El titular C gana en la UE. No puedes concluir que el A sea mejor en general, porque las regiones parten de bases distintas. Haz las pruebas en paralelo, pero analízalas por separado.
Si los resultados no muestran una diferencia significativa, ¿debo suponer que los tratamientos son idénticos?
No. Supón que la diferencia no está clara. Pueden ser idénticos. Pueden ser distintos pero haber necesitado más datos para detectarlo. Ejemplo: el control tiene quinientas conversiones. El tratamiento, quinientas cinco. Una diferencia del 1 %. Un 88 % de confianza. No es significativo. No puedes concluir que sean idénticos. Solo puedes concluir que la diferencia no está clara. Opciones: dejar correr la prueba más tiempo para tener más datos. O, si el tratamiento es más fácil de aplicar que el control, pasar al tratamiento, porque en el peor caso son idénticos y en el mejor el tratamiento es mejor. Si el control es más fácil, quédate con el control.
¿Y si mi prueba da un resultado estadísticamente significativo pero intuitivamente parece erróneo?
Confía en la estadística, no en la intuición. Las matemáticas son más listas que la intuición. Si las estadísticas dicen que el resultado es real (95 % de confianza), probablemente lo es. Tu intuición puede equivocarse. Se basa en una experiencia limitada. La estadística se basa en miles de datos de visitantes. Aplica lo que dice la estadística. Ejemplo: crees que un botón rojo funciona mejor que uno azul. La prueba muestra que el azul gana de forma significativa. Tu intuición se equivocaba. Aplica el botón azul. Confiar en la intuición e ignorar los datos de la prueba habría puesto el botón rojo y perjudicado la conversión.
¿Puedo combinar varios resultados pequeños no significativos en uno grande y significativo?
No. Cada prueba va por separado. No puedes combinar pruebas no concluyentes en un único resultado concluyente. La primera prueba muestra un 85 % de confianza en que gana el tratamiento. La segunda, un 80 % de confianza en que gana el mismo tratamiento. ¿Juntas, un 95 %? No. La estadística no funciona así. Cada prueba es independiente. Combinarlas es un sinsentido estadístico. Haz desde el principio una prueba con el tamaño adecuado y la potencia adecuada. O tienes significancia o no la tienes.
Si la prueba muestra un resultado fuerte para un segmento pero débil en general, ¿cuál aplico?
Aplícalo solo al segmento si el resultado fuerte es estadísticamente significativo para ese segmento. Si el segmento es pequeño (un 10 % del tráfico), cuesta más alcanzar el umbral de significancia. Podría ser un falso positivo en el segmento. Comprueba la significancia del segmento en concreto, no solo la general. Ejemplo: la prueba general muestra un 9 % para el tratamiento y un 8,9 % para el control. Apenas significativo. Pero el segmento de escritorio muestra un 10 % frente a un 8 %. Una victoria de dos puntos en escritorio. Fuerte y significativa para escritorio. El segmento móvil muestra un 8 % frente a un 8 %. Sin diferencia. Aplícalo solo en escritorio. No lo apliques en móvil. Cada segmento tiene su propio tratamiento óptimo.