Paso uno: escribe una hipótesis con datos concretos
Una hipótesis vaga falla
No así: cambiar el pago mejora la conversión.
Una hipótesis concreta gana
Mejor así: creemos que pasar el pago de un proceso de cinco pasos a un formulario de una sola página aumentará las compras completadas al menos un tres por ciento, porque los clientes abandonan cuando el formulario se les hace largo.
La hipótesis debe indicar qué vas a cambiar, por qué crees que ayudará, qué métrica esperas mejorar y en cuánto.
Una hipótesis vaga lleva a resultados vagos. Una hipótesis concreta se puede probar.
Paso dos: calcula el tamaño de muestra antes de empezar
Las matemáticas importan
¿Cuántos visitantes necesitas para ver una diferencia real?
La fórmula: necesitas como mínimo quinientas conversiones por variante. Es decir, mil en total si pruebas dos versiones.
Calcula la duración de tu prueba
Si conviertes un dos por ciento y recibes dos mil visitantes al mes, consigues cuarenta conversiones al mes. Llegar a quinientas conversiones lleva doce meses. La prueba no terminará a tiempo.
Si conviertes un diez por ciento y recibes cinco mil visitantes al mes, consigues quinientas conversiones al mes. Llegar a mil lleva dos meses. La prueba termina rápido.
Conoce tu calendario desde el principio
Las webs con una tasa de conversión baja necesitan pruebas más largas. Las de conversión alta terminan antes.
Usa una calculadora de tamaño de muestra. Introduce tu tasa de conversión y tu tráfico. La calculadora te dice cuánto durará la prueba.
Si la prueba dura más de tres meses, plantéate: ¿merece la pena esperar tres meses por este cambio? ¿O deberíamos probar otra cosa que termine antes?
Paso tres: elige cómo repartir el tráfico de la prueba
Cincuenta y cincuenta es lo habitual
Asigna un cincuenta por ciento al control y otro cincuenta por ciento a la variante.
Un reparto prudente ralentiza los resultados
Algunas personas reparten noventa y diez: un noventa por ciento para la versión actual, que funciona bien, y un diez por ciento para la versión nueva, de la que no están seguras. Es prudente, pero ralentiza la prueba.
Cincuenta y cincuenta es lo habitual. Da los resultados más rápidos.
Paso cuatro: decide la duración antes de empezar
Comprométete con un calendario
Una semana como mínimo. Dos semanas es lo habitual. Un mes para webs con muchísimo tráfico.
No decidas la duración durante la prueba. Decídela antes. Anótala. Cúmplela.
Mirar los resultados antes de tiempo arruina las pruebas
Mirar los resultados antes de tiempo arruina las pruebas. Revisas los resultados tras una semana. Parece que la variante gana. Detienes la prueba. Aplicas el cambio. Más tarde te das cuenta de que los resultados no eran reales. Aplicaste algo que en realidad no funcionaba.
Deja correr la prueba hasta el final.
Paso cinco: haz el cambio de la variante
Un solo cambio
Un solo cambio. No varios.
Si pruebas la simplificación del pago, simplifica el formulario. No cambies a la vez el color, el texto ni el diseño. Una variable cada vez.
Que se note
El cambio debe ser evidente. Los visitantes deben notar la diferencia. Si el cambio es tan sutil que nadie lo ve, la prueba no funcionará.
Paso seis: configura la prueba en la herramienta
Elige tu plataforma
Usa una plataforma de pruebas.
Instala y configura
Conéctala a tu web. Instala el código de seguimiento. Normalmente es una línea de código o la instalación de un plugin.
Crea las versiones y las métricas
Crea la versión de control. Es la versión actual.
Crea la versión de la variante. Aplica tu cambio.
Define el reparto del tráfico. Cincuenta por ciento para cada una.
Define la duración. Dos semanas o el tiempo que hayas calculado.
Define la métrica de éxito. Qué vas a medir. Pagos completados. Envíos de formulario. Desplazamiento por la página.
Paso siete: déjala correr sin mirar
Resiste la tentación
Es difícil. Resiste las ganas de mirar los resultados.
Los resultados de unos pocos días no significan nada. Con una muestra pequeña, la variación aleatoria es enorme. Verás resultados que luego desaparecen.
Pon un recordatorio en el calendario
Revisa los resultados justo el día en que termina. No antes.
Pon un recordatorio en el calendario para la fecha de fin de la prueba. Revisa entonces.
Paso ocho: analiza bien los resultados
Busca la significancia estadística
La prueba termina. Miras los resultados. La variante convirtió un once por ciento. El control, un diez por ciento. La variante es mejor, ¿verdad?
Pero ¿fue estadísticamente significativo? ¿Es real o fue suerte?
Fíjate en el intervalo de confianza o en el valor p. Debería superar el noventa y cinco por ciento de confianza, o el valor p debería quedar por debajo de cero coma cero cinco.
Qué significa la significancia estadística
Si la significancia estadística dice que sí, el resultado es real. Aplica la variante.
Si dice que no, el resultado no está claro. Puede ser suerte. Puede ser real, pero haber necesitado más tiempo. Alarga la prueba o prueba un cambio distinto.
Paso nueve: aplica y documenta
Si gana la variante
Si gana la variante, aplícala de forma permanente.
Documenta lo que aprendiste. Por qué creías que funcionaría. Qué pasó. Qué probarás después.
Construye tu manual. Con el tiempo aparecen patrones. Aprendes qué funciona con tu audiencia.
Si gana el control
Si gana el control, revierte el cambio.
Documenta por qué ganó el control. Quizá tu hipótesis estaba equivocada. Quizá el cambio no se notaba lo bastante. Quizá a tu audiencia no le gustó el cambio.
Una prueba perdida también es aprendizaje.
Errores habituales en la primera prueba
Hacer la prueba demasiado corta
Tras una semana te impacientas. La detienes. Los resultados todavía no son reales.
Probar varios cambios a la vez
Cambiaste el formulario, el botón y el texto. Gana el formulario, pero ¿fue el formulario o el botón? Ahora no lo sabes.
No exigir significancia
La variante es un uno por ciento mejor. Puede ser suerte. La aplicas. Más tarde no se sostiene.
Probar con todo el mundo
Te da miedo el cambio. Pruebas con un noventa por ciento de versión actual y un diez por ciento de versión nueva. La prueba tarda una eternidad.
No comprometerte a aplicar el resultado
La prueba termina. Gana la variante. Dices que la aplicarás más adelante. Nunca lo haces. La prueba no aportó ningún valor.
Qué separa a los ganadores del resto
No es probar con más inteligencia
No es probar con más inteligencia. Es probar con constancia.
El patrón ganador
Las empresas ganadoras hacen una prueba. Llegan los resultados. Aplican de inmediato. Hacen la siguiente prueba.
Se comprometen con un programa de pruebas. No con pruebas sueltas. Pruebas continuas. Mes tras mes.
Construyen conocimiento interno. Tras cincuenta pruebas conocen a su audiencia. Saben qué funciona y qué no. Avanzan más rápido que la competencia.
Crecimiento compuesto
Pruebas una vez y no pasa nada. Pruebas cincuenta veces y todo cambia.
Preguntas frecuentes
¿Qué hago si descubro a mitad de la prueba que está rota, por ejemplo porque el seguimiento dejó de funcionar? ¿La reinicio?
Sí. Una prueba rota no sirve. Reiníciala desde cero. Si el seguimiento falla, no tienes datos reales. Por eso conviene revisar la prueba de vez en cuando (sin obsesionarse, pero al menos una vez). Detecta los fallos pronto. Con el creador de webs de WEMASY puedes configurarlo directamente en tu web.
¿Puedo cambiar la hipótesis mientras la prueba está en marcha si surge información nueva?
No. Escribe la hipótesis antes de que empiece la prueba y mantenla. Si a mitad de la prueba te parece equivocada, apúntalo. Pero termina la prueba con la hipótesis original. Más adelante, haz una prueba nueva con la hipótesis nueva.
Si la variante es claramente peor, ¿puedo detener la prueba antes?
Solo si está rompiendo algo. Si la variante causa errores, detenla. Si no, no. Aunque pierda por mucho, deja correr toda la duración. Aprende por qué perdió. Aprovecha ese aprendizaje.
¿Qué hago si la significancia estadística dice que no, pero creo que el resultado es real?
Repite la prueba. El mismo cambio. Pero con más duración o con más tráfico. Si el resultado es real, volverá a aparecer. Si no, tu intuición se equivocó y las matemáticas tenían razón.
¿Cómo sé en los resultados cuál es el control y cuál es la variante?
Tu herramienta de pruebas los etiquetará. Asegúrate de saber cuál es cuál antes de empezar. Haz una captura de pantalla. El control es la versión A. La variante es la versión B. Cuando lleguen los resultados, consulta tus notas.
¿Tengo que decirle a mi jefa que estoy haciendo pruebas o solo enseñarle los resultados?
Díselo. Entenderá que las pruebas llevan tiempo. Fija expectativas. La prueba durará dos semanas. Si gana la variante, la aplicaremos. Si no, probaremos otra cosa. La transparencia evita sorpresas cuando no aplicas un cambio que ella esperaba.