Tienes un titular en tu página de producto. Crees que otro titular podría convertir mejor. Podrías adivinar. O podrías mostrar a la mitad de tus visitantes el titular antiguo y a la otra mitad el nuevo, medir la tasa de conversión de cada uno y dejar que los datos decidan cuál es mejor. Eso es la analítica de pruebas A/B.
Las pruebas A/B usan datos para comparar variantes y encontrar la ganadora. Este artículo explica cómo funcionan las pruebas A/B, qué significa la significancia estadística, por qué importa el tamaño de la muestra, los errores habituales al probar y cómo elegir variantes que merezca la pena probar.
Una prueba A/B (también llamada prueba dividida) compara dos versiones de algo para ver cuál rinde mejor. Versión A (control): tu titular actual. Versión B (variante): un titular distinto. Divides tu tráfico 50/50, mides qué titular convierte más y declaras un ganador.
Las pruebas A/B responden: ¿este cambio es de verdad mejor o la diferencia es solo suerte? Sin pruebas, te guías por la intuición. Con pruebas, te guías por los datos.
Qué son las pruebas A/B y qué responden
Una prueba A/B compara dos versiones y mide cuál rinde mejor en una métrica concreta. Tasa de clics. Tasa de conversión. Tiempo en la página. Ingresos por visitante. Mantienes la prueba hasta tener datos suficientes para decidir.
Una prueba A/B responde: ¿la diferencia entre estas versiones es real o aleatoria? ¿Merece la pena hacer este cambio o debo probar otra cosa? La respuesta sale de los datos, no de una opinión.
Cómo funciona la significancia estadística
Pruebas dos titulares. El titular A convierte un 10 por ciento (100 de 1.000). El titular B convierte un 10,5 por ciento (105 de 1.000). El titular B es mejor. ¿Pero la diferencia es real o solo variación aleatoria?
La significancia estadística responde: si no hubiera ninguna diferencia entre estos titulares, ¿qué probabilidad hay de ver una diferencia tan grande solo por casualidad? Si la probabilidad es muy baja (menos del 5 por ciento), la diferencia es estadísticamente significativa. Puedes fiarte de que es real.
Si la probabilidad es alta (más del 5 por ciento), la diferencia puede ser pura suerte. No deberías actuar en consecuencia.
La mayoría de las pruebas exige un 95 por ciento de confianza, es decir, que haya solo un 5 por ciento de probabilidad de que la diferencia sea aleatoria. Algunas pruebas exigen un 99 por ciento de confianza (solo un 1 por ciento de probabilidad de azar).
Por qué importa el tamaño de la muestra
Pruebas el titular B con 20 personas y obtienes una tasa de conversión del 20 por ciento (4 conversiones). El titular A obtuvo un 10 por ciento (2 conversiones). El titular B es mejor, ¿verdad? Quizá. O quizá es pura suerte con una muestra tan pequeña.
Prueba los mismos titulares con 10.000 personas. El titular A obtiene 1.000 conversiones de 10.000 (10 por ciento). El titular B obtiene 950 conversiones de 10.000 (9,5 por ciento). Ahora el titular A es mejor. Con una muestra mayor, el azar se suaviza y emergen los patrones reales.
Las muestras más grandes te dan más confianza en el resultado. Las pequeñas tienen mucho ruido y no son fiables.
Errores habituales en las pruebas A/B
Parar la prueba demasiado pronto: ves que una variante gana a los dos días. Cantas victoria y la activas. Pero a las dos semanas el patrón se invierte y gana la original. Los primeros datos eran variación aleatoria. Deja correr la prueba lo bastante (al menos dos semanas, idealmente cuatro).
Hacer demasiadas pruebas a la vez: pruebas titular, color del botón y longitud del formulario al mismo tiempo. Una variante gana, pero no sabes qué elemento lo causó. Prueba una sola cosa cada vez.
Probar cambios insignificantes: pruebas un color de botón (azul frente a un azul algo más oscuro). La prueba necesita 100.000 visitantes para mostrar una diferencia estadísticamente significativa. Prueba cambios que importen (un titular frente a otra propuesta de valor, no un azul frente a un azul algo menos azul).
Ignorar la estacionalidad: haces una prueba de noviembre a enero. Tu variante gana. Pero enero es temporada baja. Cuando la ejecutas todo el año, pierde. Haz siempre las pruebas a lo largo de varias temporadas.
Confundir correlación con causalidad: la variante B gana. Supones que el cambio causó la victoria. Pero también lanzaste una campaña de marketing durante la prueba. La campaña, no la variante, causó la victoria. Controla los factores externos.
Cómo elegir qué probar
Prueba cambios con alto impacto potencial. Los cambios pequeños pueden no mover la aguja aunque ganen. Cambiar el color de un botón puede subir la conversión un 0,5 por ciento. Cambiar un titular puede subirla un 5 por ciento. Prueba primero los cambios más grandes.
Prueba cambios alineados con tu hipótesis. Si tu hipótesis es "un formulario de pago confuso causa abandono", prueba un formulario más simple. No pruebes colores y posiciones de botones al azar.
Prueba los cambios de uno en uno. Si cambias titular, texto del botón y campos del formulario a la vez, no puedes saber qué causó la mejora.
Cómo leer los resultados de una prueba A/B
El resultado muestra: la variante A tuvo una tasa de conversión del 10 por ciento. La variante B tuvo una tasa de conversión del 11 por ciento. B es un 10 por ciento mejor (mejora relativa). El nivel de confianza es del 95 por ciento, con un valor p de 0,03.
Qué significa: la variante B es mejor. Tenemos un 95 por ciento de confianza en que esta diferencia es real y no suerte.
Si el nivel de confianza es del 85 por ciento (valor p de 0,15), el resultado no es estadísticamente significativo. No deberías declarar un ganador; hacen falta más datos.
Cuándo seguir probando y cuándo parar
Sigue probando si: el resultado no es estadísticamente significativo y no has llegado a tu objetivo de tamaño de muestra, o has aprendido algo inesperado y quieres profundizar.
Deja de probar si: has alcanzado la significancia estadística y puedes declarar un ganador, o has hecho la prueba durante cuatro semanas o más y los resultados no se acercan a la significancia. En ese punto, las variantes probablemente son igual de buenas.
Preguntas frecuentes
¿Cuántos visitantes necesito para una prueba A/B válida?
Depende de tu tasa de conversión base y de lo grande que sea el cambio que quieres detectar. En una web pequeña con 100 visitantes al día, puedes necesitar dos semanas para alcanzar la significancia estadística. En una web grande con 10.000 visitantes al día, quizá la alcances en dos días. Usa una calculadora de tamaño de muestra (la mayoría de las herramientas de pruebas A/B trae una incluida). Con el creador de webs de WEMASY puedes configurarlo directamente en tu web.
¿Qué significa un valor p de 0,05?
Significa que hay un 5 por ciento de probabilidad de que la diferencia que ves sea pura suerte. Un nivel de confianza del 95 por ciento. La mayoría usa 0,05 como umbral: si el valor p es inferior a 0,05, el resultado es estadísticamente significativo.
¿Puedo ver los resultados durante una prueba y pararla antes si una variante va ganando?
No. Esto se llama espiar y lleva a conclusiones erróneas. Si paras antes porque una variante va por delante, puedes perderte al verdadero ganador. Deja siempre correr la prueba durante la duración prevista.
¿Y si mi prueba tiene una mejora muy grande pero poca significancia estadística?
Suele significar que tu muestra es demasiado pequeña. Tienes una señal prometedora, pero no datos suficientes para confirmarla. Alarga la prueba o consigue más tráfico.
¿Debo probar un elemento o varios a la vez?
Prueba un elemento cada vez (las pruebas multivariante son complejas y rara vez merecen la pena salvo que tengas muchísimo tráfico). Probar una sola cosa te dice qué causó el cambio.
¿Cuántas pruebas A/B debo ejecutar a la vez?
En general una cada vez, sobre todo si eres nuevo en las pruebas. Cuando tengas experiencia y mucho tráfico, puedes ejecutar varias pruebas a la vez en páginas distintas. No ejecutes dos pruebas en la misma página al mismo tiempo.