La diferencia entre un proyecto de pruebas y una cultura de pruebas
Proyecto de pruebas
Haces unas cuantas pruebas. Ves qué funciona. Sigues adelante. Las pruebas son una herramienta que usas cuando hace falta. Después paras.
Cultura de pruebas
Haces pruebas de forma continua. Los ganadores de una prueba orientan la siguiente. El aprendizaje se acumula. Año tras año, las pruebas se acumulan y se multiplican.
Cada cambio se prueba. Cada decisión se basa en datos. Probar es la forma de tomar decisiones, no un proyecto que lanzas de vez en cuando.
Las empresas con cultura de pruebas superan a las que no la tienen. No por mucho en cada prueba. Pero con los años, la suma se convierte en una ventaja enorme.
Conseguir el apoyo de la dirección
El problema
La mayoría de los programas de pruebas fracasan porque la dirección no entiende las pruebas o no se compromete con ellas.
Lo que oye la dirección
Cuando propones un programa de pruebas, la dirección oye: esto llevará tiempo y costará dinero.
Lo que la dirección necesita oír
Enseña el dinero. Haz una prueba. Demuestra que funciona. Calcula el impacto en ingresos. Esta prueba mejoró la conversión un dos por ciento. Eso aporta cincuenta mil dólares más de ingresos al año. La herramienta de pruebas cuesta doce mil. Beneficio neto: treinta y ocho mil.
Ahora la dirección ve las pruebas como una inversión, no como un coste.
Crear la hoja de ruta de pruebas
No hagas pruebas al azar
Planifica una hoja de ruta de pruebas. La hoja de ruta identifica las áreas de mayor impacto. Formularios. Titulares. Ofertas. Pago. Cada área recibe su prioridad de pruebas.
Ordenar por impacto
La hoja de ruta ordena las pruebas. Primero, lo de mayor impacto. Después, lo de impacto medio. Al final, lo de poco impacto.
Compromiso del equipo
La hoja de ruta compromete a los equipos con las pruebas. Diseño sabe que está probando diseños de botón. Producto sabe que está probando la oferta. Todos saben qué viene.
Crea una hoja de ruta trimestral. Actualízala cada mes según los resultados. La planificación trimestral mantiene al equipo enfocado.
Asignar responsables y rendición de cuentas
El problema
Las pruebas fracasan cuando nadie se encarga de ellas. Marketing dice que es cosa de producto. Producto dice que es cosa de ingeniería. Las pruebas nunca se hacen.
La solución
Asigna un responsable de pruebas. Puede ser la persona de growth. Puede ser la de producto. Una sola persona responde por el programa de pruebas.
El responsable de pruebas define la hoja de ruta. Ejecuta las pruebas. Documenta los resultados. Comparte lo aprendido. Coordina entre equipos. Sin responsable, las pruebas se estancan.
Formar a los equipos en pensamiento estadístico
El problema
La mayoría de la gente no tiene formación en estadística. Mira los números y decide por intuición.
La variante tiene un nueve por ciento. El control, ocho coma ocho por ciento. Parece que ganó la variante. Quien no sabe estadística piensa que la variante es mejor.
Quien sabe estadística comprueba el nivel de confianza. Ochenta y dos por ciento. Por debajo del umbral del noventa y cinco por ciento. No es significativo. La diferencia puede ser suerte.
La solución
Formar a los equipos en estadística básica evita decisiones equivocadas. Temas de la formación: qué es la significación estadística. Por qué importa el noventa y cinco por ciento. Cómo leer los intervalos de confianza. Qué significa el tamaño de muestra.
Un buen programa de pruebas forma al equipo en estadística.
Crear aprendizaje compartido y documentación
Por qué importa documentar
Cada prueba enseña algo. Lo aprendido desaparece si no se documenta.
Cómo documentar
Crea un repositorio de pruebas. Cada prueba tiene su página. Hipótesis. Resultados. Aprendizaje.
Tras cincuenta pruebas, tienes cincuenta páginas de aprendizaje. Quien se incorpora al equipo lee cincuenta páginas y entiende qué funciona con tu audiencia.
Buena documentación: hipótesis, resultados, conclusión y qué probar después.
Mala documentación: la prueba uno ganó, la prueba dos perdió. Sin conclusión.
Hacer que las pruebas formen parte del proceso
Las pruebas opcionales fracasan
Si las pruebas son opcionales, se paran cuando hay trabajo. Los equipos las relegan por proyectos urgentes.
Las pruebas obligatorias se sostienen
Haz que las pruebas sean obligatorias. Cada cambio pasa por el proceso de pruebas. Un cambio sin prueba no se aprueba.
Esto exige cambiar el proceso. Pero garantiza que las pruebas se hagan de forma constante.
Ejemplo de proceso
Uno: propón el cambio con una hipótesis. Dos: consigue la aprobación para probar. Tres: haz la prueba durante dos semanas. Cuatro: el responsable de pruebas aprueba los resultados. Cinco: si es significativo, impleméntalo. Seis: documenta lo aprendido. Siete: diseña la siguiente prueba.
Celebrar y comunicar los éxitos
El problema
El programa de pruebas muere si los éxitos pasan en silencio.
La solución
Celebra los éxitos. Comparte los resultados. Muestra el impacto. Email mensual: "Nuestro programa de pruebas mejoró la conversión un siete por ciento este trimestre. Estas son cinco pruebas que marcaron la diferencia. Gracias a los equipos que las ejecutaron."
Celebrar genera impulso. Genera cultura. Genera la convicción de que las pruebas funcionan.
Gestionar la política de las pruebas
El conflicto
Alguien propone un cambio. La prueba muestra que el cambio no es buena idea. La persona que lo propuso se frustra. Las pruebas generan conflicto cuando los resultados contradicen las suposiciones.
La solución
Presenta las pruebas como una herramienta de aprendizaje. No como una forma de demostrar que alguien se equivocó. Preséntalas como "probemos y aprendamos juntos".
Cuando una prueba muestra que alguien se equivocó, plantéalo como "hemos aprendido algo". Plantéalo como una victoria, no como una pérdida. La gente se pone a la defensiva si ve las pruebas como una amenaza. La gente apoya las pruebas si las ve como aprendizaje.
Gestionar el ritmo de las pruebas
Enfoque agresivo
Haz diez pruebas al mes. Termina cada prueba en una semana. Aprendizaje rápido. Más probabilidad de falsos positivos. Más tasa de error.
Enfoque conservador
Haz tres pruebas al mes. Termina cada prueba en dos o tres semanas. Aprendizaje más lento. Menos errores. Más seguro.
Enfoque equilibrado
La mayoría de las empresas deberían ir en el punto medio. Cinco o seis pruebas al mes. Duración de dos semanas. Tasa de error razonable. Velocidad de aprendizaje razonable. No sacrifiques la calidad por la velocidad. Una prueba de alta calidad vale más que diez de baja calidad.
Entender los rendimientos decrecientes
El patrón
Las primeras veinte pruebas marcan la diferencia. Cada prueba mejora algo. La hoja de ruta está llena de oportunidades de alto impacto.
De la prueba veinte a la cuarenta, el efecto es menor. Sigues aprendiendo, pero las mejoras son más pequeñas. Hay menos oportunidades evidentes.
A partir de la prueba cuarenta: las oportunidades son pequeñas. Las mejoras son mínimas. Es lo normal.
La solución
No interpretes los rendimientos decrecientes como un fracaso de las pruebas. Interprétalos como madurez. En la fase de rendimientos decrecientes, cambia el enfoque. En vez de pruebas generales, haz pruebas en áreas nuevas. Productos nuevos. Segmentos nuevos. Mercados nuevos.
Sostenibilidad del programa de pruebas a largo plazo
El riesgo
El programa de pruebas va fuerte durante seis meses. Luego se ralentiza. La gente se llena de trabajo. Las pruebas pierden prioridad. El programa se apaga.
Cómo sostenerlo
Un programa sostenible exige compromiso continuo. Exige recursos. Exige un responsable. Presupuesto para herramientas de pruebas. Presupuesto para una persona de pruebas. Incluye las pruebas en los objetivos anuales.
Si las pruebas son una prioridad anual, se hacen. Si son algo deseable pero prescindible, se paran.
Preguntas frecuentes
¿Cómo convenzo a los escépticos del equipo de que las pruebas funcionan?
Enséñales una prueba. Haz una prueba sencilla sobre un elemento con mucho tráfico. Consigue resultados. Muestra la mejora ganadora. Muestra el impacto en ingresos. Una prueba exitosa convierte a los escépticos. Los resultados hablan más alto que las palabras. Ejemplo: haz una prueba con el color de un botón. Muestra los resultados: botón azul con nueve por ciento de conversión, botón rojo con ocho coma cinco por ciento. Una mejora de ocho por ciento. Calcula el impacto: si tu web recibe diez mil visitantes al mes y convierte el dos por ciento, son doscientas conversiones al mes. Una mejora de ocho por ciento son dieciséis conversiones más al mes. Si el valor medio del pedido es de cien dólares, son mil seiscientos dólares más de ingresos al mes. Diecinueve mil dólares al año. Enséñale esto a tu compañero escéptico. El escepticismo desaparece cuando hay dinero de por medio. Con el creador de webs de WEMASY, puedes montarlo directamente en tu web.
Si estamos ocupados con proyectos, ¿debemos aplazar las pruebas?
No. Las pruebas deben formar parte de la entrega del proyecto. Cada cambio del proyecto se prueba antes de implementarlo. Las pruebas no añaden tiempo si están integradas en el proceso. Evitan que implementes cosas que no funcionan. Ejemplo: vas a lanzar un nuevo flujo de pago. Sin pruebas: implementas, lanzas, descubres que el noventa por ciento de los visitantes se confunde con el nuevo flujo, reviertes, corriges, vuelves a lanzar. Tres semanas en total. Con pruebas: pruebas el nuevo flujo durante una semana antes del lanzamiento, descubres los problemas, corriges y lanzas un flujo con confianza. Dos semanas en total. Probar ahorra tiempo porque evita lanzamientos malos. Integra las pruebas en el calendario desde el principio, no como un añadido final.
¿Cada cuánto debemos revisar resultados de pruebas antiguos?
Revísalos cuando cambien las condiciones. Una nueva temporada. Un nuevo competidor. Un cambio importante en el negocio. Si no, cada resultado es válido para su periodo. No hace falta repetir pruebas constantemente. Ejemplo: probaste una oferta en enero. La garantía de devolución del dinero gana al diez por ciento de descuento. Implementaste la garantía. Llega julio y un competidor lanza su propia garantía de devolución. Tu ventaja desaparece. ¿Debes volver a probar la oferta? Quizá. El movimiento del competidor cambió el mercado. Tu ganador puede dejar de ser relevante. Revisiones estacionales: prueba ofertas en la temporada del Black Friday. Los resultados pueden ser distintos en julio, cuando el comportamiento de compra es otro. Repite las pruebas de ofertas en julio. Los resultados definen la estrategia específica de julio.
¿Probamos para el visitante medio o para un segmento concreto?
Empieza con el visitante medio. Consigue una base de referencia. Después ve a segmentos concretos. Si optimizas solo para un segmento, el rendimiento global se resiente. Ejemplo: haces una optimización solo para móvil porque el tráfico móvil es el mayor. La base de escritorio es del diez por ciento. La de móvil, del siete por ciento. Optimizas para móvil y el móvil mejora ocho por ciento. Pero la base de escritorio cae al nueve por ciento porque los cambios no funcionan en escritorio. Ganaste en móvil pero perjudicaste a escritorio. En conjunto, perdiste terreno. Prueba primero en general para entender el impacto universal. Luego prueba por segmentos para optimizar cada uno.
¿Cómo mantenemos el impulso si las pruebas siguen perdiendo?
Las pruebas que pierden te enseñan lo que no funciona. Son datos valiosos. Las pruebas ganadoras llegarán. Sigue probando. Apóyate en lo aprendido de las derrotas. Ejemplo: pruebas cinco titulares. Tres pierden frente al titular actual. Dos ganan. Las victorias te dicen qué funciona. Las derrotas te dicen a qué no responde tu audiencia. Ahora sabes que el mensaje de "urgencia" pierde (a la gente no le gusta la presión). Sabes que el mensaje de "beneficio concreto" gana (a la gente le gusta la claridad). La siguiente prueba se apoya en eso. Prueba beneficios aún más concretos. Las pruebas se acumulan. Las pruebas perdidas no son fracasos. Son datos.
Si las pruebas muestran que todo nuestro enfoque es erróneo, ¿qué hacemos?
Celebra. Has aprendido algo valioso. Ahora cambia de rumbo. Es mejor descubrirlo con pruebas que con una pérdida de ingresos silenciosa. Ejemplo: crees que tu público objetivo quiere un producto premium. La prueba muestra que tu audiencia prefiere la opción económica. Tu posicionamiento premium era erróneo. Momento de celebrar: acabas de aprender algo que te habría costado dinero durante años si no hubieras probado. Ahora ajusta la estrategia. Cambia el mensaje hacia lo económico. Prueba el nuevo posicionamiento. Mejor descubrirlo con una pérdida de cincuenta mil dólares en ingresos que con una de cinco millones.