La atribución te dice qué canal se lleva el mérito de una conversión. Pero ¿el canal genera de verdad la conversión, o habría ocurrido igualmente? Las pruebas de incrementalidad responden a esta pregunta con experimentos: expones a unos usuarios al canal (grupo de tratamiento), no expones a otros (grupo de control) y mides la diferencia en las tasas de conversión. Esa diferencia es el impacto incremental real. Este capítulo explica las pruebas de incrementalidad y cuándo usarlas.
Atribución frente a incrementalidad
Atribución: de las personas que convirtieron, ¿qué canal las tocó el último? Es simple de medir, pero no demuestra causalidad.
Incrementalidad: si quitamos este canal por completo, ¿cuántos ingresos perderíamos? Esto demuestra la causalidad y mide el impacto real.
Ejemplo: convirtieron 100 personas. Google Ads, al último clic, se lleva el mérito de 60. Pero la prueba de incrementalidad muestra que, si no hubiéramos usado Google Ads, 50 de esas 60 habrían convertido igualmente (por otros canales). La incrementalidad real de Google Ads son 10 conversiones, no 60.
Tipos de pruebas de incrementalidad
Pruebas geográficas
Muestra anuncios en algunas zonas geográficas (tratamiento) y no en otras (control). Compara las tasas de conversión. Ejemplo: usa Google Ads en San Francisco (tratamiento) y no en Berkeley (control). Si San Francisco tiene una tasa de conversión más alta, los anuncios son incrementales.
Ventaja: simple y rápida. Desventaja: las diferencias entre zonas pueden distorsionar los resultados (San Francisco es más rica, lo que eleva la tasa de conversión).
Grupos de exclusión
Muestra anuncios a todos menos a un 10% aleatorio (control). Compara las tasas de conversión: usuarios expuestos a anuncios frente a usuarios excluidos. La diferencia es la incrementalidad.
Ventaja: es precisa y controla las variables de confusión. Desventaja: exige un presupuesto grande (no vamos a dejar sin anuncios al 10% de nuestra audiencia solo para medir el impacto).
Pruebas por periodos de tiempo
Muestra anuncios en algunos periodos (tratamiento) y no en otros (control). Ejemplo: usa búsqueda de pago de lunes a jueves, no de viernes a domingo. Compara las tasas de conversión. Si de lunes a jueves es más alta, los anuncios son incrementales.
Ventaja: simple. Desventaja: confusión por el día de la semana (los fines de semana convierten menos de forma natural).
Cómo hacer una prueba de incrementalidad
Paso 1: define la hipótesis. "Google Ads genera conversiones incrementales por encima de la base."
Paso 2: elige el tipo de prueba. Los grupos de exclusión son lo más preciso; úsalos si el presupuesto lo permite.
Paso 3: dimensiona la prueba. Necesitas una muestra suficiente para detectar la diferencia. Si la conversión base es del 5% y quieres detectar un aumento del 2%, necesitas unas 10,000 personas por grupo. Consulta a un estadístico o usa una calculadora de potencia.
Paso 4: ejecuta la prueba durante 2-4 semanas. Las pruebas más largas reducen la varianza de las oscilaciones diarias.
Paso 5: analiza los resultados. ¿Es la diferencia estadísticamente significativa? (p < 0.05). Si es así, has demostrado la incrementalidad.
Retos de las pruebas de incrementalidad
Coste: los grupos de exclusión suponen perder ingresos a propósito (no mostramos anuncios al 10% de la audiencia). Solo compensa en canales de mucho gasto, donde el conocimiento es valioso.
Canibalización: si el usuario no ve tu anuncio, puede usar la búsqueda orgánica o entrar de forma directa. La incrementalidad lo recoge (está incluido en el comportamiento del grupo de control).
Efectos a largo plazo: los anuncios pueden tener un efecto de marca que aparece días o semanas después. La mayoría de las pruebas son a corto plazo y no captan los efectos a largo plazo.
¿Cómo decido si hacer una prueba de incrementalidad?
La incrementalidad es cara (el grupo de exclusión cuesta dinero). Haz pruebas en: canales de mucho gasto (Google Ads, Facebook Ads), donde la atribución es ambigua y donde tomas decisiones de presupuesto importantes. No pruebes: canales pequeños ni donde la atribución es clara. Presupuesto: de $10k a $50k o más por prueba. Resérvalo para las preguntas de mayor impacto.
¿Qué tamaño de muestra necesito para una prueba de incrementalidad?
Depende de la tasa de conversión base y del aumento que quieras detectar. Regla práctica: necesitas entre 5,000 y 10,000 por grupo (control y tratamiento). Si la base es del 5% y quieres detectar un aumento del 2% (nueva tasa del 7%), necesitas unas 10,000 por grupo. Usa una calculadora de potencia estadística (búscala por 'calculadora de potencia estadística') para obtener la cifra exacta de tu caso.
¿Cuánto tiempo debo mantener una prueba de incrementalidad?
Mínimo de 2 a 4 semanas (para compensar la variación diaria). Mejor de 4 a 8 semanas (capta los patrones semanales). Las pruebas más largas cuestan más, pero son más fiables. Si tu ciclo de venta es de 30 días, mantén la prueba más de 30 días para captar el ciclo completo.
¿Puedo usar las pruebas de incrementalidad para medir interacciones entre canales (cómo un canal ayuda a otro)?
Sí, pero es más complejo. Diseño de la prueba: (1) control (ningún canal), (2) tratamiento A (solo el canal A), (3) tratamiento B (solo el canal B), (4) tratamiento A+B (ambos canales). Compara los resultados. Si A+B > A + B, hay sinergia. Esto requiere muestras más grandes y un análisis más complejo.
¿Qué diferencia hay entre un grupo de exclusión y un grupo de control en las pruebas?
Grupo de exclusión: parte de tu base de clientes que no ve el canal (a propósito). Grupo de control: en un experimento, el grupo que no recibe el tratamiento (para comparar). Es el mismo concepto con otra terminología. El grupo de exclusión es continuo (un grupo que se mantiene de forma permanente); el de control se usa durante una prueba concreta.
¿Cómo presento los resultados de una prueba de incrementalidad a la dirección?
Muestra: la conversión base (5%), la conversión con tratamiento (6%) y el aumento (1 punto porcentual, un 20% de aumento relativo). Muestra el intervalo de confianza: el aumento es de 0.5-1.5 puntos porcentuales (estamos seguros de este rango). Implicación para el presupuesto: si la incrementalidad es un 20% menor de lo que decía la atribución, recalcula el retorno. Así justificas el coste de la prueba con mejores decisiones.