Las pruebas A/B son una forma disciplinada de responder una pregunta de producto: ¿cambia algo si modificamos una variable? Con el enfoque bayesiano, esa pregunta se convierte en otra más operativa para equipos de negocio: ¿qué tan probable es que la nueva variante sea mejor, dadas las evidencias que ya hemos observado?

Esto no significa que “casi siempre es mejor Bayes”. Significa que Bayes brilla cuando el contexto exige decisiones rápidas, o cuando el experimento forma parte de un sistema de aprendizaje continuo (y no un evento único).

Qué cambia cuando pasas de p-valores a probabilidad

En un A/B clásico, típicamente se formula una hipótesis nula y se calcula una probabilidad bajo esa hipótesis. En el marco bayesiano, trabajas con distribuciones de creencia sobre el efecto de la variante. A medida que llega más tráfico, actualizas esa creencia con Bayes.

Traducción a lenguaje de negocio: en vez de “rechazar o no rechazar”, obtienes una cifra que puedes convertir en decisión. Por ejemplo, “hay un 93% de probabilidad de que la variante B supere a A” es más fácil de usar para planificar despliegues y riesgos.

Cuándo vale la pena un A/B bayesiano

1. 1

   Cuando quieres decidir antes

   Los A/B bayesianos suelen permitir paradas tempranas de forma natural. Si el sistema de métricas muestra que la probabilidad de mejora crece con claridad, el experimento puede terminar cuando la evidencia sea suficientemente sólida para el objetivo del negocio.

2. 2

   Cuando el coste de equivocarte importa

   Bayes te permite conectar la evidencia con el valor esperado. En lugar de un umbral “mágico” de significancia, defines un criterio vinculado a pérdida/ganancia, por ejemplo: qué tamaño de mejora compensa el riesgo de afectar ingresos, conversión o experiencia.

3. 3

   Cuando hay múltiples experimentos y aprendizaje acumulado

   Si tu equipo lanza experimentos con frecuencia, la prior se vuelve una herramienta de consistencia. No para “inflar” resultados, sino para formalizar conocimiento previo y reducir varianza cuando ya sabes cosas sobre patrones de tu producto.

4. 4

   Cuando los supuestos del clásico no encajan bien

   Bayes no elimina la necesidad de elegir bien el modelo. Pero ofrece flexibilidad para capturar estructura (por ejemplo, jerarquías por segmento o variabilidad entre cohortes) y para tratar incertidumbre de manera explícita.

Una forma práctica de pensar el criterio de decisión

Un A/B bayesiano no es “mejor” porque sí. Es mejor cuando tu decisión puede expresarse como una regla sobre la distribución posterior del efecto. Lo que suele funcionar en equipos reales es combinar:

• Probabilidad de victoria sobre la métrica objetivo.
• Magnitud mínima de efecto (para evitar mejoras irrelevantes).
• Riesgo operacional (por ejemplo, cambios en pasos del embudo con impacto downstream).

En otras palabras, no solo importa lo que “podría” pasar, importa lo que “deberías” hacer con lo que ya sabes.

El papel de la prior: útil si es honesta

La prior representa creencias antes del experimento. Una prior bien diseñada puede estabilizar resultados tempranos y ayudar a que el sistema sea menos volátil. Una prior mal calibrada puede sesgar conclusiones.

Buenas prácticas habituales: usar información relevante (de experimentos previos o de sistemas similares) y mantener trazabilidad interna sobre por qué esa prior existe. Si no hay datos previos sólidos, empezar con una prior razonablemente amplia y aprender con el experimento es preferible a forzar una seguridad falsa.

Riesgos y errores comunes (y cómo evitarlos)

Cuándo NO conviene (y qué hacer en su lugar)

Bayes no es una solución universal. Puede ser menos conveniente cuando:

• El equipo no tiene capacidad de ingeniería/analítica para validar el modelo de métrica y el pipeline de datos.
• La prior y el criterio de valor esperado no están definidos y nadie quiere hacerse responsable del riesgo.
• La métrica es tan inestable o está tan influida por factores externos que el experimento no puede aislar el efecto.

En esos casos, un A/B clásico bien instrumentado o un rediseño del experimento (mejor segmentación, ventanas, controles, o métricas alternativas) suele ser el primer paso.

Cómo empezar en tu siguiente experimento

Si tu objetivo es adoptar Bayes sin perder control, un camino razonable es:

1. A

   Define una métrica primaria y un umbral de decisión con enfoque bayesiano (victoria, magnitud mínima y riesgo).

2. B

   Elige una prior que refleje conocimiento real, o comienza amplia si no existe historia suficiente.

3. C

   Ejecuta, revisa el ajuste del modelo y documenta la decisión para reutilizarla en experimentos futuros.