8. Nula
No hay
cambio.
Prueba de hipótesis
Alternativa
Hay cambio.
8
La nula es
el mundo
default
¿El nuevo modelo lleva a un cambio significativo en
la métrica clave?
11. 11
Nuestro primer
A/B
○ No hay referencias.
○ Interpretación de
métricas.
○ Separación por
IDs/sesiones.
No sabía si lo
estaba
haciendo bien
12. Prueba A/A
○ Se aplican los pasos pero
sin agregar un nuevo
modelo.
○ Se esperaría que no
existiera diferencia en los
grupos.
12
Esto nos
salvaría
Lo que aprendimos
13. Nuestro segundo A/B
13
○ La prueba A/A salió mal.
○ Revisión de la prueba.
○ Revisión de los datos.
Aquí
sufrimos
14. Canales
Problema: los datos venían
del mismo algoritmo pero
de distinto canal.
¿Qué habría pasado si no
hubiéramos hecho la
prueba A/A? 14
Asegúrate de
que la fuente
sea del
mismo canal
Lo que aprendimos
16. ¿y qué tal con la
nueva página?
16
○ Variables de confusión:
tiempo de carga.
○ Eventos paralelos que tienen
efectos.
Por si
pensaban
que no
había más
17. Tiempos y eventos
17
Es importante
que A y B tengan
las mismas
condiciones
○ Los tiempos de carga o
respuesta deben ser iguales.
○ Verificar eventos:
mantenimiento, populares.
Lo que aprendimos
22. Espera lo inesperado
Al usuario puede no gustarle
tu modelo. Si ese es el caso
hay que aceptarlo y no
forzar resultados.
22
Pero mi modelo
era muy bueno
23. 23
○ Prueba A/A.
○ Usuarios únicos en los grupos.
○ Los datos de la prueba deben venir del mismo canal.
○ No hagas cambios ni a la prueba ni al modelo.
○ Identificar variables de confusión y eventos externos.
○ No te emociones con los resultados iniciales.
○ Si los resultados no son lo que tu quieres, acéptalo y
aprende.
Lo que aprendimos
24. “
Una prueba A/B nos
permite aprender del
usuario, no debemos
desaprovecharla.
24
Rex, Mila y Tobi