Profundizaremos en 7 aspectos clave muy comunes que podemos encontrar cuando practicamos experimentación online. Veremos aspectos relacionados con la estadística, sesgos, errores procedimentales, errores de implementación, entre otros. Además, Ubaldo presentará Best Practices para resolver estos problemas y crear impacto y valor para el negocio a través de la experimentación online.

1. 7 aspectos prácticos
de CRO
Ubaldo Hervás
Autor
VWO

2. Siete aspectos prácticos
2
1. Aspectos procedimentales
2. Aspectos de implementación
3. Sesgos en interpretación de datos
4. Leyes y efectos para impulsar la conversión
5. Aspectos de estadística
6. Aspectos de tecnología
7. Bonus track
8. Conclusión

3. La conclusión
3
CRO no es difícil si sabes “cómo”

4. Aspectos procedimentales
4

5. APPA Framework by LIN3S
5
Contexto de
negocio
Evaluar datos
disponibles
Research +
EDA
Priorización de
oportunidades
y puntos de
mejora
Presentación
oportunidades
y puntos de
mejora
Investigación y presentación
de soluciones priorizadas
Testing soluciones
Presentación periódica de
resultados y recomendación
Lanzamiento a producción,
follow-up y re-start
Análisis de CRO
Plan de CRO
Práctica y Acción de CRO

6. Variabilidad temporal
6

7. Variabilidad temporal
7

8. Variabilidad temporal
8
Black
friday
Puente de
diciembre

9. Aspectos procedimentales
9
Aspecto clave #001:
Entender la variabilidad estacional y de consumo te permitirá
interpretar de forma más fidedigna los datos. Para ello, establecer
procesos y frameworks de toma de decisiones es recomendable.

10. Aspectos de implementación
10

11. GA4 & VWO setup
11

12. Setup con GTM: GA4 y VWO
12
1r paso
Creamos una variable (DL
variable) con este valor
“vwo_exp_variant_string”

13. 13
2º paso
Creamos un trigger
(custom event) con este
valor
“vwo-data-push-ga4”
Setup con GTM: GA4 y VWO

14. 14
3r paso
Creamos un tag (GA4
event) con:
Event Name:
experience_impression
Event parameter:
exp_variant_string
Value parameter: la
variable hecha en el paso
1
Setup con GTM: GA4 y VWO

15. Gracias a esto:
15
Las audiencias
Podrán recibir datos de los
usuarios. Sin esta
configuración, aunque
tengas el experimento
rodando y capturando datos
en VWO, no se trasladarán a
GA4, lo cual es vital para
monitorizar métricas
terciarias.

16. Gracias a esto:
16
Las audiencias
Y así, a través de
comparaciones o
segmentos, evaluar si de
verdad nuestra variante es
más efectiva que el grupo
de control más allá de las
métricas objetivo que
establezcamos con VWO.

17. Aspectos de implementación
17

18. Aspectos de implementación
18

19. Aspectos de implementación
19
● ¿Está bien instalado el código?
● ¿Será un bug de la herramienta?
● ¿Nos habremos confundido con el smartcode?
● …

20. Blacklist
20
● Esta es otra razón posible por la que no se registran datos,
es decir, tu experimento no es lanzado.

21. SRM: Sample Ratio Mismatch
21

22. Number of Users ARPU
Control (50%) 15.752 €14.30
Variant (50%) 15.257 €16.52
SRM: Ejemplo real
¿Todo bien, no?

23. SRM: Ejemplo real
Warning. Possible sample ratio
mismatch detected with p =
0.0049. The observed sample
size in treatment does not match
the expected proportion of the
total sample size. This is an
indicator for randomisation
failure or missing data issues.
Comparative statistics may be
invalid as a result.

24. Check dispositivos
www.browserstack.com

25. Aspectos de implementación
25
Aspecto clave #002:
Entender la implementación técnica de VWO, de su integración con
herramientas de analítica y el stack tecnológico del proyecto general
te servirá para aumentar el win rate de tus experimentos.

26. Sesgos en la interpretación de datos
26

27. Engagement Bias
27
'Engagement Bias' sucede cuando no
generas el mismo efecto en los
'unengaged users' que en los 'engaged
users'.
¿Cómo mitigar este sesgo?
1. Alargar el tiempo de ejecución de
los experimentos.
2. Otro método es segmentar el
experimento en función del grado
de engagement del usuario.

28. Novelty effect
28

29. 29
Novelty effect
Los usuarios se
comportan de forma
diferente ante cambios
en la interfaz.

30. Falacia McNamara
30
“Alberto tiene mucho dinero. Mucho dinero hace que
la gente sea feliz. Alberto dice que está deprimido. Lo
que Alberto dice no indica necesariamente cómo se
siente. La depresión no se puede demostrar. Por
tanto, Alberto es feliz.”

31. Twyman’s law
31
"Any figure that looks
interesting or different is
usually wrong"

32. Sesgos en interpretación de datos
32
Aspecto clave #003:
Abraza el sano escepticismo ante datos extremos, tanto positivos
como negativos. Para prevenir invierte en procesos y personas.

33. Efectos y leyes para impulsar las conversiones
33

34. Ley de Fitts
34
Un elemento (un botón por ejemplo) será más fácil de seleccionar si es grande y no requiere mucho desplazamiento del cursor
(o el dedo en dispositivos móviles).

35. Ley de Fitts
35

36. Ley de Hick
36
El tiempo que hay que invertir para tomar una decisión se
incrementa con el número de opciones y la complejidad
disponibles.

37. Ley de Hick
37
Si no tenemos opción de limitar opciones, destacar la que más interesa al negocio puede ser la mejor alternativa.

38. Busy effect
38
CRO, a menudo, no consiste en eliminar campos.
● Se otorga una diferente jerarquía al nombre del
producto y a datos secundarios como las millas o
el modelo del vehículo.
● Se destaca el parámetro "time left" para generar
un efecto de urgencia o escasez.
● Se destaca el parámetro Highest Bid y se añade
un ⬆ para ayudar al usuario a ver rápidamente
la información más relevante (probablemente,
haya sido el 3r elemento que has visto de la
imagen)
● Se unifica como un único bloque el resumen del
vehículo con el color gris de fondo eliminando la
tabla (muy difíciles de gestionar).
https://uxmovement.com/

39. Zeigarnik Effect
39
Recordamos mejor las tareas en las
que nos han interrumpido o que no
hemos podido completar que aquellas
que sí hemos podido completar.

40. Zeigarnik Effect
40

41. 41
Aspecto clave #004:
Áreas de conocimiento como psicología y/o economía del
comportamiento son un buen recurso para impulsar acciones de
forma ágil en base a heurísticos.
Efectos y leyes para impulsar las conversiones

42. 42
Estadística

43. 43
MDE: Minimum detectable effect
Es el efecto mínimo que
necesitamos percibir en un
experimento para considerar
que realmente existe una
significancia estadística.

44. 44
Errores de tipo I y II
En un test AB, un falso positivo (Type I error)
sucede cuando los datos del experimento
indican una diferencia significativa entre grupo
de control (A) y variante (B), pero en realidad
no hay tal diferencia.
En un test AB, un falso negativo (Type II error)
sucede cuando los datos del experimento no
indican una diferencia significativa entre grupo
de control (A) y variante (B), cuando en
realidad sí hay tal diferencia.

45. 45
Aspecto clave #005:
Debemos servir al negocio y no al purismo metodológico y a la
academia.
Estadística

46. 46
Tecnología

47. Tecnología
Tasa de clicks en anuncios de
Bing en función del hardware: El
dispositivo que usan los usuarios.
https://www.goodreads.com/book/show/51635906-trustworthy-online-controlled-experiments

48. 48
Tecnología
Aspecto clave #006:
No todo está relacionado con tu experimento. Acepta que puede
haber fallas tecnológicas y de medición.

49. 49
Bonus Track

50. 50
Bonus Track

51. 51
Bonus Track

52. 52
Bonus Track
Aspecto clave #007:
Atrévete a lanzar pequeños experimentos. Nunca sabes el impacto
que puede tener.

53. 53
Conclusión

54. 54
Conclusión
CRO no es difícil si sabes “cómo”

55. 55
Siete Aspectos Clave
● Aspecto clave #001: Entender la variabilidad estacional y de consumo te permitirá interpretar de
forma más fidedigna los datos. Para ello, establecer procesos y frameworks de toma de
decisiones es recomendable.
● Aspecto clave #002: Entender la implementación técnica de VWO, de su integración con
herramientas de analítica y el stack tecnológico del proyecto general te servirá para aumentar el
win rate de tus experimentos.
● Aspecto clave #003: Abraza el sano escepticismo ante datos extremos, tanto positivos como
negativos. Para prevenir invierte en procesos y personas.
● Aspecto clave #004: Áreas de conocimiento como psicología y/o economía del comportamiento
son un buen recurso para impulsar acciones de forma ágil en base a heurísticos.
● Aspecto clave #005: Debemos servir al negocio y no al purismo metodológico y a la academia.
● Aspecto clave #006: No todo está relacionado con tu experimento. Acepta que puede haber fallas
tecnológicas y de medición.
● Aspecto clave #007: Atrévete a lanzar pequeños experimentos. Nunca sabes el impacto que
puede tener.

56. Ubaldo Hervás
VWO
Gracias
Gràcies
Thank you
Eskerrik Asko