Diferenciarse, innovar, reducir el riesgo, destapar nuevas oportunidades y lo más importante… crecer. La experimentación es la guía del crecimiento de los productos digitales. Es una palanca de innovación que ayuda a tomar mejores decisiones y es mucho más fácil hablar de ella que ejecutarla. Tras ayudar a crecer a startups y corporates desde la experimentación en sus productos digitales, Product Hackers ha aportado resultados pero, sobre todo, aprendizaje: metodología, cultura y mentalidad. En este webinar trataremos de identificar los principales retos a los que se enfrentan las Startups, Scaleups y Corporates que adoptan metodologías de experimentación y cómo se pueden superar. 3 ponentes, 3 tipos de negocios y mucho conocimiento.

1. Principales obstáculos
de la experimentación
y cómo abordarlos en
StartUps, ScaleUps y
Corporates.

2. Product
Hackers
-
2
👋 ¡Hola!
Cayetano Iváñez
Growth Strategist
Xabier
Mariñelarena
Growth Product
Manager
Javier
Lipúzcoa
Experimentation
specialist

3. Product
Hackers
-
3
3
3 ponentes.
3 puntos de vista.

4. Product
Hackers
-
3
4
3 ponentes.
3 puntos de vista.
x3
x3 enfoques.
x3 tipos de problemas,

5. Product
Hackers
-
3
5
3 ponentes.
3 puntos de vista.
x3 x3
x3 enfoques.
x3 tipos de problemas,
x3 modelos de empresa.

6. Product
Hackers
-
Parte 1 de 3:
Experimentación
en Startups
6

7. Product
Hackers
-
7
Experimentación en Startups
→ Obstáculo #1
No se mide, no se mide bien
o nadie utiliza los datos

8. Product
Hackers
-
8
Experimentación en Startups
→ Obstáculo #1: causas
No se mide, no se mide bien o
nadie utiliza los datos
“No ha habido tiempo de instrumentar todo lo
necesario”

9. Product
Hackers
-
9
Experimentación en Startups
→ Obstáculo #1: causas
“No ha habido tiempo de instrumentar todo lo
necesario”
“Tenemos casi todo instrumentado, pero no
confiamos en los datos”
No se mide, no se mide bien o
nadie utiliza los datos

10. Product
Hackers
-
10
Experimentación en Startups
→ Obstáculo #1: causas
“No ha habido tiempo de instrumentar todo lo
necesario”
“Tenemos casi todo instrumentado, pero no
confiamos en los datos”
“Nuestros datos son precisos, incluso tenemos
dashboards, pero solo los uso yo”
No se mide, no se mide bien o
nadie utiliza los datos

11. Product
Hackers
-
11
➔ Formación básica en
herramientas de medición
para todos los miembros
del equipo.
Experimentación en Startups
→ Obstáculo #1: posibles soluciones
1

12. Product
Hackers
-
12
➔ Formación básica en
herramientas de medición
para todos los miembros
del equipo.
Experimentación en Startups
→ Obstáculo #1: posibles soluciones
1 2
➔ Inversión en analítica sólida.
Será la base de la confianza
para todos.

13. Product
Hackers
-
13
➔ Formación básica en
herramientas de medición
para todos los miembros
del equipo.
Experimentación en Startups
→ Obstáculo #1: posibles soluciones
1 2 3
➔ Inversión en analítica sólida.
Será la base de la confianza
para todos.
➔ Dinamizar el uso de los
datos: toda propuesta irá
acompañada de evidencias
observadas y una métrica
que permita evaluar su éxito.

14. Product
Hackers
-
14
Experimentación en Startups
→ Obstáculo #2
No hay dinero para
herramientas, no hay
tiempo de desarrollo

15. Product
Hackers
-
15
Experimentación en Startups
→ Obstáculo #2: causas
No hay dinero para
herramientas, no hay
tiempo de desarrollo
“La experimentación no es una prioridad, no se
han asignado recursos para ello”

16. Product
Hackers
-
16
Experimentación en Startups
→ Obstáculo #2: causas
No hay dinero para
herramientas, no hay
tiempo de desarrollo
“La experimentación no es una prioridad, no se
han asignado recursos para ello”
“Los equipos de desarrollo están centrados en
construir producto”

17. Product
Hackers
-
17
➔ Demostrar el valor de la
experimentación a través
de herramientas con bajos
costes de entrada, como
VWO.
Experimentación en Startups
→ Obstáculo #2: posibles soluciones
1

18. Product
Hackers
-
18
➔ Demostrar el valor de la
experimentación a través
de herramientas con bajos
costes de entrada, como
VWO.
Experimentación en Startups
→ Obstáculo #2: posibles soluciones
1 2
➔ Utiliza el editor visual de
VWO. En pocos segundos
puedes tener tu primer
experimento.

19. Product
Hackers
-
19
➔ Demostrar el valor de la
experimentación a través
de herramientas con bajos
costes de entrada, como
VWO.
Experimentación en Startups
→ Obstáculo #2: posibles soluciones
1 2 3
➔ Utiliza el editor visual de
VWO. En pocos segundos
puedes tener tu primer
experimento.
➔ Chat GPT y experimentos
Low-Code.

20. Product
Hackers
-
20
Experimentación en Startups
→ Obstáculo #3
Decisiones centralizadas,
ausencia de documentación
y un equipo ejecutor.

21. Product
Hackers
-
21
Experimentación en Startups
→ Obstáculo #3: causas
Decisiones
centralizadas, ausencia
de documentación y un
equipo ejecutor.
“En organizaciones de tamaño reducido, las
decisiones se concentran en pocos
stakeholders”

22. Product
Hackers
-
22
Experimentación en Startups
→ Obstáculo #3: causas
Decisiones
centralizadas, ausencia
de documentación y un
equipo ejecutor.
“En organizaciones de tamaño reducido, las
decisiones se concentran en pocos
stakeholders”
“Parte de la empresa se asienta en un rol
ejecutor dejando a un lado la capacidad crítica
basada en evidencias objetivas”

23. Product
Hackers
-
23
Experimentación en Startups
→ Obstáculo #3: causas
Decisiones
centralizadas, ausencia
de documentación y un
equipo ejecutor.
“En organizaciones de tamaño reducido, las
decisiones se concentran en pocos
stakeholders”
“Parte de la empresa se asienta en un rol
ejecutor dejando a un lado la capacidad crítica
basada en evidencias objetivas”
“Cuando el ‘bien’ o el ‘mal’ lo determina un
stakeholder, la cultura de la medición no puede
crecer”

24. Product
Hackers
-
24
➔ Descentralizar la toma de
decisiones.
Experimentación en Startups
→ Obstáculo #3: posibles soluciones
1

25. Product
Hackers
-
25
➔ Descentralizar la toma de
decisiones.
Experimentación en Startups
→ Obstáculo #3: posibles soluciones
1 2
➔ Documentación, medición,
evolución e iteración.

26. Product
Hackers
-
26
➔ Descentralizar la toma de
decisiones.
Experimentación en Startups
→ Obstáculo #3: posibles soluciones
1 2 3
➔ Documentación, medición,
evolución e iteración.
➔ Deja crecer la cultura de la
experimentación. Cuando
esta dinámica se convierta
en costumbre, conceptos
como la priorización por
evidencias o la formulación
de hipótesis surgirán
naturalmente.

27. Product
Hackers
-
Parte 2 de 3:
Experimentación
en Scaleups
27

28. Product
Hackers
-
28
Experimentación en Scaleups
→ Obstáculo #1
Equipos desalineados:
⇢ Falta de cohesión
⇢ Comunicación ineficaz
⇢ Divergencia en objetivos y
expectativas

29. Product
Hackers
-
29
Experimentación en Scaleups
→ Obstáculo #1: causas
Equipos desalineados
Crecimiento de los equipos

30. Product
Hackers
-
30
Experimentación en Scaleups
→ Obstáculo #1: causas
Equipos desalineados
Crecimiento de los equipos
Falta de onboarding y desarrollo en
experimentación

31. Product
Hackers
-
31
Experimentación en Scaleups
→ Obstáculo #1: causas
Equipos desalineados
Crecimiento de los equipos
Falta de onboarding y desarrollo en
experimentación
Falta de documentación efectiva

32. Product
Hackers
-
32
➔ Incorporar buen talento +
integrar bien a los nuevos
miembros del equipo
Experimentación en Scaleups
→ Obstáculo #1: posibles soluciones
1

33. Product
Hackers
-
33
➔ Incorporar buen talento +
integrar bien a los nuevos
miembros del equipo
Experimentación en Scaleups
→ Obstáculo #1: posibles soluciones
1 2
➔ Mejora continua en cultura
de experimentación

34. Product
Hackers
-
34
➔ Incorporar buen talento +
integrar bien a los nuevos
miembros del equipo
Experimentación en Scaleups
→ Obstáculo #1: posibles soluciones
1 2 3
➔ Mejora continua en cultura
de experimentación
➔ Tener un sistema de
documentación simple y
efectivo

35. Product
Hackers
-
Desequilibrios en la
asignación de recursos:
⇢ Cuellos de botella
⇢ Retrasos de entregas
⇢ Frustración y presión
35
Experimentación en Scaleups
→ Obstáculo #2

36. Product
Hackers
-
36
Experimentación en Scaleups
→ Obstáculo #2: causas
Desequilibrios en la
asignación de recursos
Incertidumbre

37. Product
Hackers
-
37
Experimentación en Scaleups
→ Obstáculo #2: causas
Desequilibrios en la
asignación de recursos
Incertidumbre
Desconocimiento de posibles cuellos de
botella

38. Product
Hackers
-
38
Experimentación en Scaleups
→ Obstáculo #2: causas
Desequilibrios en la
asignación de recursos
Incertidumbre
Desconocimiento de posibles cuellos de
botella
Adopción de nuevas herramientas

39. Product
Hackers
-
39
➔ Asignaciones
progresivas
Experimentación en Scaleups
→ Obstáculo #2: posibles soluciones
1

40. Product
Hackers
-
40
➔ Asignaciones
progresivas
Experimentación en Scaleups
→ Obstáculo #2: posibles soluciones
1 2
➔ Escenarios, screening y
checkpoints

41. Product
Hackers
-
41
➔ Asignaciones
progresivas
Experimentación en Scaleups
→ Obstáculo #2: posibles soluciones
1 2 3
➔ Escenarios, screening y
checkpoints
➔ Experimentar con la
experimentación

42. Product
Hackers
-
No hay una
experimentación
democratizada:
⇢ Concentración de la capacidad y
posibilidad de experimentar
⇢ Efecto negativo en innovación
42
Experimentación en Scaleups
→ Obstáculo #3

43. Product
Hackers
-
43
Experimentación en Scaleups
→ Obstáculo #3: causas
No hay una
experimentación
democratizada
Falta de objetivos descentralizados

44. Product
Hackers
-
44
Experimentación en Scaleups
→ Obstáculo #3: causas
No hay una
experimentación
democratizada
Falta de objetivos descentralizados
Falta de conocimiento

45. Product
Hackers
-
45
Experimentación en Scaleups
→ Obstáculo #3: causas
No hay una
experimentación
democratizada
Falta de objetivos descentralizados
Falta de conocimiento
Falta de sistema centralizado que
descentralice

46. Product
Hackers
-
46
➔ Frameworks para tener
objetivos por equipos
◆ OKRs
◆ North Star Metric
framework
Experimentación en Scaleups
→ Obstáculo #3: posibles soluciones
1 2 3
➔ Programa de desarrollo
específico para fomentar una
cultura de experimentación
➔ Creación de un sistema
centralizado de
experimentación para
descentralizar:
◆ Comunicación
◆ Documentación
◆ Formación
◆ Alineación

47. Product
Hackers
-
Parte 3 de 3:
Experimentación
en Corporates
47

48. Product
Hackers
-
48
Experimentación en Corporate
→ Obstáculo #1
La sobre centralización:
“El equipo de experimentación”

49. Product
Hackers
-
49
Experimentación en Corporate
→ Obstáculo #1
Experimentation team
Marketing team UX team Whatever team
Experiments /
Insights
Experiments /
Insights
Experiments /
Insights

50. Product
Hackers
-
50
Experimentación en Corporate
→ Obstáculo #1
Experimentation team
Marketing team UX team Whatever team
Experiments /
Insights
Experiments /
Insights
Experiments /
Insights
Experimentation backlog
��

51. Product
Hackers
-
51
Experimentación en Corporate
→ Obstáculo #1: causas
La sobre centralización:
“El equipo de
experimentación”
Falta de escalabilidad:
El número de experimentos está limitado por la
capacidad del equipo

52. Product
Hackers
-
52
Experimentación en Corporate
→ Obstáculo #1: causas
La sobre centralización:
“El equipo de
experimentación”
Falta de escalabilidad:
El número de experimentos está limitado por la
capacidad del equipo
Cuello de botella:
Los plazos de delivery del equipo se alargan, se
pierde coste de oportunidad

53. Product
Hackers
-
53
Experimentación en Corporate
→ Obstáculo #1: causas
La sobre centralización:
“El equipo de
experimentación”
Falta de escalabilidad:
El número de experimentos está limitado por la
capacidad del equipo
Cuello de botella:
Los plazos de delivery del equipo se alargan, se
pierde coste de oportunidad
Falta de democratización
Los equipos no tienen capacidad para validar
sus propias hipótesis o para formular hipótesis
de sus propios insights

54. Product
Hackers
-
54
➔ Descentralización
completa: todos los
equipos se capacitan para
diseñar, ejecutar e
interpretar experimentos
de forma independiente
Experimentación en Corporate
→ Obstáculo #1: posibles soluciones
1

55. Product
Hackers
-
55
➔ Descentralización
completa: todos los
equipos se capacitan para
diseñar, ejecutar e
interpretar experimentos
de forma independiente
Experimentación en Corporate
→ Obstáculo #1: posibles soluciones
1 2
➔ Descentralización híbrida:
◆ Un equipo central asiste a todos
los equipos en el diseño, ejecución
o interpretación de experimentos
◆ Un equipo central estandariza las
herramientas, procesos y criterios
para que los demás equipos
puedan experimentar con los
conocimientos y recursos mínimos

56. Product
Hackers
-
➔ Escalar cultura de
experimentación: es el
momento de evangelizar,
capacitar, formar.
56
➔ Descentralización
completa: todos los
equipos se capacitan para
diseñar, ejecutar e
interpretar experimentos
de forma independiente
Experimentación en Corporate
→ Obstáculo #1: posibles soluciones
1 2 3
➔ Descentralización híbrida:
◆ Un equipo central asiste a todos
los equipos en el diseño, ejecución
o interpretación de experimentos
◆ Un equipo central estandariza las
herramientas, procesos y criterios
para que los demás equipos
puedan experimentar con los
conocimientos y recursos mínimos

57. Product
Hackers
-
57
Experimentación en Corporate
→ Obstáculo #2
La documentación dispersa:
“¿La documentación?
La documentación soy yo.”

58. Product
Hackers
-
58
Experimentación en Corporate
→ Obstáculo #2
1) Sin documentación no hay cultura:
Un proceso de experimentación sano parte de una
documentación estructurada
2) Sin documentación no hay aprendizaje:
Para que la experimentación se democratice, la
documentación tiene que ser accesible, comprensible y
accionable
Estructurar una base de datos para que resulte útil a
futuro es un arte. No hacerlo es trabajar en vano

59. Product
Hackers
-
59
Experimentación en Corporate
→ Obstáculo #2: causas
La documentación
dispersa
Falta de datos estructurados:
No diseñar una base de datos adecuada
imposibilita su uso eficaz. Una documentación
sin estandarizar es una documentación estéril

60. Product
Hackers
-
60
Experimentación en Corporate
→ Obstáculo #2: causas
La documentación
dispersa
Falta de datos estructurados:
No diseñar una base de datos adecuada
imposibilita su uso eficaz. Una documentación
sin estandarizar es una documentación estéril
Falta de una fuente de verdad:
Una documentación descentralizada genera
frustración, discrepancias y falta de confianza

61. Product
Hackers
-
61
➔ Unificar los dashboards
Un reporte para
dominarlos a todos
Experimentación en Corporate
→ Obstáculo #2: posibles soluciones
1

62. Product
Hackers
-
62
➔ Unificar los dashboards
Un reporte para
dominarlos a todos
Experimentación en Corporate
→ Obstáculo #2: posibles soluciones
1 2
➔ Estandariza, estructura,
define metadatos:
◆ ¿Qué preguntas le haremos a
nuestra base de conocimiento a
posteriori?
● Datos concluyentes
● Comportamiento del
usuario, sesgos cognitivos
● Fechas
● Recomendaciones
● etc

63. Product
Hackers
-
63
Experimentación en Corporate
→ Obstáculo #1
La barrera del idioma:
“Si, pero… ¿y el revenue?”

64. Product
Hackers
-
64
Experimentación en Corporate
→ Obstáculo #3: causas
La documentación
dispersa
Cada stakeholder hace una pregunta diferente,
espera una respuesta adecuada:
Unos validan hipótesis basadas en investigación
de usuarios, otros validan hipótesis basadas en
investigación de mercados. Unos toman
decisiones basados en métricas de usuario, otros
en métricas de negocio.

65. Product
Hackers
-
65
Experimentación en Corporate
→ Obstáculo #3: causas
La documentación
dispersa
Cada stakeholder hace una pregunta diferente,
espera una respuesta adecuada:
Unos validan hipótesis basadas en investigación
de usuarios, otros validan hipótesis basadas en
investigación de mercados. Unos toman
decisiones basados en métricas de usuario, otros
en métricas de negocio.
El nivel de aversión al riesgo de cada
stakeholder es diferente:
No solo quieres dar buenas ideas, quieres
demostrar que son buenas. Y cada idea supone
un nivel de riesgo diferente.

66. Product
Hackers
-
66
➔ Define un árbol de
objetivos
Ten claro con qué
métricas medimos los
cambios en el
comportamiento del
usuario que nos permiten
avanzar en la consecución
de nuestros objetivos
Experimentación en Corporate
→ Obstáculo #3: posibles soluciones
1

67. Product
Hackers
-
67
➔ Define un árbol de
objetivos
Ten claro con qué
métricas medimos los
cambios en el
comportamiento del
usuario que nos permiten
avanzar en la consecución
de nuestros objetivos
Experimentación en Corporate
→ Obstáculo #3: posibles soluciones
1 2
➔ Define un framework de
toma de decisiones:
◆ ¿Qué criterios tendrás en cuenta
en cada decisión en función de su
naturaleza
◆ ¿Qué nivel de certidumbre
necesitamos en nuestras
respuesta en función de la
naturaleza de la hipótesis o
pregunta de negocio?