1. Taller UXLab C
Encuestas Online

2. Xavier Colomés

4. Objetivos del Taller
Aprender a diseñar, implementar y analizar correctamente encuestas
online para:
1. Entender mejor a nuestros usuarios: Motivaciones,
preocupaciones, expectativas, miedos y objetivos
2. Descubrir comportamientos que desconocemos
3. Identificar los insights que la voz del usuario nos da, sin
dejarnos equivocar por los “bias” de nuestros usuarios
4. Convertir estos aprendizajes e Insights en acciones: cambios
de diseño, nuevas soluciones visuales y test

5. 1
2
3
4
5
INTRODUCCIÓN A LA ANALÍTICA WEB “CUALITATIVA”1

6. 1
2
3
4
5
ENCUESTAS ONLINE, CUANDO, CÓMO Y PORQUÉ2

7. 1
2
3
4
5
EJEMPLOS Y CASOS REALES3

8. 1
2
3
4
5
CONFIGURACIÓN Y DISEÑO4

9. 1
2
3
4
5 CONCLUSIONES Y DEBATE5

10. ¿POR QUÉ ESTE TALLER?La analítica Cualitativa, y en particular las
encuestas online, son un puente entre UX y la
Analítica Web

11. Tus métricas
limitan mi
creatividad!!
A la que te vayas
de vacaciones voy
a testear toda la
web!!!
DISEÑADORES Y ANALISTAS: UNA RELACIÓN DIFICIL….

12. Cómo he
vivido tantos
años sin tus
insights!
¡Me pones el
NPS a mil!
….PERO BENEFICIOSA

13. 1
2
3
4
5
¿Qué es Analítica Cualitativa?
• Es el análisis de la Voz del Usuario, lo que en UX se llama Research.
• El conjunto de técnicas de recogida y análisis de datos que provienen
directamente del usuario, respondiendo a una o varias preguntas
• Se diferencia de la Analítica Clickstream, donde analizamos los rastros
de la huella digital de un usuario en una web, en que trabajamos con
muestras
• Las principales técnicas cualitativas (o de research) son:
Focus Group Feedback Tools
Encuestas
On Site
Encuestas
Off Site
Test de
Usabilidad
Follow me
Homes
ObservaciónEntrevistas

14. 1
2
3
4
5
Diseño
UX
Analítica
CRO
¿Qué es Analítica Cualitativa?

15. Las limitaciones de la Analítica
web
La Analítica web “Clickstream” tiene muchas ventajas. Nos permite
medir casi cualquier acción que ocurre en una web e identificar dónde
tenemos los mayores problemas. Por ejemplo:
• Qué páginas tienen mejor conversión
• Qué destinos buscan los usuarios en una agencia de viajes
• Qué productos son los que tienen mejor venta
• Qué fuentes de tráfico son las que tenemos que potencias
Lo que no nos dice la Analítica web
es…

16. 1
2
3
4
5
¿POR QUÉ?

17. 1
2
3
4
5

18. Customers Included - Mark Hurst & Phil Terry

19. Antes de continuar

20. "Si hubiera preguntado a mis clientes qué es lo que necesitaban, me
hubieran dicho que un caballo más rápido"
Henry Ford

21. • La analítica cualitativa, como el research,
tiene que se realizado correctamente
• La mayoría de las veces, el usuario no sabe
lo que quiere
• No se trata de preguntar a usuarios qué
hacer, si no entender a través de datos
obtenidos a través de ellos, porqué lo
hacen, qué les motiva, qué les preocupa, y
usar el análisis para mejorar su experiencia

22. 1
2
3
4
5
¿Qué deberíamos hacer?

23. 1
2
3
4
5
¿Qué deberíamos hacer?

24. 1
2
3
4
5
Principales técnicas de Research /
Cualitativa

25. Facil de Ejecutar
Complicado de Ejecutar
No
representativa
Representativa
Market
Research
Focus Group
Online Offline
Feedback Tools
Encuestas
On Site
Encuestas
Off Site
Test de
Usabilidad
Analítica
Web
Clickstream
Follow me
Homes
Observación
Entrevistas

26. 1
2
3
4
5
ENCUESTAS ONLINE2

27. 1
2
3
4
5
¿Porqué Encuestas Online?
• Permite entender porqué pasa lo que “observamos”
• Son fáciles y baratas de realizar
• Permite analizar motivaciones, expectativas, miedos, problemas y
otras variables que normalmente no tenemos y que son clave para la
conversión
• Nos dice lo que no sabemos
• Nos permite conocer mejor nuestra audiencia, con datos
demográficos que normalmente desconocemos
• Permite que nuestros insights se fundamenten en la voz del
usuario, no en la nuestra. Si enfrentamos nuestra voz contra la de
nuestro jefe, cual crees que va a ganar?

28. 1
2
3
4
5
“Contras” de las encuestas Online
• No reemplazan otras técnicas
• Por muchas encuestas que hagas, no van a sustituir el test de
usabilidad, la entrevista ni el focus group. Eso si, con Encuestas, harás
mejores tests, mejores entrevistas y mejores focus groups
• No vas a tener representatividad, además de sobre dimensionar
algunos segmentos en tus respuestas
• Es muy fácil equivocarse al diseñar una encuesta, o usarlas de manera
incorrecta
• Podemos caer en la tentación de “preguntar lo que no debemos” o
darle al usuario una responsabilidad que no le pertoca

29. (basicamente, no hay)
La representatividad de las Encuestas
Online

30. 1
2
3
4
5
Población o Universo
• El conjunto total de elementos en la
observación
• Por ejemplo:
• Pacientes de Diabetes
• Usuarios de Tarjeta de crédito
• Personas que reservan vuelo Online
• Usuarios de una web
• Cuando extrapolamos conclusiones sobre
una población basados en casos no
representativos se llama Prueba anecdótica
• Error de inferencia se da cuando
extraemos conclusiones de una muestra sin
conocer realmente el tamaño del universo
• Utilizamos muestras para estudiar
poblaciones

31. 1
2
3
4
5
Tipos de muestreo
• Probabilistico:
• Muestra Aleatoria: todos los individuos tienen la
misma posibilidad de ser elegidos
• Muestra Estratificada: Se clasifica antes a los
individuos Por ejemplo, sexo, ciudad, edad, fuente
de trafico, etc. Después se realiza en cada grupo
un muestreo aleatorio
• No Probabilistico

32. 1
2
3
4
5
Sesgos (Hay muchos…)
• El sesgo “bias” más famoso es el “Cognitive Bias”
• De selección:
• Non response bias: Cuando nuestra muestra es sesgada por usar sólo usuarios proclives a
responder
• Convenience Sample: Cuando sólo usamos una muestra facil de acceder (i.e nuestros
seguidores en twitter). Ejemplo elecciones en 1936 Literary Digest., usando teléfonos y registro
de automóviles
• Voluntary response bias: Cuando publicas una encuesta en Facebook y responde tu madre
• Siempre recordad que los sesgos se producen en:
• La Selección de la muestra
• El método de recogida
• Y el Análisis

34. Nunca vas a tener muestras 100%
representativasY NO SIEMPRE LAS
NECESITASel secreto es analizar las respuestas para
generar experimentos, no usarlas como
verdades absolutas

35. 1
2
3
4
5
Anteriormente se necesitaba afinar (y gastar
mucho) en las muestras para que fuesen
representativas…

36. 1
2
3
4
5
… hoy en día podemos trabajar con
muestras no representativas y testera de
manera ágil

37. 1
2
3
4
5
¿CUANTOS USUARIOS/RESPUESTAS
NECESITAMOS?

38. 1
2
3
4
5
• Jakob Nielsen estableció en el año 2000 que 5 usuarios proporcionan el 80% de
los problemas de usabilidad
• Para encuestas: 50 usuarios te darán una base inicial, 100 es una muestra
suficiente para crear hipótesis y raramente necesitamos más de 200 respuestas
• La validez y calidad de los insights obtenidos dependerá del resultado del
experimento
http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
¿Cuantas respuestas necesito?

39. 1
2
3
4
5
https://www.checkmarket.com/market-research-resources/sample-size-calculator/
Caso practico: Encuesta con
Qualaroo

40. 1
2
3
4
5
https://www.checkmarket.com/2013/02/how-to-estimate-your-population-and-survey-sample-size/
Caso practico: Encuesta con
Qualaroo

41. 1
2
3
4
5
Qué hacen:
(Usabilidad, Follow me
homes, observación)
• Navegación clara
• Procesos intuitivos
• Barreras de
usabilidad
• Experiencia de
usuario
Para qué usar Encuestas Online
CONCEPCIÓN (UX) DISEÑO (UI) OPTIMIZACIÓN (CRO)
Porqué lo hacen:
(Encuestas on site,
Feedback tools)
• Propósito de visita
• Consecución de tarea
• Intención de compra
• Principales barreras
• Satisfacción
• Percepción (as in
tiempo de carga)
• Comprensión
• Origen real de la visita
Qué quieren:
(Entrevistas, focus group,
cuestionarios)
• Qué problemas tiene
el mercado
• Percepción sobre las
alternativas
disponibles
• Motivaciones
• FUDs

42. Tipos de Encuestas Online
Feedback

43. 1
2
3
4
5
Herramientas de Feedback
• Son pasivas, con baja tasa de participación y normalmente
comportamientos muy polarizados (muy fans o muy detractores)

44. 1
2
3
4
5
Herramientas de Feedback

45. 1
2
3
4
5
Herramientas de Feedback

46. 1
2
3
4
5

47. Tipos de Encuestas Online
NPS

48. 1
2
3
4
5
Net Promoter Score
• Una métrica comparable entre industrias
• Debe ser formulada exactamente como se indica:
• How likely are you to recommend this service/product/brand to a friend or relative?
• ¿Cuan probable es que recomiendes este producto o servicio a un familiar o amigo?
• Es polémica pero bien usada permite medir Satisfacción

49. 1
2
3
4
5
Net Promoter Score
• Hay que tener en cuenta algunas consideraciones:
• Para comparar NPS hay que capturarlo en el mismo sitio. No es lo mismo en una Landing que
en una página de confirmación
• No se puede comprar un NPS de una industria con otro, ni entre países. Sólo entre
competidores del mismo mercado
• EL NPS es sólo un indicador, no nos dice porqué. Es normal acompañarlo de un campo abierto

50. 1
2
3
4
5
Net Promoter Score

51. 1
2
3
4
5
NPS
-9
Calcula el NPS

52. 1
2
3
4
5
Esto NO es NPS

53. 1
2
3
4
5

54. Tipos de Encuestas Online
Encuestas Breves

55. 1
2
3
4
5
Encuestas breves - On Site
• Permiten hacer preguntas al
usuario en el momento de la
navegación
• Su principal utilización es El
Propósito de visita y tasa de
consecución de tarea

56. 1
2
3
4
5

57. 1
2
3
4
5
Encuestas breves - On Site
Caso practico: The Little Saint Store
http://www.thelittlesaintstore.com/

59. 1
2
3
4
5
Encuestas breves - On Site

60. 1
2
3
4
5
Encuestas breves - On Site
• En CRO las usamos para entender los comportamientos dentro de
una página o contenido específico

61. 1
2
3
4
5
Encuestas breves - On Site
• También las usamos para conocer más sobre nuestros usuarios,
por ejemplo, su perfil laboral:

62. 1
2
3
4
5
Encuestas breves - 4Q

63. 1
2
3
4
5

64. 1
2
3
4
5
Encuestas de una pregunta
1. ¿Cual es el motivo de tu visita? (Cualquier pagina)
2. ¿Has logrado tu propósito de visita? (Cualquier pagina)
3. ¿Cómo no has conocido? (Cualquier pagina)
4. ¿Qué te ha llevado a decidirte por nosotros? (Confirmación
de pedido)
5. ¿Cual ha sido tu mayor problema a la hora de comprar/
reservar / descargar este producto?(Confirmación de pedido)

65. 1
2
3
4
5
Encuestas Breves - Off Site
• Nos preguntan
sobre una
experiencia pasada,
normalmente
relacionada con un
pedido o reserva
• Son poco habituales

66. Tipos de Encuestas Online
Encuestas Largas

67. 1
2
3
4
5
Encuestas Largas - On Site
• Nos acribillan a preguntas sobre nuestra experiencia

68. 1
2
3
4
5
• Cuando están bien realizadas permiten profundizar sobre los
segmentos que visitan la web, y permiten monitorizar algunas métricas
durante distintos periodos
Encuestas Largas - On Site

69. 1
2
3
4
5

70. 1
2
3
4
5
http://www.suprq.com/
Encuestas largas y Usabilidad
(Percibida)

74. 1
2
3
4
5
https://conversiongarden.typeform.com/to/cC6Kn3

75. 1
2
3
4
5
Encuestas Largas - Off Site

76. 1
2
3
4
5
Encuestas Largas - Off Site
• Son las más habituales
• Nos preguntan sobre
satisfacción, motivaciones,
competidores, valoración,
etc.
• Se realizan:
• Después de una acción
(compra)
• De manera periódica
(monitorización)
• De manera puntual (un
problema puntual)
• Se envían por email
normalmente, o se
comparten por social media,

77. 1
2
3
4
5
Encuestas Largas - Off Site

78. 1
2
3
4
5

79. 1
2
3
4
5

80. 1
2
3
4
5

81. Cuales son los problemas con los que te enfrentas cada dia como analista web?: Datos, clientes e Implementaciones
* Basado en 77 Respuestas

82. * Basado en 77 Respuestas
¿Cual crees que es futuro del Analista Web?

83. La analítica web es un Skill más que
una profesión?
1/3 de Analistas están en Cliente
2/3 Son externos

84. 30% IT
70% No IT
Analitica Web es
Marketing, no
tecnología
Sólo 1 de cada 3
seleccionaron “A/B
Testing”

85. 1
2
3
4
5
CONFIGURACIÓN Y DISEÑO4

86. Difícil de Hacer
Fácil de Hacer
Motivación Alta
Motivación baja
http://www.behaviormodel.org/
Modelo FOGG de modificación de
comportamiento
(Contestar encuesta)

87. 1
2
3
4
5
Configuración de Encuestas Online
• El “disparador” es un conjunto de:
• A quien se le va a mostrar (Target)
• Cómo va a aparecer la encuesta (Display)
• Tan importante es aparecer a la persona correcta, como hacerlo en el
momento indicado
• Identifica tu universo, defínelo y localiza en qué URLs es mejor mostrar
la encuesta. Por ejemplo:
• Dueños de perros
• Clientes repetidores compradores
• Todas las visitas
• Los resultados dependerán mucho de la configuración que realices, la
mejor manera de aprender es realizar varias versiones y comparar

88. 1
2
3
4
5
Targeting sólo Clientes

89. 1
2
3
4
5
Targeting en Qualaroo

90. 1
2
3
4
5
Targeting en Qualaroo

91. 1
2
3
4
5
Implementación / QA de Encuestas
Online
• En la medida de lo posible usa un Tag Manager, evita insertar el código en todas las páginas
en la medida de lo posible
• Revisa la versión Mobile y tablet
• Revisa otros idiomas
• Asegúrate que la encuesta NO bloquea botones o llamadas a la acción importantes
• Revisa el tiempo de carga
• Asegúrate de compartir el acceso a la herramienta

92. 1
2
3
4
5

93. 1
2
3
4
5
Itera con tus encuestas (técnica del
refinado)
• Se usa en casos en los que NO sabemos qué opciones presentar
• Lanzamos una primera versión de la encuesta con campos abiertos o
un ”educated guess” y la usamos para lanzar una segunda
• Nos permite aumentar la participación, reducir el número de “other”,
además de usar el lenguaje de nuestros usuarios

94. 1
2
3
4
5
7 consejos a la hora de diseñar una
encuesta
1.Haz la encuesta lo más corta posible, el tiempo del usuario es tan importante
como el tuyo, y cuanto más corta más respuestas tendrás
2.Utiliza listas de opciones, máximo 5 idealmente
3.Deja siempre un campo abierto “Otros”
4.Cada pregunta debe representar una cuestión sobre el negocio
5.Utiliza preguntas de control, que permitan segmentar los datos “Eres analista
web?”
6.Cada pregunta debe plantear una sola pregunta: Evita enunciados como
¿Cómo valoras la usabilidad y el diseño de la página?
7.Evita la jerga técnica, y reproduce en la medida de lo posible el lenguaje del
usuario
8.Evita usar incentivos para invitar a usuarios a participar, pero si puedes
ofrecer un premio “easter egg” al final de una encuesta larga, estarás dando
una gran experiencia a los usuarios que se tomaron la molestia de participar

95. 1
2
3
4
5
Textos de Invitación
1.Agradece la participación, cada usuario que participe en tu encuesta, por corta que
sea, tiene un valor incalculable para tí
2.Indica claramente para qué se usará esta encuesta “Queremos saber qué opinas”
“Estamos mejorando nuestra web” , etc.
3.Indica una aproximación de cuanto tiempo llevará a encuesta, y se sincero
4. Establece claramente la privacidad y que la encuesta es anónima. Si puedes
identificar qué usuario contestó, seguramente no deberías hacerla, y hay preguntas
que quizá no puedas hacer

96. 1
2
3
4
5
Textos de Invitación

97. 1
2
3
4
5

98. 1
2
3
4
5 CONCLUSIONES Y DEBATE5

99. 1. Las encuestas nos ayudan a entender porqué nuestros
usuarios hacen lo que hacen
2. No son sustitutas del dato “cuantitativo” ni de otras
técnicas como la entrevista en profundidad
3. Es muy divicil lograr representatividad: Trabajaremos con
muestras sesgadas. La validez del insight nos la dará el
test que hagamos para validar una hipótesis
4. Respeta a los usuarios que no quieran participar, no
insistas
5. Haz encuestas cortas identificando claramente el universo
que quieres investigar
6. Haz preguntas claras y directas, usando lenguaje
coloquial

100. @CROgarden
@xavier_colomes (Spam alert!)
¡Muchas gracias!