Presentación de mi workshop sobre diseño y ejecución de test de usuario en remoto para Experience Fighters 2016. Durante el workshop se han tratado todos los aspectos relacionados con el test en remoto con usuarios: - Seleccionar los objetivos - Técnicas a disposición y como elegir la correcta - Diseño del guión de un estudio - Reclutamiento de los participantes - Análisis de los datos Se ha utilizado como ejemplo un estudio creado para la ocasión al que han participado como usuarios los asistentes al workshop. Presentación en Español. Vídeos no disponibles

1. Workshop:
diseño y ejecución de test remoto con usuarios

2. Stefano Serafinelli
UX Lead @ UserZoom
Google UX/UI Expert
stefano@userzoom.com
Userzoom.com
@sserafinelli
SomethingAboutUx.com

3. Bienvenidos,
de nuevo

6. URL estudio: https://goo.gl/0WuxvP

7. Agenda
• Contexto
• Planificación
– ¿Por qué investigar?
– ¿Por qué en remoto?
– ¿Qué técnica elegir?
• Preparación y ejecución
– Usuarios
– Guion
– Setup
• Resultados

8. ¿Cómo hemos
llegado hasta aquí?

9. Estudio demo sobre IKEA
Facturación:
Visitas web:
Visitas tiendas:
Facebook:
Twitter:
1.281 mill. €
83,7 mill.
39,4 mill.
953k fans
104k followers.
Algunos datos…
Fuente: informe anual Ikea España 2015

10. ¿Por qué investigar con usuarios?

11. ¿Por qué investigar con usuarios?
• Porque una mala experiencia de usuario tiene impacto directo en mi negocio.
• Porque mi web no es la única allí fuera.
• Porque no podemos tomar decisiones de negocio solo sobre suposiciones.
• Porque no existen diseños a prueba de balas ni diseñadores infalibles.
• Porque nunca hemos dejado de encontrar problemas de usabilidad durante
nuestros estudios.

12. Planificación

13. Planificación
Objetivos Objeto/Entorno Técnicas

14. ¿Para qué investigar con usuarios?
Encontrar problemas testear una hipótesis/contestar a
unas preguntas
Obtener métricas
Comparar versiones Compararme con la competencia Obtener opiniones

15. Encontrar problemas Obtener métricastestear una hipótesis/contestar a
unas preguntas
• Interacción
• Navegación
• Comprensión de la información
En nuestro caso…

16. En nuestro caso…
Encontrar problemas Obtener métricastestear una hipótesis/contestar
a unas preguntas
• ¿Tiene sentido para los usuarios la categorización de los productos?
• ¿Saben navegar en la web?
¿Se ve/entiende el menú?
• ¿Se ven/se usan los filtros? ¿Son útiles? ¿Están todos los filtros que necesitan los
usuarios?
• ¿La ficha de producto está bien organizada? ¿Es fácil encontrar información en
ella?

17. Obtener métricas
• % usuarios que consiguen encontrar un producto
• Esfuerzo necesario (tiempo/clics)
• Que peso tienen los problemas principales
• Satisfacción
• Dificultad percibida
• NPS
En nuestro caso…
testear una hipótesis/contestar a
unas preguntas
Encontrar problemas

18. Desktop Web Mobile web
App Dispositivo
¿Qué quiero examinar?

19. ¿Qué quiero examinar?

20. Y…¿por qué en remoto?

21. Métricas
Net Promoter Score
2
0
-26
7
Mi web
38 40
Detractores Pasivos Promotores
44 18
Detractores Pasivos Promotores
30 30
Detractores Pasivos Promotores
Competidor 1
Competidor 2
Competidor 3
34 41
Detractores Pasivos Promotores
Eficacia
0
25
50
75
100
Miweb
Competidor1
Competidor2
Competidor3
AVERAGE
Eficiencia
Mi Web
8.2secs
Competidor 1
6.0secs
Competidor 3
4.4secs
Competidor 2
10.1secs
Facilidad de uso
6/7
Mi web
5/7
Comp 1
3/7
Comp 2
3/7
Comp 3
13,5
Clics
3
Paginas vistas
7,2
Clics
2
Paginas vistas
12
Clics
4
Paginas vistas
4
Clics
2
Paginas vistas
Muestra
400 Participantes
59%
Hombres
41%
Mujeres
47%
18-36
53%
36+
25%
Mi web
25%
Comp 1
25%
Comp 2
25%
Comp 3
Principales dificultades

22. Otros datos

23. Otros datos
Highlights dominant path
*3% insignificance removed

24. Datos cualitativos
“no he encontrado ningún apartado donde
pueda elegir las condiciones del hotel, aire
acondicionado, parking, wifi, comedor...
”

25. Sin límites geográficos

26. Entorno real

27. Más barato
Participantes lab. Participantes remoto
= =

28. Datos estadísticamente significativos
EFICACIA
60%
80%
0%
20%
40%
60%
80%
100%
60%
80%
0%
20%
40%
60%
80%
100%
EFICACIA
Test en laboratorio
10 participantes para cada versión
Test en remoto
80 participantes para cada versión
V2 > V1 = 99,7%V2 > V1 = 82,9%
v2v1 v2v1

29. Más rápido con grandes números
Laboratorio:
Remoto:
2 días
Pocas horas
Laboratorio: 7-8 días
Remoto: 1-2 días
10
50

30. En resumen…
- La web de IKEA tiene 83mill. de visitas y se necesitan datos sólidos
para demostrar cada descubrimiento y justificar peticiones de
mejoras.
- También queremos investigar a fondo los problemas de usabilidad.
- Tenemos un presupuesto limitado.
- Tenemos poco tiempo.

31. ¿Qué técnica elegir?

32. Remote User Test
(Task based)
Características
• Equivalente remoto del test de usuario en
laboratorio.
• Basado en tareas.
• Permite proporcionar cuestionarios y grabar la
interacción.
• Se puede efectuar en cualquier web.
¿Para qué?
• Investigar problemas.
• Obtener métricas de eficacia, eficiencia y
satisfacción.
• Validar un modelo.
¿Cuándo?
• Durante todo el ciclo de desarrollo.

33. Voice of
The Customer
Características
• Se interceptan a usuarios reales al comienzo de su
visita en una web.
• Se les pide continuar con su visita y contestar a
unas preguntas después de acabar.
• Generalmente se les pregunta acerca de la razón
de su visita, de si han podido llevar a cabo lo que
han venido a hacer y si han tenido dificultades.
¿Para qué?
• Permite analizar las razones de visita de usuarios
reales en un contexto real y sus dificultades.
¿Cuándo?
• Pagina web live

34. Tree Testing
Características
• Se lleva a cabo sobre una estructura de menú
(independientemente de su aspecto visual)
• Basado en tareas: encontrar un contenido en un
árbol de navegación
¿Para qué?
• Validar la organización de contenidos
• Validar los literales utilizados en la navegación
¿Cuándo?
• Idealmente durante la creación de la AI de la web

35. Card Sorting
Características
• Se pide a los usuarios organizar la información de
la web de la forma que ellos consideran más
lógica
¿Para qué?
• Investigar el modelo mental de los usuarios a la
hora de organizar la información
• Validar la organización de contenidos
• Validar los literales utilizados en la navegación
¿Cuándo?
• Idealmente durante la creación de la AI de la web

36. Screenshot
Click Testing
Características
• Se puede llevar a cabo sobre un simple diseño o
prototipo estático.
• Se pide a los participantes hacer clic en el sitio
dónde buscarían la información.
• Test rápido que puede combinarse con otras
técnicas.
¿Para qué?
• Permite validar de manera ágil la ubicación, los
contenidos y el aspecto visual de los elemento de
una página web.
¿Cuándo?
• Generalmente cuando disponemos de un diseño
final, antes de pasarlo a maquetación.

37. Screenshot
Timeout Testing
Características
• Se enseña a los usuarios una página web durante
x segundos y se les pregunta después sobre los
contenidos de la página.
• Test rápido que puede combinarse con otras
técnicas.
¿Para qué?
• Permite analizar la comprensión, la visibilidad y el
recuerdo de los elementos mostrados en una
interfaz.
• Valorar si nuestra página comunica
correctamente.
¿Cuándo?
• Generalmente cuando disponemos de un diseño
final, antes de pasarlo a maquetación.

38. Test
remoto
Tree
testing
✔Interacción
✔Navegación ✔
✔Categorización ✔
✔
Visibilidad
información
Click
testing
Parcial
Parcial
✔
Timeout
Testing
✔
Card
Sorting
Parcial
✔
VOC
Parcial
Parcial
✔
✔
✔
Comprensión
información
Parcial ✔ ✔
ParcialSatisfacción ✔
SimuladoContexto Simulado Simulado Simulado Simulado Real
Objetivos y técnicas de investigación en remoto

39. Preparación y
ejecución

40. Lo que tenemos claro hasta ahora
• Examinaremos la web de IKEA en PC
• Lo haremos en remoto
• Utilizaremos la técnica Task based
• Objetivos: métricas de uso, problemas usabilidad (el feedback de
clientes es secundario)

41. Usuarios Guion Setup
Preparación y ejecución

42. Los usuarios

43. ¿A quién reclutar?
Usuarios reales:
• Usuarios internet medio/avanzados
• Compras online
• ¿Clientes IKEA?
Cuestionario
de screening

44. ¿Cómo reclutar?
Laboratorio Remoto
✔Paneles ✔
✔BBDD propia ✔
Intercept ✔
✔
Otros métodos
(social, etc…) ✔

45. Fase de campo
Test en laboratorio
Test remoto
Unos
pocos
instantes
Días

46. Fase de campo

47. • La razón del email y el objetivo del estudio
• La duración del estudio
• El incentivo, si hay
• Los requisitos técnicos
• Eventuales limitaciones
El email de invitación

48. El guion

49. Bienvenida / Instrucciones
Cuestionario inicial
Tarea
Cuestionario
éxito
Cuestionario
fracaso
Cuestionario general
Cuestionario final …
Tareas

50. Bienvenida / Instrucciones
Cuestionario inicial
Tarea
Cuestionario éxito y fracaso
Cuestionario final
Cuestionario general

51. Bienvenida / Instrucciones
Cuestionario inicial
Tarea
Cuestionario éxito y fracaso
Cuestionario final
Cuestionario general

52. Bienvenida / Instrucciones
Cuestionario inicial
Tarea
Cuestionario éxito y fracaso
Cuestionario final
Cuestionario general

53. Lo básico sobre como plantear una tarea
• Tiene que ser relevante.
• Tiene que ser realista.
• No tiene que dar pistas.
• Tiene que proporcionar un contexto.
• Clara y fácil de entender.

54. “Imagínate que quieres cambiar los muebles del
cuarto de invitados de tu casa.
Busca en la web de IKEA el sofá cama de 3 plazas
más barato a disposición y apúntate su precio ya
que te lo vamos a pedir después.
Cuando crees que lo has encontrado, haz clic en
Responder.”

55. ¿Por qué no ha sido simplemente así?
“Busca cuánto cuesta el sofá cama de 3
plazas más barato a disposición”

56. Volvemos a cuando hiciste el estudio

57. “Imagínate que quieres cambiar los muebles
del cuarto de invitados de tu casa. Contexto

58. “Imagínate que quieres cambiar los muebles
del cuarto de invitados de tu casa.
Busca en la web de IKEA…
Dónde

59. “Imagínate que quieres cambiar los muebles
del cuarto de invitados de tu casa.
Busca en la web de IKEA el sofá cama de 3
plazas más barato a disposición
Qué buscar

60. “Imagínate que quieres cambiar los muebles
del cuarto de invitados de tu casa.
Busca en la web de IKEA el sofá cama de 3
plazas más barato a disposición y apúntate su
precio ya que te lo vamos a pedir después.
Qué hacer

61. “Imagínate que quieres cambiar los muebles
del cuarto de invitados de tu casa.
Busca en la web de IKEA el sofá cama de 3
plazas más barato a disposición y apúntate su
precio ya que te lo vamos a pedir después.
Cuando crees que lo has encontrado, haz clic
en Responder.”
Cuándo
termina la
tarea

62. Qué pasa si no tenemos en cuenta
estas cosas?
“Busca un hotel para el
próximo fin de semana”
“Cuál era el precio más barato que has encontrado?
“No me he fijado”

63. Otro ejemplo
Imagínate que has visto este taburete de
IKEA en una revista de decoración.
Te gustaría ponerlo en tu cocina pero en la
revista no venía el precio.
Busca en la web de IKEA su precio (en
cualquiera de los colores disponibles) y
toma nota de ello ya que te lo vamos a
preguntar después.
Cuando tengas el precio, pulsa el botón
"Contestar"

64. “Busca el taburete blanco de cocina más barato”
- Posible problema de
categorización / wording
- Posible sesgo con el texto de la
tarea.

65. Imagínate que has visto este taburete de
IKEA en una revista de decoración.
Te gustaría ponerlo en tu cocina pero en la
revista no venía el precio..
Busca en la web de IKEA su precio (en
cualquiera de los colores disponibles) y
toma nota de ello ya que te lo vamos a
preguntar después.
Cuando tengas el precio, pulsa el botón
"Contestar"

66. “Ahora imagínate que quieres hacer un regalo al
hijo de un amigo tuyo
Te han dicho que en la web de IKEA hay una cocina
de juguete que le podría gustar pero no sabes si es
apta para un niño de su edad.
Busca la cocina de juguete y apúntate desde que
edad está recomendada ya que te lo
preguntaremos después.”

68. 1 tarea = 1acción
Busca en la web de IKEA su precio (en cualquiera de los colores
disponibles) y su altura y mira si está disponible en la tienda de
IKEA más cercana a tu casa. Cuando termines la tarea, haz clic en
“Contestar”.

69. ¿Como validamos las tareas?
• Navegación
• Navegación
• Contenido de la página
• URL no cambia
• Contenido de la página sin pregunta
CuándoCómo

70. Bienvenida / Instrucciones
Cuestionario inicial
Tarea
Cuestionario éxito y fracaso
Cuestionario final
Cuestionario general

71. Bienvenida / Instrucciones
Cuestionario inicial
Tarea
Cuestionario éxito y fracaso
Cuestionario final
Cuestionario general

72. Setup

73. • Max 30 minutos en PC.
• Datos personales y datos ficticios.
• En dispositivos móviles
• Estudios más breves
• Velocidad conexión y batería
• Reducir entradas de texto
• Control de calidad
• Soft launch
14%
8%
9%
14%
9%
46%
59%
0% 50% 100%
No he visto las opciones de envío
No he podido encontrar el
producto
No he podido efectuar el pago
No sabía como añadir un producto
al carrito
No sabía como navegar
Otra razón
Errores en el funcionamiento de la
página

74. Los resultados

75. Los resultados
7,3
Facilidad
navegación
7,3
Claridad de la
información
Buscar
sofá cama 60%éxito
7
Clics
5
Paginas
vistas
Muestra
30 Participantes
37%
Hombres
87%
Clientes IKEA
Net Promoter Score 17%
27 43
Detractores Pasivos Promotores
1’06’’
Tiempo
53%
Usuarios con
dificultades
7,1
Facilidad
Buscar
Taburete
100%éxito
Buscar
cocina
de juguete 93%éxito
9
Clics
6
Paginas
vistas
1’23’’
Tiempo
27%
Usuarios con
dificultades
8,1
Facilidad
8
Clics
5
Paginas
vistas
1’22’’
Tiempo
37%
Usuarios con
dificultades
7,2
Facilidad
63%
Mujeres

76. Los resultados
Buscar
sofá cama
Principales dificultades
7
Clics
5
Paginas
vistas
1’11’’
Tiempo
53%
Usuarios con dificultades
7,1
Facilidad
60%éxito
Qué han contestado
13%
60%
7%
20%
0%
20%
40%
60%
80%
100%
149 € 199 € 249 € Otro

77. Los resultados
“Yo pensaba que mi respuesta era correcta.”

78. Los resultados

79. Los resultados

80. Los resultados

81. Los resultados
Buscar
taburete
Principales dificultades
9
Clics
6
Paginas
vistas
1’23’’
Tiempo
27%
Usuarios con dificultades
8,1
Facilidad
100%éxito

82. Los resultados
“No sabía donde encontrar los taburetes, he probado en cocina, donde
habia una categoría que era taburetes escalera, pero no tenían lo que
quería. […]”

83. Los resultados
“El taburete no aparecía buscando en el searchbox taburete, silla cocina,
etc... Tampoco he podido encontrarlo en la sección de cocina. Estaba muy
escondido dentro de la sección Productos > Sillas > Nosequé + barras...”

84. Los resultados
Buscar
cocina de juguete
Principales dificultades
8
Clics
5
Paginas
vistas
1’22’’
Tiempo
37%
Usuarios con dificultades
7,2
Facilidad
93%éxito

85. Los resultados
“La categorización puede ser bastante
confusa (Juegos de roles) y la edad no
estaba en la propia ficha del producto
si no que he tenido que subir a nivel
general de la categoria para ver la
opción de edad que estaba marcada”
“No destaca demasiado la edad”.
“Al abrir la categoría "juguetes" no
sabía cómo buscar la cocina y al
encontrar la cocina, no encontré a
simple vista la información de la
edad mínima y pensé que quizás
estaría en el manual.”

86. Los resultados

87. Las preguntas
• ¿Tiene sentido para los usuarios la categorización de los productos?
• ¿Saben navegar en la web?
• ¿Se ve/entiende el menú?
• ¿Se ven/se usan los filtros? ¿Son útiles? ¿Están todos los filtros que necesitan los
usuarios?
• ¿La ficha de producto está bien organizada? ¿Es fácil encontrar información en
ella?

88. ¡Gracias!
Stefano Serafinelli
UX Lead @ UserZoom
Google UX/UI Expert
stefano@userzoom.com
Userzoom.com
@sserafinelli
SomethingAboutUx.com