A partir de ejemplo se muestran los métodos que más usamos en el equipo de User Experience Research de Mercado Libre al hacer investigación: tests de usabilidad, encuestas, entrevistas y estudios de arquitectura de información. Se explica cuándo usarlos y qué tipo de preguntas de investigación responde cada uno.

1. Métodos de
investigación con
usuarios
Sol Velazquez
User Experience Researcher
@msolvelazquez
Enero 2016

2. Nos conocemos
¿Por qué hacemos investigación con usuarios?
Métodos de investigación que usamos en ML
Tests de usabilidad
Encuestas Voice of-Customer
Entrevistas y observaciones contextuales
Arquitectura de información
Agenda
Agenda Detalle

3. ● ¿Cómo prueban hoy los diseños?
● ¿Qué información real de usuarios usan para su
trabajo?
● ¿Qué métodos usan?
● ¿Cuál les gusta más?
Primero conozcámosnos

4. Hoy vamos a
conocer formas de obtener
información real de usuarios
para crear
excelentes experiencias
en MercadoLibre
Objetivo

5. Tests de
usabilidad
Encuestas Voice-
of-Customer (VoC)Entrevistas
Tests de
arquitectura
de información
Métodos más usados en MercadoLibre

6. ¿Por qué usamos diferentes métodos?
● Cada uno aporta información diferente
para responder a diferentes problemas
● Tiempo y costo que toma el estudio
● Los skills disponibles para ejecutar cada
método
● La profundidad deseada para los
resultados

7. ¿Por qué usamos diferentes métodos?
When to Use Which User-Experience Research Methods

8. ¿Por qué usamos diferentes métodos?
Fuente: When to Use Which User-Experience Research Methods

9. ¿En qué parte del gráfico ubicarían las
siguientes preguntas?
1. ¿Los compradores logran encontrar propiedades de su interés?
2. ¿Por qué hay tanto dropout al publicar?
3. ¿Qué oportunidades de mejora hay en Mi portal?
4. Queremos conocer cómo los corredores de propiedades
gestionan publicaciones.
5. Vamos a rediseñar la sección de financiamiento y no sabemos
cómo organizar la información.

10. Tests de usabilidad

11. Propósito Test de usabilidad
Descubrir problemas de usabilidad
Entender por qué ocurren.

12. ¿Logran?
… encontrar un departamento de 3 dormitorios en
Las Condes para arrendar?
… publicar una propiedad para la venta?
… hacer upgrade del tipo de publicación?
Explorar…
¿Qué problemas de usabilidad tiene Buscar una
propiedad?
Responde a... Test de usabilidad

13. Observar personas reales
haciendo una tarea real
en un prototipo o sistema
sin ayudarlos
Dinámica Test de usabilidad

14. Resultados Test de usabilidad

15. V2
V1
Comparativo Test de usabilidad

16. Iterativo Test de usabilidad
Original Iteración

17. v1 - original v2 - iteración
Resultados iterativo / comparativo Test de
usabilidad
v3 - iteración

18. Competitivo Test de usabilidad

19. Síntesis Test de usabilidad
Si te preguntas... Puedes hacer test de
usabilidad
porque sirve para
¿Los usuarios logran encontrar
propiedades de su interés?
¿Qué problemas de usabilidad
tiene el flujo de publicar?
de issues Descubrir problemas de usabilidad en un prototipo y
por qué ocurren, a partir de observar usuarios reales.
Quiero saber qué problemas de
usabilidad tiene mi flujo y
corregirlos
iterativo ir arreglando y probando, arreglando y probado
Pensamos 2 alternativas para la
app mobile para vendedores.
Queremos saber cuál es mejor
comparativo comparar 2 diseños
Tenemos que diseñar algo similar
a lo que tiene la competencia.
Queremos saber si vale la pena
copiarlo o no.
competitivo comparar contra la competencia
Nos gustaría medir cómo está la
usabilidad del sitio
semestralmente.
benchmark comparar contra un período anterior o un record pre
establecido

20. Júntense en grupos
(una compu por grupo)
http://bit.ly/quiz-capacitacion-
2014
Quiz Actividad grupal

21. Proceso de test Iterativo

22. Ejercicio
Kit
Cómo hacer un test de usabilidad
iterativo, de principio a fin

23. Encuestas Voice-of-
customer

24. Descubrir problemas de
usabilidad, necesidades, bugs
mientras les ocurren a los usuarios,
expresados con sus propias palabras
Propósito Encuestas VOC

25. Analizamos máx 100 comentarios
expresados por los usuarios
en sus propias palabras
y metadatos
Propósito Encuestas VOC

26. ¿Por qué...
… los usuario visitan la ficha del proyecto
inmobiliario y luego no cotizan?
… los usuarios que publican sus propiedades no las
destacan?
¿Qué oportunidades de mejora hay...
... en Mis criterios de búsqueda?
Responde a Encuestas VOC

27. Dinámica Encuestas VOC

28. PORQUE EL SISTEMA SE
COLGÓ Y CUANDO TER...
¿Por qué no terminaste de publicar?
Dinámica Encuestas VOC

29. PORQUE EL SISTEMA SE
COLGÓ Y CUANDO TER...
¿Por qué no terminaste de publicar?
Porque el sistema se colgó y
perdí todo lo que había cargado
Dinámica Encuestas VOC

30. Impersonalización
Zeus
admins
Recolección y análisis Encuestas VOC

31. ¡¡¡Pero fueron
estos otros!!!
bit.ly/syi2012b_MLB
Al plantear el estudio
pensamos que el
problema sería este
¿Por qué no terminaste
de publicar?
Análisis final Encuestas VOC

32. ¡clic!
Dinámica Encuestas VOC
Iniciada por el usuario

33. Por e-mail
Dinámica Encuestas VOC

34. Dinámica Encuestas VOC
Por intercepción (onload)

35. Resultados Encuestas VOC

36. Síntesis Encuestas VOC
Si te preguntas... Puedes hacer voc porque sirve para
¿Por qué hay tanto dropout en el
flujo de publicar. Intercepción
dropout
detectar motivos de dropout en un flujo en el momento
que ocurren.
Queremos saber cuántas personas
participan de la búsqueda de una
propiedad para ver cómo
rediseñamos Favoritos.
Intercepción
onload
conocer comportamientos.
Queremos detectar oportunidades
de mejora en Mis cotizaciones
para rediseñarla.
iniciado por
usuario
link
descubrir problemas de usabilidad, necesidades, bugs
en el momento que ocurren.
¿Por qué eligen pagar con boleto
bancario y luego no pagan?
E-mail
link
detectar problemas de usabilidad que ocurren fuera del
site.

37. Júntense en grupos
(una compu por grupo)
http://bit.ly/quiz-capacitacion-
2014
Quiz Actividad grupal

38. Entrevistas

39. Telefónicas Entrevistas
Para profundizar conocimientos
obtenidos en otros estudios

40. Cuando dije que no tenía la plata en
mi cuenta [del BPP] me refería a mi
cuenta de banco
(no a la de MercadoPago)
Telefónicas Entrevistas

41. Por videoconferencia Entrevistas
Observar por videoconferencia
cómo desarrollan una tarea
usando nuestro sitio
y otros artefactos

42. ¿“Total en cuenta” es el total de
las ventas o el saldo disponible?
Por videoconferencia Entrevistas

43. Contextuales Entrevistas
Aprender cómo nuestros usuarios
llevan adelante sus tareas
observándolos mientras usan
nuestro sitio y otros artefactos.
Para entender los huecos que existen
entre su realidad y nuestro sitio.

44. No nos vamos de vacaciones
porque no llegamos a pausar las
miles de publicaciones y al
regreso reactivarlas...
Contextuales Entrevistas
Puestos de guardiaEncargada de derivar llamados de interesados a los
aasesores
Puestos de guardia
Uso exhaustivo del iPhone como herramienta de trabajoPlanillas en papel y Excel para respaldar información y
cubrir falencias del CRM
Encargada de derivar llamados de interesados a los
aasesores

45. Contextuales + test Entrevistas
¿Si saco ahora la tarjeta
del lector pasa algo malo?

46. Sequence model Entrevistas

47. Diagrama de afinidad

48. Síntesis Entrevistas
Si te preguntas... Puedes hacer
entrevistas
porque sirve para
Nos están diciendo en un VOC que
no pueden agregar favoritos.
telefónicas profundizar y entender algún comportamiento en
particular o sobre algún cambio que hicimos en el sitio,
a partir de la escucha.
Nos dicen en un VOC que les
resulta poco útil la forma de
gestionar Favoritos.
por
videoconferencia
Que nos muestren cómo realizan tareas interactuando
tanto con nuestro sitio como con otros sistemas y
artefactos que puedan mostrarse por la pantalla y
cámara web.
Necesitamos saber cómo las
inmobiliarias gestionan los nuevos
proyectos para construir la nueva
app.
contextuales Conocer cómo llevan adelante tareas de manera global
(no solo en ML) en el contexto de uso habitual.

49. Júntense en grupos
(una compu por grupo)
http://bit.ly/quiz-capacitacion-
2014
Quiz Actividad grupal

50. Tests de arquitectura de
información

51. Combinación de sistemas de organización, etiquetado,
búsqueda y navegación dentro de sitios web y
aplicaciones.
Ayuda a los usuarios a encontrar y manejar la información.
Definición Arquitectura de información

52. Card sorting Arquitectura de información
Conocer cómo los usuarios agrupan, jerarquizan y
etiquetan, y qué criterios utilizan.

53. ● “Queremos saber cómo los usuarios agrupan las
cosas que se pueden hacer en MercadoPago para
encarar el rediseño del sitio completo.”
● “Estamos haciendo el nuevo menú de navegación de
Mi cuenta en MercadoLibre y queremos ver cómo
organizarlo.”
● “Vamos a rediseñar la VIP y queremos saber cómo
agrupar los distintos elementos en la pantalla”.
Responde a Card sorting (IA)

54. Mi cuenta - perfil Ejemplo supermercado Video
Dinámica Card sorting (IA)

55. Resultados Card sorting (IA)

56. Grupal Card sorting (IA)

57. Tree testing Arquitectura de información
Saber en qué parte de la arquitectura de información (sin
diseño visual) los usuarios se pierden.

58. “Los usuarios no encuentran la respuesta a su problema.
Tenemos una propuesta que creemos que es mejor.
¿Podemos validarla?"
Responde a Tree testing (IA)

59. Ejemplo
Dinámica Tree testing (IA)

60. Te pagaron una venta por MercadoPago pero no puedes transferir el dinero a tu
cuenta de banco. ¿Dónde encontrarías información sobre cómo hacerlo?
V1 V2
Comparativo / Iterativo Tree testing (IA)

61. Dada una tarea específica en una pantalla con diseño
visual, determinar si los usuarios hacen el primer clic en el
lugar correcto.
First Click Testing Arquitectura de
información

62. Ya testeamos la arquitectura. Ahora queremos probar las
pantallas dibujadas, por si hay algún issue.
Responde a First Click Testing
(IA)

63. Elegiste pagar una compra online por PagoFácil a través de
MercadoPago, pero te arrepentiste. Preferís con tarjeta de crédito en
cuotas sin interés. ¿Dónde hacés clic para saber cómo hacerlo?
Ejemplo
Dinámica First Click Testing
(IA)

64. Elegiste pagar una compra online por PagoFácil a través de
MercadoPago, pero te arrepentiste. Preferís con tarjeta de crédito en
cuotas sin interés. ¿Dónde hacés clic para saber cómo hacerlo?
Ejemplo
First Click Testing
(IA)Resultados First Click Testing
(IA)

65. Card-sorting
Tree-testing
First-click
testing
Saber cómo los usuarios agrupan
conceptos. Los resultados se
pueden usar para organizar sitios,
un menú o una página.
Descubrir dónde se pierden en una
arquitectura de información o
flow, sin distracciones visuales.
Saber en qué parte de un prototipo
los usuarios se equivocan en el
primer clic para cumplir una tarea.
Síntesis Arquitectura de
información

66. Júntense en grupos
(una compu por grupo)
http://bit.ly/quiz-capacitacion-
2014
Quiz Actividad grupal

67. Test de usabilidad Descubrir problemas de usabilidad en un prototipo y por
qué ocurren, a partir de observar usuarios reales.
Encuesta VoC Detectar motivos de dropout y fricción mediante
comentarios de usuarios (exhaustivo, poco detalle)
Entrevistas Contextuales, telefónicas, 1-on-1, grupales
Card sorting Saber cómo los usuarios agrupan conceptos.
Tree testing Descubrir dónde se pierden en una arquitectura de
información o flow, sin distracciones visuales.
First click testing Saber en qué parte de un prototipo los usuarios se
equivocan en el primer clic para cumplir una tarea.
Key take aways

68. ¿Preguntas?