¿Existe una vigente y creciente necesidad por medir la UX?

1. Midiendo la usabilidad: PURE + HEART
@FrankAstorga
Frank Astorga

2. Esta presentación está basada en investigación de Christian Rohrer.
Christian es vicepresidente de diseño, investigación y
servicios empresariales de Capital One. Ha
colaborado con Intel Security, Yahoo!, eBay y
Realtor.com (Move, Inc.). Tiene un Ph.D. de la
Universidad de Stanford. Adicionalmente imparte
cursos y es autor en Nielsen Norman Group.
https://www.nngroup.com/articles/author/christian-rohrer/
Crédito al autor

3. ● Existe una vigente y creciente necesidad por medir la UX
Introducción
Imagen propiedad de: https://sergiosaezdeibarra.com/blog/cosas-que-ajustar-en-google-analytics-nada-mas-empezar/
○ "No puedes mejorar, lo que no puedes medir"
○ "Necesito un tablero para administrar y controlar mi negocio"
○ "Este diseño necesita ser validado"
○ "¿Cómo va nuestro NPS?"

4. ● No se tiene el tiempo ni el dinero suficiente para evaluar y medir la
eXperiencia de Usuario.
Problemas comunes

5. ● La retroalimentación del diseño de UX es a menudo subjetiva y
superficial.
○ “El color rojo no funciona”
○ “La aplicación quedó bien facilita de usar”
○ “La interfaz es muy amigable” / “La interfaz es poco amigable”
Problemas comunes

6. ● No se tiene una calificación para pedir la experiencia de usuario en
cada una de las tareas relevantes para las que fue concebido el
producto digital.
○ UX para comprar = ?
○ UX para descargar una canción = ?
○ UX para agendar una tarea nueva = ?
○ Calificación global de UX de un producto digital = ?
Problemas comunes

7. Métricas tradicionales
● Conductuales (lo que la gente hace):
● Actitudinales (lo que la gente dice):

8. Métricas tradicionales
● Conductuales (lo que la gente hace):
○ Contadores: usuarios, páginas vistas, visitas, descargas.
○ Tasas: rebotes, conversión, instalación, éxito de la tarea.
○ Tiempos: tiempo en la página, tiempo en la tarea, compromiso.
● Actitudinales (lo que la gente dice):

9. Métricas tradicionales
● Conductuales (lo que la gente hace):
○ Contadores: usuarios, páginas vistas, visitas, descargas.
○ Tasas: rebotes, conversión, instalación, éxito de la tarea.
○ Tiempos: tiempo en la página, tiempo en la tarea, compromiso.
● Actitudinales (lo que la gente dice):
○ Encuestas: Net Promoter Score (NPS), System Usability Scale
(SUS), la satisfacción del cliente.
○ Evaluación de usuarios

11. Limitantes de estas métricas
● Los números por sí solos no muestran por qué se observó un
efecto o cómo solucionar un problema.

12. Limitantes de estas métricas
● Los números por sí solos no muestran por qué se observó un
efecto o cómo solucionar un problema.
● Las métricas utilizadas en análisis y pruebas A/B reflejan el
rendimiento del software, no la experiencia humana.

13. Limitantes de estas métricas
● Los números por sí solos no muestran por qué se observó un
efecto o cómo solucionar un problema.
● Las métricas utilizadas en análisis y pruebas A/B reflejan el
rendimiento del software, no la experiencia humana.
● Algunos de estos estudios son costosos y requieren mucho
tiempo, por lo que no se usan con la frecuencia suficiente para
proporcionar una evaluación y un seguimiento periódicos.

14. Modelo UX de Rohrer

15. UX Scorecard

16. Modelo UX de Rohrer

17. Appeal
● “Esto se ve y suena atractivo - como algo que yo quiero llegar a
conocer mejor y utilizar”.
○ Look & Feel
■ El diseño visual es claro, profesional y apropiado
○ Sound: Copy / Contenido / Arquitectura de Información
■ Lenguaje y escritura claros y relevantes
○ Microsoft reaction cards (Benedeck y Miner, 2002 )
■ 118 tarjetas físicas (60% positivas y 40% negativa/neutral)
■ Vocabulario controlado para los participantes

18. Appeal
● Podemos hacer pruebas con usuarios y estudios de deseabilidad.
○ Benedeck y Miner desarrollaron en 2002 una metodología para la medición
de respuestas emocionales intangibles como la deseabilidad y la diversión.
○ Crearon 118 tarjetas físicas (60% positivas y 40% negativa/neutral) con
diferentes palabras de reacción de producto escritas en cada tarjeta.
○ Al final de las sesiones de pruebas de usabilidad, los participantes recibían
las cartas (Microsoft reaction cards) y se les pedía seleccionar las cinco
palabras que describirían mejor al producto.
○ Un beneficio importante de esta metodología es que introduce un
vocabulario controlado para los participantes.

19. Appeal
Imagenpropiedadde:https://www.nngroup.com/articles/microsoft-desirability-toolkit/

20. Modelo UX de Rohrer

21. Utilidad
● "Realmente hace lo que necesito que haga y es relevante en mi
vida"
● Medir la "utilidad" debe comenzar con una comprensión básica
del público objetivo y sus NECESIDADES.
● Puede que tenga que utilizar la métrica más conveniente
disponible (por ejemplo, NPS) y sus controladores asociados.

22. Utilidad
● TCR = Task Completion Rate (Porcentaje de finalización de tareas)
● NPS = Net Promoter Score
○ Entre 0 y 10 ¿qué tan probable es que recomiende el producto o servicio
a un familiar o amigo?
Netpromoter.com | NPSbenchmarks.comCapkelenn

23. Modelo UX de Rohrer

24. Usabilidad
● “Yo entiendo cómo usarlo y puedo averiguar las cosas más
importantes con facilidad”.
● Medir la usabilidad no siempre es fácil, barato o rápido.

25. PURE
● Practical Usability Ratings by Experts (PURE)
● Se centra en un solo componente de la experiencia del usuario:
facilidad de uso.
○ Aspectos como el atractivo estético, la eficacia o las
emociones resultantes no se abordan.

26. Analogía de PURE con tomatómetro de Rotten

27. Analogía de PURE con tomatómetro de Rotten
● PURE es como un tomatómetro para la usabilidad.
○ Puntuación obtenida agregando calificaciones (en una escala de
calificación predefinida) de un panel de expertos familiarizados
con los principios de UX y la heurística.
○ La puntuación representa lo bueno que sería la experiencia para
un objetivo específico bien definido.

28. PURE Scores

29. PURE Score
El paso puede ser realizado fácilmente por el usuario objetivo, debido a la baja carga
cognitiva o porque es un patrón conocido. → 1: Todo está bien

30. PURE Score
El paso puede ser realizado fácilmente por el usuario objetivo, debido a la baja carga
cognitiva o porque es un patrón conocido. → 1: Todo está bien
El paso requiere un notable grado de carga cognitiva (o esfuerzo físico) por parte del
usuario objetivo, pero generalmente puede lograrse con algún esfuerzo. → 2: requiere
cambios menores pero no se compromete el objetivo

31. PURE Score
El paso puede ser realizado fácilmente por el usuario objetivo, debido a la baja carga
cognitiva o porque es un patrón conocido. → 1: Todo está bien
El paso requiere un notable grado de carga cognitiva (o esfuerzo físico) por parte del
usuario objetivo, pero generalmente puede lograrse con algún esfuerzo. → 2: requiere
cambios menores pero no se compromete el objetivo
El paso es difícil para el usuario objetivo, debido a una carga cognitiva significativa o
confusión; algunos usuarios objetivo probablemente fallarían o abandonarían la tarea
en este momento. → 3: Es complejo, tiene errores o posiblemente el usuario
abandone

32. PURE Score
● Los números y colores que se muestran en las puntuaciones PURE
representan la fricción, lo opuesto a la facilidad de uso.
● La puntuación PURE para una tarea es la suma de las puntuaciones
de todas las calificaciones de los pasos en esa tarea.
● El color de la tarea se determina por la peor calificación en la
tarea. Por ejemplo, un solo paso clasificado como rojo (3) hace que
toda la tarea tome el color rojo.

34. Lo que necesitarás para llevar a cabo el método PURE
● Colaboración del gerente de producto y de Diseño
● Al menos 3 expertos evaluadores
● Equipo de grabación
● Aproximadamente 8 horas (3 para la evaluación y 5 para el
informe)

35. Descripción del método PURE
1. Identifique el tipo de usuario objetivo.
2. Seleccione las tareas fundamentales de este producto.
3. Indique el camino feliz (o el camino deseado) para cada tarea fundamental.
4. Determine los límites de paso para cada tarea.
5. Recoja las puntuaciones de tres evaluadores que caminan juntos por los “caminos
felices” de las tareas y califican silenciosamente cada paso. Es posible utilizar un
drive en conjunto donde se agregue la calificación y comentarios de su
evaluación.
6. Haga que el panel de expertos discuta las calificaciones y la justificación de las
puntuaciones individuales, y luego convenga una puntuación única para cada
paso.

37. Descripción del método PURE
6. Sume las puntuaciones PURE para cada tarea fundamental y para todo el
producto; Coloree cada paso, tarea y producto apropiadamente.
7. (Opcional) Para cada paso, proporcione una captura de pantalla (o foto) y un
resumen cualitativo del razonamiento de los expertos para la puntuación de ese
paso.
8. (Opcional) Si se comparan múltiples productos o versiones de productos, prepare
un cuadro comparativo de PURE, mostrando los mismos puntajes PURE lado a
lado.

38. ¿?

39. ¿?

40. Realmente corresponde color rojo

41. Medición PURE a lo largo del tiempo

42. Medición PURE vs competidores

43. UX Scorecard

44. Ejemplo de UX Scorecard

45. Google’s HEART Framework for Measuring #UX
Imagenpropiedadde:
https://www.interaction-design.org/literature/article/google-s-heart-framework-for-mea
suring-ux

46. Google’s HEART Framework for Measuring #UX
Imagenpropiedadde:
https://www.interaction-design.org/literature/article/google-s-heart-framework-for-mea
suring-ux

47. Notas finales
● PURE no es un sustituto de las medidas cuantitativas de usabilidad y UX.
● Los estudios cualitativos complementan fuertemente a PURE Ratings.
● Los líderes empresariales están obsesionados con las métricas, así que PURE será
una herramienta muy útil.
● HEART es un Framework que nos ayuda a diseñar cómo medir:
○ Felicidad
○ Engagement
○ Adopción
○ Retención
○ Tareas
● Resultado final: mejoras en UX y usabilidad.

48. • Cao, J. (s.f.). 10 Worst Design Failures of All Time. Recuperado el 7 de Mayo de 2017, de UxPin:
https://www.uxpin.com/studio/blog/10-worst-design-failures-of-all-times/
• Ghulati, D. (4 de Abril de 2016). Google’s HEART framework — A Critical Evaluation. Recuperado el 7 de Mayo de 2017, de Medium Corporation:
https://medium.com/@dhruvghulati/google-s-heart-framework-a-critical-evaluation-a6694421dae
• HEART, E. (22 de Marzo de 2017). Evernote. Recuperado el 7 de Mayo de 2017, de
https://www.evernote.com/shard/s25/sh/f337d966-d1c2-4d81-93a5-e0710e3a8a93/52e8fbacfea7744f
• Interaction Design Foundation. (2016). Google’s HEART Framework for Measuring #UX. Recuperado el 7 de Mayo de 2017, de Interaction Design
Foundation: https://www.interaction-design.org/literature/article/google-s-heart-framework-for-measuring-ux
• Meyer, K. (28 de Febrero de 2016). Using the Microsoft Desirability Toolkit to Test Visual Appeal. Recuperado el 7 de Mayo de 2017, de Nielsen
Norman Group: https://www.nngroup.com/articles/microsoft-desirability-toolkit/
• NIELSEN, J. (8 de Octubre de 2012). User Satisfaction vs. Performance Metrics. Recuperado el 7 de Mayo de 2017, de Nielsen Norman Group:
https://www.nngroup.com/articles/satisfaction-vs-performance-metrics/
• Rohrer, C. P., Wendt, J., Sauro, J., Boyle, F., & Cole, S. (10 de Mayo de 2016). Practical Usability Ratings by Experts (PURE). Recuperado el 7 de
Mayo de 2017, de CHI 2016: https://app.box.com/s/phf842kxsxgkb87fkub080pgvmurxer4 | https://app.box.com/s/v55qenredhi8v07zhrjt5ql7qe54hzu8
• Rohrer, C. (16 de Abril de 2017). Quantifying and Comparing Ease of Use Without Breaking the Bank. Recuperado el 7 de Mayo de 2017, de Nielsen
Norman Group: https://www.nngroup.com/articles/pure-method/
• ROHRER, C. (12 de Octubre de 2014). When to Use Which User-Experience Research Methods. Recuperado el 7 de Mayo de 2017, de Nielsen
Norma Group: https://www.nngroup.com/articles/which-ux-research-methods/
• Sauro, J. (11 de Abril de 2017). Practical Usability Rating by Experts (PURE). Recuperado el 7 de Mayo de 2017, de MeasuringU:
https://measuringu.com/pure/
• THOMSON, B. (9 de Julio de 2015). How to Improve Web Design ROI with Data and Testing . Recuperado el 7 de Mayo de 2017, de ImageX:
http://imagexmedia.com/blog/2015/07/how-improve-web-design-roi-data-and-testing
Trabajos citados

49. ¡ Muchas Gracias !
@FrankAstorga
Frank Astorga