El documento describe diferentes métricas para evaluar la experiencia de usuario, incluyendo la velocidad, eficiencia, facilidad de aprendizaje y preferencias del usuario. También presenta el Cuestionario de Satisfacción de Usabilidad por Computadora de IBM (CSUQ), el cual incluye 19 preguntas agrupadas en cuatro categorías para medir la satisfacción general del usuario. Finalmente, explica cómo procesar los resultados del CSUQ para determinar áreas de oportunidad.

3. Diseño de la Interacción
UNIDAD 4. Técnicas de Evaluación

4. Métricas de Evaluación de
Experiencia de Usuario
01El Proceso del Diseño de Interacción | Experiencia de Usuario

5. Pie de foto.
Ciencias
Computacionales
Usabilidad UX
Confiable
Tolerancia a errores
Seguridad
Rendimiento del sistema
Usabilidad
Aprendizaje
Diseño centrado en el
usuario
Aceptación
Confianza
Divertido
Agradable
Identificable
Placentera
Estimulante
02El Proceso del Diseño de Interacción | Experiencia de Usuario

6. Pie de foto.
5 Métricas
1. Velocidad - Medir el Tiempo de ejecución de una tarea.
2. Eficiencia – Medir el número de Errores al ejecutar las tareas
3. Aprender a Usar el sistema – Medir tiempo por tarea
4. Recordar Usar el sistema – Dejar pasar 2 a 4 semanas y medir
tiempo.
5. Preferencia de Usuario – Instrumento de evaluación de Usabilidad
03El Proceso del Diseño de Interacción | Experiencia de Usuario

7. Pie de foto.
Velocidad
Medir el
Tiempo de
ejecución de
una tarea.
04El Proceso del Diseño de Interacción | Experiencia de Usuario
0
2
4
6
8
10
12
Técnica de
Interacción 1
Técnica de
Interacción 2
Técnica de
Interacción 3
Técnica de
Interacción 4
Solución Actual
Tiempo Ejecución Tarea X
0
1
2
3
4
5
6
7
Técnica de
Interacción 1
Técnica de
Interacción 2
Técnica de
Interacción 3
Técnica de
Interacción 4
Solución Actual
Eficiencia - Errores al ejecutar Tarea X

8. Pie de foto.
Eficiencia
Medir el número
de errores al
ejecutar las
tareas
05El Proceso del Diseño de Interacción | Experiencia de Usuario
0
1
2
3
4
5
6
7
Técnica de
Interacción 1
Técnica de
Interacción 2
Técnica de
Interacción 3
Técnica de
Interacción 4
Solución Actual
Eficiencia - Errores al ejecutar Tarea X

9. Pie de foto.
Aprender a Usar
Medir tiempo por
tarea después de
varios intentos.
Se espera que
baje después de
varios intentos
06El Proceso del Diseño de Interacción | Experiencia de Usuario
0
10
20
30
40
50
60
Intento 1 Intento 2 Intento 3 Intento 4 Intento 5
Facilidad de Aprendizaje
Técnica de Interacción 1 Técnica de Interacción 2 Técnica de Interacción 3 Técnica de Interacción 4 Solución Actual

10. Pie de foto.
Recordar Usar
Mala Medida ya
que es casi volver
al inicio
07El Proceso del Diseño de Interacción | Experiencia de Usuario

11. Pie de foto.
Recordar Usar
Buena medida ya
que es cercana al
último uso
08El Proceso del Diseño de Interacción | Experiencia de Usuario

12. Pie de foto.
Preferencias de Usuario
09El Proceso del Diseño de Interacción | Experiencia de Usuario
0
1
2
3
4
5
6
7
Uso del Sistema (1-8) Calidad Documentación
(9-15)
Calidad de Interfaz (16-18) General
Alto
Bajo
Promedio

13. CSUQ
10El Proceso del Diseño de Interacción | Experiencia de Usuario

14. IBM Computer Satisfaction Usability Questionnaire (CSUQ)
• Confiable
• Simple
• Alta correlación con los resultados (probado empíricamente r - 0.94)
• 19 preguntas estructuradas en 4 grupos:
• Uso del sistema (SYSUSE-Q1 a 8)
• Calidad de la información (INFOQUAL-Q9 a 15)
• Interfaz de calidad (InterQual-Q16 a 18)
• (OVERALL-Q19).
• Cada pregunta se responde usando una escala de 7 puntos de Likert.
1
4
11El Proceso del Diseño de Interacción | Experiencia de Usuario

15. IBM Computer Satisfaction Usability Questionnaire (CSUQ)
1
5
• Preguntas 1-8. Uso del sistema
• 1. En general, estoy satisfecho con lo fácil que es utilizar el sistema
• 2. Es fácil de usar el sistema
• 3. Completo mi trabajo eficazmente con el sistema
• 4. Puedo terminar mi trabajo rápidamente usando el sistema
• 5. Puedo completar eficientemente mi trabajo con el sistema
• 6. Me siento cómodo con el sistema
• 7.Is fácil aprender a usar este sistema
• 8. Creo que me he vuelto productivo rápidamente con el sistema
12El Proceso del Diseño de Interacción | Experiencia de Usuario

16. 1
6
• Preguntas 9-15. Calidad de la información
• 9. El sistema da mensajes de error que me dicen claramente cómo resolver problemas
• 10. Cada vez que cometa un error al usar el sistema, se puede recuperar fácil y
rápidamente
• 11. La información (como ayuda en línea, mensajes en pantalla y otros documentos)
proporcionada con el sistema es clara
• 12. Es fácil encontrar la información que necesito
• 13. La información proporcionada por el sistema es fácil de entender
• 14. La información es eficaz para ayudar a completar tareas
• 15. La organización de la información en las pantallas del sistema es clara
13El Proceso del Diseño de Interacción | Experiencia de Usuario

17. 1
7
• Preguntas 16-18. Calidad de la IU
• 16. La interfaz del sistema es agradable
• 17. Me gusta utilizar la interfaz del sistema
• 18. Este sistema tiene todas las características y capacidades que espero que
tenga
• Preguntas 19. Estimación general
• 19. En general, estoy satisfecho con el sistema
14El Proceso del Diseño de Interacción | Experiencia de Usuario

18. Likert Scale
1
8
15El Proceso del Diseño de Interacción | Experiencia de Usuario

19. IBM (CSUQ): para cada respuesta se calcula la
media y la desviación estándar
Per question statistics
Mean Median Average of deviationsStandard deviation
Q1 4,29 4,00 0,61 0,76
Q2 3,57 3,00 0,65 0,79
Q3 4,14 4,00 1,02 1,21
Q4 4,00 4,00 0,57 0,82
Q5 4,00 4,00 0,29 0,58
Q6 4,29 4,00 0,69 0,95
Q7 3,71 4,00 0,61 0,76
Q8 4,00 4,00 0,57 0,82
Q9 3,57 4,00 0,78 0,98
Q10 3,57 4,00 0,78 0,98
Q11 3,14 3,00 0,82 1,35
Q12 5,14 5,00 0,49 0,69
Q13 4,86 5,00 0,49 0,69
Q14 4,57 5,00 0,49 0,53
Q15 5,00 5,00 0,29 0,58
Q16 5,00 5,00 0,00 0,00
Q17 5,43 5,00 0,49 0,53
Q18 4,00 4,00 0,29 0,58
Q19 5,14 5,00 0,73 0,90
1
9
16El Proceso del Diseño de Interacción | Experiencia de Usuario

20. Per question statistics
Mean Median Average of deviationsStandard deviation
Q1 4,29 4,00 0,61 0,76
Q2 3,57 3,00 0,65 0,79
Q3 4,14 4,00 1,02 1,21
Q4 4,00 4,00 0,57 0,82
Q5 4,00 4,00 0,29 0,58
Q6 4,29 4,00 0,69 0,95
Q7 3,71 4,00 0,61 0,76
Q8 4,00 4,00 0,57 0,82
Q9 3,57 4,00 0,78 0,98
Q10 3,57 4,00 0,78 0,98
Q11 3,14 3,00 0,82 1,35
Q12 5,14 5,00 0,49 0,69
Q13 4,86 5,00 0,49 0,69
Q14 4,57 5,00 0,49 0,53
Q15 5,00 5,00 0,29 0,58
Q16 5,00 5,00 0,00 0,00
Q17 5,43 5,00 0,49 0,53
Q18 4,00 4,00 0,29 0,58
Q19 5,14 5,00 0,73 0,90
2
0
17El Proceso del Diseño de Interacción | Experiencia de Usuario

21. IBM (CSUQ) – juntar las cosas de la siguiente
manera
Uso del sistema
(1-8)
Calidad de la
información
(9-15)
Calidad de la
interfaz de usuario
(16-18)
General
19
Promedio 5,506756757 5,030888031 4,864864865 5,243243243
Desviación
estándar 0,296330474 0,357339332 0,071506792 1,402485995
2
1
1
2
18El Proceso del Diseño de Interacción | Experiencia de Usuario

22. IBM (CSUQ) – Finalmente se determinan los
topes máximos(promedio + desvEst) y mínimos
(promedio - desvEst)
2
2
Use of the System
(1-8)
Information Quality
(9-15)
UI Quality (16-18)
General
19
Average 5,506756757 5,030888031 4,864864865 5,243243243
Standard
Deviation
0,296330474 0,357339332 0,071506792 1,402485995
19El Proceso del Diseño de Interacción | Experiencia de Usuario

23. 2
3
0
1
2
3
4
5
6
7
Uso del Sistema (1-8) Calidad Documentación
(9-15)
Calidad de Interfaz (16-
18)
General
Alto
Bajo
Promedio
Use of the System
(1-8)
Information Quality
(9-15)
UI Quality (16-18)
General
19
Average 5,506756757 5,030888031 4,864864865 5,243243243
Standard
Deviation
0,296330474 0,357339332 0,071506792 1,402485995
20El Proceso del Diseño de Interacción | Experiencia de Usuario

24. IBM (CSUQ) – Interpretación
• La evaluación por debajo de 4, en promedio, son insatisfactorias
• Las evaluaciones entre 4 y 5, en promedio, son bastante satisfactorias
• Las evaluaciones entre 5 y 6, en promedio, el mínimo no inferior a 4 se consideran
buenas, pero pueden mejorar
• Las evaluaciones entre 6 y 7, en promedio, están en las mejores condiciones y
ciertamente con pocas cosas para mejorar
2
4
21El Proceso del Diseño de Interacción | Experiencia de Usuario

25. Actividad
Generar un formulario para recolectar los
datos y procesarlos.
Aplicarlo a los prototipos de tu proyecto.
2
5
22El Proceso del Diseño de Interacción | Experiencia de Usuario

26. SUS
23El Proceso del Diseño de Interacción | Experiencia de Usuario

27. Escala de usabilidad del sistema (SUS)
• Creado por John Brooke en 1986.
• Le permite evaluar una amplia variedad de productos y servicios, incluyendo:
hardware, software, dispositivos móviles, sitios web y aplicaciones.
• Consiste en un cuestionario de 10 preguntas con cinco opciones de respuesta
(Likert) coinciden completamente en desacuerdo.
2
7
24El Proceso del Diseño de Interacción | Experiencia de Usuario

28. Escala de usabilidad del sistema (SUS)
• Ventajas:
• Estándar de la industria
• Más de 1.300 artículos y publicaciones se refirió a él.
• Es muy fácil de usar
• Se puede utilizar con muestras pequeñas
• Los resultados son fiables
2
8
25El Proceso del Diseño de Interacción | Experiencia de Usuario

29. Escala de usabilidad del sistema (SUS)
• Consideraciones al usarlo:
• el sistema de puntuación es bastante complejo
• como cada pregunta se mapea en una escala de 0 a 100
• La forma de interpretar los resultados significa "normalización" de las
puntuaciones para producir una clasificación de percentiles.
• No promedio
• SUS no es un diagnóstico - es su uso está en la clasificación de la facilidad de uso
del sistema para evaluar, ya sea: sitio, aplicación o entorno que se está probando.
2
9
26El Proceso del Diseño de Interacción | Experiencia de Usuario

30. 3
0
27El Proceso del Diseño de Interacción | Experiencia de Usuario

31. Escala de usabilidad del sistema (SUS)
• Si un entrevistado siente que no puede responder una pregunta en particular,
debe marcar el punto central de la escala.
• Procesamiento de las respuestas:
• Tendremos valores de 0 a 4 para cada pregunta para las preguntas 1,3,5,7 y 9 al
valor seleccionado (entre 1 y 5) restar 1.
• Para las preguntas 2,4,6,8 y 10, haga 5 menos el valor seleccionado (entre 1 y 5).
Nuestro rango es valores de -4 a 0
• Añadir valores 10 beneficio multiplicado por 2,5
3
1
28El Proceso del Diseño de Interacción | Experiencia de Usuario

32. Escala de usabilidad del sistema (SUS)
• Ejemplo
3
2
Tendremos valores de
0 a 4 para cada
pregunta para las
preguntas 1,3,5,7 y 9 al
valor seleccionado
(entre 1 y 5) restar 1.

29El Proceso del Diseño de Interacción | Experiencia de Usuario

33. • Ejemplo
3
3
Para las preguntas
2,4,6,8 y 10, reste 5 al
valor seleccionado
(entre 1 y 5). Nuestro
rango es valores de -4 a
0
Usar valores absolutos

30El Proceso del Diseño de Interacción | Experiencia de Usuario

34. • Ejemplo
3
4
SUME los 10 valores
31El Proceso del Diseño de Interacción | Experiencia de Usuario

35. • Ejemplo
3
5
Multiplicar el resultado por 2,5
SUS= 22*2.5=50
32El Proceso del Diseño de Interacción | Experiencia de Usuario

36. • El valor no es un porcentaje, es un número que debe clasificarse por percentiles.
• Basado en la investigación, una puntuación por encima de un 68 su se
consideraría por encima de la media y todo lo que está por debajo de 68 es menor
que el promedio.
3
6
33El Proceso del Diseño de Interacción | Experiencia de Usuario

37. Escala de usabilidad del sistema (SUS)
• Incluso el gráfico puede mapear con notas académicas. Nuestra calidad mínima
es de 70
3
7
[Bangor et al. , 2009]
34El Proceso del Diseño de Interacción | Experiencia de Usuario

38. Escala de usabilidad del sistema (SUS)
• Incluso el gráfico puede mapear con notas académicas. Nuestra calidad mínima
es de 70
3
8
[Bangor et al. , 2009]
35El Proceso del Diseño de Interacción | Experiencia de Usuario

39. Escala de usabilidad del sistema (SUS)
• SUS fue diseñado para medir la percepción de la facilidad de uso (una sola dimensión)
• Investigaciones recientes muestran que proporciona una medida global de
satisfacción del sistema y subescalas de la usabilidad y facilidad de aprendizaje.
• Las preguntas 4 y 10 proporcionan la dimensión de la facilidad de aprendizaje
• 4. . Creo que necesitaría el apoyo de una persona técnica para poder utilizar este
sistema
• 10. Necesitaba aprender muchas cosas antes de poder ponerme en marcha
• con este sistema .
• Los otros 8 elementos proporcionan la dimensión de usabilidad
3
9
36El Proceso del Diseño de Interacción | Experiencia de Usuario

40. Actividad
Generar un formulario para recolectar los
datos y procesarlos.
Aplicarlo a los prototipos de tu proyecto.
4
0
37El Proceso del Diseño de Interacción | Experiencia de Usuario

41. Acerca de los instrumentos
• Hay estudios que los comparan y definen cuáles producen mejores resultados, en
este orden:
4
1
[Tullis and J. N.
Stetson, 2004]
38El Proceso del Diseño de Interacción | Experiencia de Usuario

42. Sobre los instrumentos
• Cada instrumento presenta o sirve para diferentes propósitos.
• Existen trabajos que los comparan y definen cuales arrojan mejores resultados, en
este orden: SUS, CSUQ, QUIS, Words.
4
2
[Tullis and J. N.
Stetson, 2004]
UTILICE lo que
más le convenga,
pero úselos.
39El Proceso del Diseño de Interacción | Experiencia de Usuario

43. Pie de foto.
5 Métricas
1. Velocidad - Medir el Tiempo de ejecución de una tarea.
2. Eficiencia – Medir el número de Errores al ejecutar las tareas
3. Aprender a Usar el sistema – Medir tiempo por tarea
4. Recordar Usar el sistema – Dejar pasar 2 a 4 semanas y medir
tiempo.
5. Preferencia de Usuario – Instrumento de evaluación de Usabilidad
40El Proceso del Diseño de Interacción | Experiencia de Usuario

44. Pie de foto.
5 Métricas – Decisiones Informadas
42El Proceso del Diseño de Interacción | Experiencia de Usuario
0
5
10
15
20
25
30
Velocidad Eficiencia Aprender Recordar CSUQ SUS
Título del gráfico
Técnica de Interacción 1 Técnica de Interacción 2 Técnica de Interacción 3 Técnica de Interacción 4 Solución Actual

45. Conclusión – Cometer errores es humano
42El Proceso del Diseño de Interacción | Experiencia de Usuario
• Acciones Planeadas
• Malicioso
• Violación - Consecuencias Conocidas. Cuando una persona decide actuar aún con conocimiento que
hacerlo viola una norma
• Equivocación – Consecuencia no esperada. Cuando haces algo que se supone debes hacer pero
deberías hacerlo de forma diferente.
• Acciones no planeadas (RIESGO)
• Lapso, cuando olvidas hacer algo
• Desliz, cuando haces algo pero deberías hacer algo diferente

46. Pie de foto.
Bibliografía
•Muñoz Artega, J., GONZALEZ CALLEROS, J. M., & Huitrón, A. S. (2015). La interacción
humano-computadora en México. Pearson Educación.
•Lewis, J. R. (1995). IBM computer usability satisfaction questionnaires: psychometric
evaluation and instructions for use. International Journal of Human‐Computer
Interaction, 7(1), 57-78.
•SUS: A Quick and Dirty Usability Scale by John Brooke
•Measuring Usability with the System Usability Scale (SUS) by Jeff Sauro
•SUS: A Retrospective by John Brooke
• Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale by
Kortum Bangor and Miller May
43Técnicas de evaluación | Métodos de Usabilidad

47. gracias.
©2020
Es responsabilidad exclusiva de los autores el respeto de los derechos de autor sobre los contenidos e imágenes en el presente documento,
en consecuencia, la BUAP no se hace responsable por el uso no autorizado, errores, omisiones o manipulaciones de los derechos de autor y
estos serán atribuidos directamente al Responsable de Contenidos, así como los efectos legales y éticos correspondientes.