El documento presenta una introducción a la evaluación de usabilidad. Explica que existen diferentes métodos de evaluación como la inspección, la indagación y las pruebas. También describe los laboratorios de usabilidad, su equipamiento y el software utilizado para analizar las interacciones de los usuarios durante las pruebas. Finalmente, muestra ejemplos de herramientas como el seguimiento ocular que permiten comprender mejor el comportamiento de los usuarios.

1. EVALUACIÓN DE USABILIDAD
Dr. Cristian Rusu
Pontificia Universidad Católica de Valparaíso, Chile
cristian.rusu@pucv.cl
Dr. Toni Granollers
U. de Lleida, Catalonia, Spain
antoni.granollers@udl.cat
How to Identify
the Best Design
Problems ?
El taller “Evaluando eXperiencias y habilidades:
Usabilidad, Comunicabilidad, Accesibilidad, User
eXperience, Customer eXperience” ha sido impartido por
Cristian Rusu y Toni Granollers en la ciudad de Popayán-
Colombia del 27 al 30 de Septiembre del 2016 durante el
11Congreso Colombiano de Computación.
Este material está sujeto a la licencia Creative Commons
Reconocimiento-NoComercial 4.0 Internacional License.

2. Usabilidad en términos de
calidad del software
[ISO/IEC 9126-1:2001(E)]
2 / 36Evaluación de Usabilidad - Tutorial 11CCC

3. Usabilidad en términos de
calidad del software: ISO/IEC 25010:2011
Quality Model
Quality In Use
Effectiveness Efficiency Satisfaction
Freedom from
risk
Context coverage
System/Software
Product Quality
• Usefulness
• Trust
• Pleasure
• Comfort
• Economic risk
mitigation
• Health and safety
risk mitigation
• Environmental
risk mitigation
• Context
completeness
• Flexibility
Quality in use is the degree to which a product or system can be used by
specific users to meet their needs to achieve specific goals with effectiveness,
efficiency, freedom from risk and satisfaction in specific contexts of use.
3 / 36Evaluación de Usabilidad - Tutorial 11CCC

4. Usabilidad en términos de
calidad del software: ISO/IEC 25010:2011
Quality Model
Quality In
Use System/Software Product Quality
Functional
Suitability
Performance
efficiency
Compatibility Usability Reliability Security Maintainability Portability
• Appropriateness
recognisability
• Learnability
• Operability
• User error
• User interface
aesthetics
• Accessibility
The product quality model categorizes product quality properties into eight
characteristics (functional suitability, reliability, performance efficiency, usability,
security, compatibility, maintainability and portability).
4 / 36Evaluación de Usabilidad - Tutorial 11CCC

5. No confundir usabilidad con otros atributos de la
interfaz de usuario (UI)
http://www.awwwards.com
The awards for design, creativity and innovation on the Internet
5 / 36Evaluación de Usabilidad - Tutorial 11CCC

6. Índice
• Evaluación de la USABILIDAD
• Métodos de evaluación por INSPECCIÓN
• Métodos de evaluación por INDAGACIÓN
• Métodos de evaluación porTEST
• Laboratorio de Usabilidad
http://www.interaction-design.org/encyclopedia/usability_evaluation.html
http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion
6 / 36Evaluación de Usabilidad - Tutorial 11CCC

7. Modelo de proceso
Diseño centrado en el usuario
• Tipologías:
• Automáticos/Manuales
• CON/SIN usuarios
• Laboratorio/In situ
• Inspección/Indagación/Test
http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion
7 / 36Evaluación de Usabilidad - Tutorial 11CCC

8. •Automáticos:
• Realizar tests remotamente a través de la red de Internet. Que son
que disponen de mecanismos (hardware y/o software) que facilitan
comprobación de los aspectos a validar.
• Los métodos automáticos resultan altamente eficientes puesto que
realizan muy rápidamente y los resultados siempre provienen de los
mismos parámetros, sin apreciaciones subjetivas.
• El principal problema está en que siempre se basan en sistemas ya
finalizados (o versiones preliminares de lanzamiento) y no pueden
utilizarse en etapas tempranas del ciclo de vida del desarrollo.
• Solo suelen dar resultados cuantitativos
• Manuales
Evaluación. Automatización
8 / 36Evaluación de Usabilidad - Tutorial 11CCC

9. • Automáticos
• Manuales:
• Al contrario de los métodos anteriores están los métodos que no
disponen de mecanismos que automaticen su realización.
• Consumen más recursos: tiempo, evaluadores,…, pero pueden
aspectos que se “salen del patrón” y pueden realizarse en cualquier
etapa del desarrollo y con cualquier tipo de prototipo.
• Tienen la virtud de que aportan resultados cualitativos
Evaluación. Automatización
9 / 36Evaluación de Usabilidad - Tutorial 11CCC

10. • CON usuarios y/o implicados
• Las personas u organizaciones que serán afectadas por el
y que tienen influencia directa o indirecta en los requisitos del
sistema.
• Recordar el módulo del Análisis de Requisitos.
• Son los métodos en los que se evalúa el sistema con la
intervención directa de usuarios representativos, pudiendo
también participar en las sesiones personas que sin ser
finales tienen la condición de implicados del sistema.
• Estos métodos resultan muy positivos por implicar la
de usuarios en el proceso de diseño pero dificultan, en parte, el
proceso debido a que no siempre resulta fácil reclutar usuarios
para este tipo de actividades.
• Métodos sin usuarios y/o implicados
Evaluación. ¿Quién interviene?
10 / 36Evaluación de Usabilidad - Tutorial 11CCC

11. • Con usuarios y/o implicados
• Métodos SIN usuarios y/o implicados
• Estos métodos los realizan solo expertos evaluadores con la ayuda de
guiones, pautas o documentos que permiten hacer un seguimiento
los que han hecho los usuarios mientras utilizaban el sistema.
• Igual que pasaba con los métodos automáticos se realizan muy
rápidamente pero carecen de la realimentación que evaluar con
aporta al sistema.
Evaluación. ¿Quién interviene?
11 / 36Evaluación de Usabilidad - Tutorial 11CCC

12. Evaluación. Estilo
• Laboratorio (de usabilidad)
• El objetivo del evaluador, a veces, es comprobar aspectos sin que
la ayuda de los usuarios
• Este tipo de comprobaciones las realiza, normalmente, en su entorno
trabajo o sea en el laboratorio, dónde, puede además traer usuarios
un estudio particular
• Entorno (in situ)
• Entorno natural o habitual del escenario dónde se realizan las tareas
evaluar
• Esta situación se produce cuando el evaluador realiza su trabajo en el
lugar natural dónde se realiza la escena, el lugar de trabajo habitual
usuario
12 / 36Evaluación de Usabilidad - Tutorial 11CCC

13. • Según la forma de realización y el tipo de participantes, la
evaluación de la usabilidad se clasifica de la siguiente forma:
• Métodos por Inspección
• Métodos por Indagación
• Métodos por Test
Evaluación. Clasificación
13 / 36Evaluación de Usabilidad - Tutorial 11CCC

14. Evaluación. Clasificación
• Inspección
• El término inspección aplicado a la usabilidad aglutina un conjunto de
métodos para evaluar la usabilidad en los que hay unos expertos
como evaluadores que analizan y explican el grado de usabilidad de un
sistema basándose en la inspección o examen de la interfaz del mismo.
• Salvo excepciones, no intervienen usuarios de forma directa.
• Existen varios métodos que se enmarcan en la clasificación de
por inspección
• Principales Técnicas:
• Heurística
• Recorridos cognitivos
• Recorrido de usabilidad plural
• Revisión de Estándares
14 / 36Evaluación de Usabilidad - Tutorial 11CCC

15. • Coste-beneficio en
relación a la cantidad
de evaluadores
necesarios para llevar
a cabo una EH.
• J. Nielsen, “How to Conduct a Heuristic Evaluation”
• http://www.useit.com/papers/heuristic/heuristic_evaluation.html
Evaluaciónheurística.Preparación
Selecciónde losevaluadores
15 / 36Evaluación de Usabilidad - Tutorial 11CCC

16. Evaluación heurística
• Hoja de cálculo que facilita la realización de una
Evaluación Heurística
• Hoja de cálculo para realizar la evaluación heurística de
sitios de e-commerce
• 10 Usability Heuristics explained
• http://www.slideshare.net/crafted/10-usability-heuristics-
explained
16 / 36Evaluación de Usabilidad - Tutorial 11CCC

17. • Indagación
• Descubrir y aprender para generar ideas de diseño
• De especial interés en las primeras fase del desarrollo, pues
proporcionan información acerca de la usabilidad de un
que aún no se ha empezado a fabricar.
• Principales Técnicas
• Observación de campo
• Focus Groups
• Entrevistas
• Cuestionarios
• Grabación del uso (Logging)
Métodos de evaluación
17 / 36Evaluación de Usabilidad - Tutorial 11CCC

18. Métodos de evaluación
• Test
• Usuarios representativos trabajan en tareas utilizando el
sistema (o el prototipo)
• Evaluadores analizan los resultados para ver como la interfaz
de usuario da soporte a los usuarios con sus tareas
• Tipos
• Thinking Aloud (Pensando en voz alta)
• Interacción constructiva
• Método del conductor
• Test remoto
18 / 36Evaluación de Usabilidad - Tutorial 11CCC

19. Laboratorio de usabilidad
…………..
19 / 36Evaluación de Usabilidad - Tutorial 11CCC

20. • Observación de la Experiencia del Usuario
• Un laboratorio de usabilidad es un espacio especialmente adaptado
para la realización de pruebas de evaluación de la usabilidad
• En el se registran y analizan las interacciones que los usuarios
mientras utilizan el sistema o producto a analizar
• Para ello es necesario disponer de equipamiento específico
• Instalaciones adecuadas a las actividades que se van a realizar en
condiciones lo menos intrusivas posibles para el usuario  simular
condiciones reales de la interacción
• Software especializado
• Personas bien formadas
Laboratorio de usabilidad
20 / 36Evaluación de Usabilidad - Tutorial 11CCC

21. Laboratorio de usabilidad
• Diversidad de productos y servicios
• Diversidad de usuarios finales
• entre los que se pueden encontrar personas de edad avanzada y
personas con discapacidad
• Un laboratorio de usabilidad
• Debe considerar también las condiciones de acceso para personas con
discapacidad, para poder llevar a cabo pruebas de usabilidad y
accesibilidad que respondan a las necesidades de cualquier tipo de
usuario
21 / 36Evaluación de Usabilidad - Tutorial 11CCC

22. Laboratorio de usabilidad.
Equipamiento básico
• Consisten normalmente en dos salas o habitaciones,
• una es la sala de observación (para los evaluadores) y,
• otra la sala de la prueba (para los usuarios)
• Ambas salas suelen estar
separadas por un cristal que sólo
permite ver a los usuarios desde
la sala de observación, pero no
desde el lado opuesto
22 / 36Evaluación de Usabilidad - Tutorial 11CCC

23. Laboratorio de usabilidad.
Equipamiento básico
23 / 36Evaluación de Usabilidad - Tutorial 11CCC

24. Laboratorio de usabilidad.
Software especializado
• El análisis resulta mucho más efectivo si se realiza con la ayuda
de un software específico
• El software NO sustituye al evaluador experto
24 / 36Evaluación de Usabilidad - Tutorial 11CCC

25. Laboratorio de usabilidad.
Personas bien formadas
25 / 36Evaluación de Usabilidad - Tutorial 11CCC

26. Laboratorio de usabilidad.
Personas bien formadas
• Guidelines for Participants in a Separate Room (MORAE)
• Hablar lo mínimo durante la sesión
• Los participantes deben sentirse apoyados por el evaluador a la vez que
deben sentirse “como en casa”
• NO hacer comentarios a los participantes
• Confidencialidad de la identidad
• NO hacer cambios hasta el final de los resultados
• Preparar una lista de preguntas finales para los participantes
26 / 36Evaluación de Usabilidad - Tutorial 11CCC

27. Evaluación con usuarios
mediante Morae
Type of test
Éxito de la
tarea
Encontrar un televisor LCD con la garantía más larga
en el tiempo
5 de 14 (35%) participantes NO FINALIZARON la tarea
Video: El procedimiento de comparación no es claro
1.Buscar todos los
televisores LCD
2.Seleccionar
2 TV a comparar
3.Escoger la opción
“Comparar productos
seleccionados”
27 / 36Evaluación de Usabilidad - Tutorial 11CCC

28. ?
• Dónde mira el usuario ??
Eye Tracking
Eye Tracking Evaluation:
https://www.youtube.com/watch?
v=s-273rCl-yk
28 / 36Evaluación de Usabilidad - Tutorial 11CCC

29. 29 / 36Evaluación de Usabilidad - Tutorial 11CCC

30. NINGÚN usuario se
dió cuenta de
la existencia de la
asistenta virtual
30 / 36Evaluación de Usabilidad - Tutorial 11CCC

31. no se dan cuenta
de las
gesticulaciones
que representan un
comportamiento
humano de la Berta
31 / 36Evaluación de Usabilidad - Tutorial 11CCC

32. Permite “leer” el
contenido de una
página
Google es ciego !!!
32 / 36Evaluación de Usabilidad - Tutorial 11CCC

33. http://www.sun.com/usability/
Algunos laboratorios de usabilidad
http://www.oracle.com/webfolder/ux/applica
tions/getInvolved/labTours.html
33 / 36Evaluación de Usabilidad - Tutorial 11CCC

34. Algunos laboratorios de usabilidad
BBC News - How Google fine tunes its search engine
http://news.bbc.co.uk/2/hi/programmes/click_online/9751991.stm
34 / 36Evaluación de Usabilidad - Tutorial 11CCC

35. Remote Usability testing
Remote usability
testing allows you
to get customer
insights when
travel budgets are
small, timeframes
are tight, or test
participants are
hard to find
http://www.nngroup.com/arti
cles/remote-usability-tests
http://gazept.com
http://www.userzoom.es
https://www.youtub
e.com/watch?v=L
RHPJmx7yKA
https://www.youtu
be.com/watch?v=t
M2tlAi-0lw
35 / 36Evaluación de Usabilidad - Tutorial 11CCC

36. Gracias por su
atención !!!
Toni Granollers
Escola Politècnica Superior
Universitat de Lleida (UdL)
C/ Jaume II, 69
25001 – Lleida
(+34) 973 702750
antoni.granollers@udl.cat
@DCU_MPIUA
slideshare.net/DCU_MPIUA


@
36 / 36Evaluación de Usabilidad - Tutorial 11CCC