Observación de usuarios reales para detectar y analizar problemas de uso

1. Evaluaciones de
Usabilidad
EUGENIO MONFORTE
@tipoqueno - eugenio@tipoqueno.com

2. IxDA es una asociación creada para difundir la disciplina del Diseño
de Interacción, que conforma (junto a usabilidad, arquitectura de la
información y accesibilidad, entre otras) el ecosistema del Diseño de
Experiencias del Usuario.

3. Queremos mejorar la educación y divulgación de UX en español.
Queremos llegar a un nuevo estándar profesional.
Y queremos construirlo colaborativamente.

4. ¿Qué es la usabilidad?

5. Usabilidad es agregarle la
funcionalidad
“fácil de usar” a un
producto o servicio
¿No, Jakob?

6. ¿Qué es la usabilidad?
"Usabilidad es la eficacia, eficiencia y satisfacción
con la que un producto permite alcanzar objetivos
específicos a usuarios específicos en un contexto de
uso específico."
Norma ISO/IEC 9241-11
Efectividad: el porcentaje de tareas exitosas realizadas por el usuario.
Eficiencia: el costo en la realización de las tareas exitosas. Puede ser medido
con distintos indicadores (cantidad de errores, páginas visitadas, etc.)
Satisfacción: nivel de satisfacción de los usuarios en el uso de la interfaz.

7. ¿Qué es la usabilidad?
Es un atributo de calidad cuya definición
formal es resultado de la enumeración de las
diferentes componentes o variables a través de
los cuales puede ser medida (dimensión
relativa).
Según Nielsen (Usability engineering, 2003)
existen cinco componentes:
Jakob Nielsen,
usabilidólogo

8. Cualidad de ser recordado (Memorability):
Cuando los usuarios vuelven a usar el diseño después de un
periodo sin hacerlo, ¿cuánto tardan en volver a adquirir el
conocimiento necesario para usarlo eficientemente?
Cinco atributos de la Usabilidad
Facilidad de Aprendizaje (Learnability):
¿Cómo de fácil resulta para los usuarios llevar a cabo tareas
básicas la primera vez que se enfrentan al diseño?
Eficiencia:
Una vez que los usuarios han aprendido el funcionamiento
básico del diseño, ¿cuánto tardan en la realización de tareas?

9. Eficacia:
Durante la realización de una tarea, ¿cuántos errores comete el
usuario?, ¿cómo de graves son las consecuencias de esos
errores?, ¿cómo de rápido puede el usuario deshacer las
consecuencias de sus propios errores?
Cinco atributos de la Usabilidad
Satisfacción:
¿Cómo de agradable y sencillo le ha parecido al usuario la
realización de las tareas?

10. Reducción de los costos de desarrollo y mantenimiento
● Corregir un problema cuesta:
○ 1x10 en la fase de desarrollo
○ 1x100 luego del lanzamiento (Weinschenk, 2005)
● La mayoría de los costos de mantenimiento están asociados a
requerimientos poco o nada satisfechos (Pressman, 1992)
¿Por qué es importante la usabilidad?

11. Reducción de los costos de capacitación
¿Por qué es importante la usabilidad?
Facilidad de uso
(Usabilidad)
Tiempo de aprendizaje = Horas de capacitación

12. Reducción de los costos de soporte
● Una llamada a un Call Center puede costar entre U$s
12.- y U$s 250.- (Karat & Lund, 2005)
● El 20% de los usuarios de sitios de eCommerce
pueden llamar a soporte si encuentran un problema.
(Souza, 2001)
¿Por qué es importante la usabilidad?

13. Reducción de los costos de soporte
Ejemplo:
● Una empresa tiene 100 clientes.
● 20 de ellos llaman una vez al mes a atención a
clientes porque tienen un problema que no pueden
resolver en la Web de la empresa.
● El costo promedio de cada llamada es de US$120
● Al mes el costo es de US$ 2.380
● Al año: US$ 28.560
¿Por qué es importante la usabilidad?

14. Para poder estimar el Retorno de la inversión (ROI) se
requieren unidades expresadas en moneda.
• El beneficio debe estar directamente relacionado
con los ingresos o los costos.
• Ésto es más fácil de medir en sitios de eCommerce o
Intranets (conocemos todas las variables)
¿Por qué es importante la usabilidad?

15. Para el resto de las interfaces se puede hablar de
porcentajes de mejora.
Indicadores de:
● Visitas
● Páginas vistas por usuario
● Tiempo de permanencia
● Conversiones de objetivos
● Cantidad de contactos
● Etc.
¿Por qué es importante la usabilidad?

16. Distintas dimensiones
de la usabilidad

17. Los usuarios no buscan usabilidad, buscan utilidad, entendida
como el provecho, beneficio e interés que produce su uso
(Hassan-Montero; 2006)
La relación entre utilidad y usabilidad es de mutua dependencia:
“[...] la usabilidad representa el grado en el que el usuario puede
explotar la utilidad”. También representa el grado de percepción
que esta utilidad tiene para el usuario.
Dimensión dependiente

18. La usabilidad no debe ser entendida como una cualidad universal.
Todo producto, aplicación o sitio web, nace para satisfacer las
necesidades de una audiencia específica.
Además, aún cuando el producto es usado para los objetivos y en
los contextos previstos, estos objetivos y contextos
determinarán la importancia de su usabilidad.
Dimensión relativa

19. El objetivo final del “buen diseño”, del diseño usable, es
mejorar la calidad de vida de las personas.
Lo primero que debemos asumir es que la práctica de la
usabilidad requiere una permanente actitud de empatía, pues
será el usuario final, en última instancia, quien determine la
calidad de nuestro trabajo.
Asegurar la usabilidad de nuestros diseños significa proteger al
usuario final de posibles efectos perjudiciales, fruto de su
confusión o de malinterpretar el uso del producto.
Dimensión ética

20. Tipos de evaluaciones
de usabilidad

21. Pruebas con usuarios reales
Tipos de evaluaciones de usabilidad
RemotasPresenciales

22. Evaluación heurística por expertos
Tipos de evaluaciones de usabilidad

23. Cuestionarios
Tipos de evaluaciones de usabilidad

24. Entrevistas contextuales
Tipos de evaluaciones de usabilidad

25. Mapas de calor
En base al recorrido por la web
(scroll)
Tipos de evaluaciones de usabilidad

26. Mapas de calor
En base a clicks sobre los
elementos de la web
Tipos de evaluaciones de usabilidad

27. Seguimiento de los ojos
Tipos de evaluaciones de usabilidad

28. ● Analítica de todo tipo
○ Analítica web (demografía, tecnología, temáticas, etc.)
○ Información sociológica y psicológica de los usuarios
relevantes
● Evaluaciones de rendimiento
● Clasificación de tarjetas (Card sorting)
● Focus groups
● Etc, etc, etc...
Técnicas complementarias que
ayudan a evaluar la usabilidad

29. “Investigamos cualitativamente para
generar hipótesis, que probamos luego
cuantitativamente.”
Verónica Traynor
¿Cómo medimos si estamos
midiendo correctamente?

30. Usabilidad en la Experiencia de usuario

31. Manos a la obra

32. Observación de usuarios reales
para detectar y analizar
problemas de uso
Tests de Usabilidad

33. Etapas de la
evaluación

34. ¿Cómo le presentaremos las tareas al usuario para no
condicionarlo?
¿Cuál es el objetivo del test?
1. Diseñar el test
¿Qué queremos medir y para qué?
¿Qué tipo de test? ¿Cualitativo, cuantitativo o mixto?
¿Qué grado de formalidad necesitamos? ¿Presencial o
Remoto?

35. ● Seleccionar participantes y establecer agenda
2. Planear
● Definir Roles internos:
○ facilitador/moderador
○ asistente
○ observador
○ cliente
○ computadora/producto
● Espacio y materiales
● Definir cómo se capturan los resultados

36. ● Pensar/establecer de antemano cuánto tiempo
es razonable para cada tarea
2. Planear
● Narración de escenario y tareas.
● Hacer un Test piloto

37. El momento de desarrollo del producto (lanzamiento,
consolidación, cambios de negocio, etc.) determinará
qué tipo de test es mejor
Cuanto más temprano, mejor. Recordar: se puede
hacer sobre wireframes o sobre sitios existentes.
¿Cuándo hacerlo?
Después de una evaluación heurística, para reducir los
errores fáciles de identificar.

38. Establecer un ritmo

39. Nos enfocamos en lo que el usuario hace más que
en lo que dice.
Testear con 5 usuarios revela el 80% de los
problemas de usabilidad de un sistema.
3. Testear
Es importante registrar de alguna forma lo que
sucedió durante el test.
Importante: recordarle que comente en voz alta lo
que está pensando (técnica Think Aloud)

40. Testear con 5 usuarios revela el 80% de los
problemas de usabilidad de un sistema
(Usability Engineering at a Discount)

41. - Si el usuario no puede completar la tarea, la falla es del sistema,
no de ellos.
- Dar la bienvenida, explicar cómo va a ser el test, explicar los
escenarios, si es necesario hacer un microentrenamiento.
Consideraciones
- Hacerles saber que podemos parar cuando quieran.
- Es mejor comenzar por las tareas más sencillas para precalentar.
- Recordarles múltiples veces que estamos testeando el sitio y su
interfaz, no a ellos.
- Si algo lo bloquea: recordarle que si se bloquea, probablemente
hayamos encontrado una oportunidad de mejora.

42. Priorizar cambios en base a esta recurrencia
Relevar tareas por cada usuario: completadas y no
completadas
4. Analizar resultados
Listado de conclusiones y Propuesta de solución
Revisar la recurrencia de errores
Iterar: volver a testear con usuarios

43. ¡GRACIAS!
¿Preguntas?
www.ixdamza.com.ar
www.facebook.com/ixdamza

44. Nielsen Norman Group - Usability 101: Introduction to Usability
http://www.nngroup.com/articles/usability-101-introduction-to-usability/
SIDAR - Recopilación de Métodos de Usabilidad
http://www.sidar.org/recur/desdi/traduc/es/visitable/quees/usab.htm
Informe APEI sobre Usabilidad - 1. Definición y Conceptos
http://www.nosolousabilidad.com/manual/1.htm
Cuantificación de UX y ROI
http://www.keikendo.com/presentations/cuantificacion-de-ux-y-roi.html
Bibliografía: