This is an introductory presentation on how to perform usability tests and what metrics we must take into account when making them

2. Agenda
Bases de usabilidad
Preparar tu primera prueba de usabilidad
Ejecutala
Reporte

3. Bases de la
usabilidad

4. https://www.nngroup.com/articles/which-ux-research-methods/

5. Cualitativo vs Cuantitativo
Cualitativo:La naturaleza de este tipo de métodos son más adecuados para responder
preguntas como : ¿Por qué? y ¿Cómo arreglarlo?
Consisten en resultados observacionales que identifican características de diseño fáciles o
difíciles de usar.
Cuantitativo. Los métodos cuantitativos hacen un trabajo mucho mejor respondiendo
respondiendo ¿cuántos ? y ¿cada cuanto? clases de preguntas.
Los datos cuantitativos los vemos en forma de una o más métricas (como tasas de
finalización de tareas o tiempos de tareas) que reflejan si las tareas fueron fáciles de realizar
https://www.nngroup.com/articles/quant-vs-qual/

8. Usabilidad
De acuerdo a la ISO 9241-11 la definifinición de
usabilidad es :
“La medida en que un producto específico puede ser
utilizado por usuarios específicos para lograr objetivos
específicos con efectividad, eficiencia y satisfacción
en un contexto específico de uso".

9. ¿Por qué es importante?
B2C
● Si la página corporativa no es clara en comunicar que hace y que es lo que
puede hacer hacer el usuario, se van
● Si los usuarios se pierden en un sitio web, se van
● Si la información de un sitio web es difícil de leer o no responde a las
preguntas clave de los usuarios, se van.
B2B
● Productividad de empleados
● Tiempo que pasan perdidos intentando cumplir la tarea dentro de la
plataforma es dinero

10. Metrics
Usability
Norman
Nielsen
ISO
Frequency of the task
Memorability
Mistakes
Motivation
User discretion
Ease of learning
Ease of use
Effectiveness
Attitude of the user
Efficiency
Task flexibility
Prior knowledge
Satisfaction
Easy to understand
Ease of operation
Attractive
Usability compliance

11. Usability
Goals
Effectiveness
Efficient
Satisfaction
Completion Rate
Number of errors
Time based Efficient
Overall Relative Efficient
Post Task Satisfaction
Task level satisfaction
Usability Goals

12. Eficacia - Tasa de finalización
Se calcula asignando un valor binario de "1" si el participante de la prueba logra completar
una tarea y "0" si no lo hace.
Ejemplo de taza de finalización
5 usuarios realizan una tarea utilizando el mismo sistema. Al final de la sesión de prueba, 3
usuarios logran alcanzar el objetivo de la tarea, mientras que los otros 2 no lo hacen.

13. Eficacia - número de errores
Los errores pueden ser acciones involuntarias, resbalones, errores u
omisiones que un usuario hace al intentar realizar una tarea.
Idealmente, debería asignar una breve descripción, una clasificación
de gravedad y clasificar cada error en la categoría correspondiente.
TIP:
Manejar severidad y frecuencia por separado
https://measuringu.com/rating-severity/.

14. Calificaciones de severidad
1. Menor: Causa alguna vacilación o ligera irritación.
2. Moderado: causa fallas ocasionales de tareas para algunos usuarios;
Provoca retrasos y moderada irritación.
3. Crítico: Conduce al fracaso de la tarea. Causas irritación extrema del
usuario.
Insight / Suggestion / Positive: Los usuarios mencionan una idea u
observación que hace o podría mejorar la experiencia general
https://measuringu.com/rating-severity/.

15. Eficiencia basada en el tiempo
La eficiencia se mide en el tiempo (en segundos y / o minutos) que tarda el participante en completar
una tarea con éxito.
N = El número total de tareas (objetivos)
R = El número de usuarios
nij = El resultado de la tarea i por el usuario j; si el usuario completa con éxito la tarea,
entonces Nij = 1, si no, entonces Nij = 0
tij = El tiempo empleado por el usuario j para completar la tarea i.
Si la tarea no se completa con éxito, el tiempo se mide hasta el momento en que el usuario
abandona la tarea

16. Ejemplo eficiencia basada en el tiempo
Supongamos que hay 4 usuarios que usan el mismo producto para intentar realizar la misma
tarea (1 tarea). 3 usuarios logran completarlo exitosamente, tomando 1, 2 y 3 segundos
respectivamente. El cuarto usuario toma 6 segundos y luego se rinde sin completar la tarea.
N = El número total de tareas = 1
R = El número de usuarios = 4
Usuario 1: Nij = 1 y Tij = 1
Usuario 2: Nij = 1 y Tij = 2
Usuario 3: Nij = 1 y Tij = 3
Usuario 4: Nij = 0 y Tij = 6

17. Ejemplo eficiencia basada en el tiempo

18. Eficiencia relativa general
utiliza la proporción del tiempo tomado por los usuarios que completaron exitosamente
la tarea en relación con el tiempo total tomado por todos los usuarios.

19. Ejemplo eficiencia relativa general
Supongamos que hay 4 usuarios que usan el mismo producto para intentar realizar la misma
tarea (1 tarea). 3 usuarios logran completarlo exitosamente, tomando 1, 2 y 3 segundos
respectivamente. El cuarto usuario toma 6 segundos y luego se rinde sin completar la tarea.
N = El número total de tareas = 1
R = El número de usuarios = 4
Usuario 1: Nij = 1 y Tij = 1
Usuario 2: Nij = 1 y Tij = 2
Usuario 3: Nij = 1 y Tij = 3
Usuario 4: Nij = 0 y Tij = 6

20. Ejemplo eficiencia relativa general

21. Satisfacción
● Post task satisfaction
○ Single Ease Question
● Task level satisfaction
○ SUS: System Usability Scale (10 questions)

22. Prepara primera
prueba

23. Guerrilla
Moderada
No moderada
Remota
En lugar determinado
Tipo de prueba

25. Tareas y escenarios
1. Escribir una lista preguntando ¿Cuáles son las cosas más
importantes que cada usuario debe poder lograr en el producto?
2. Priorizar tareas
a. 3 puntos - tareas que la mayoría de los usuarios realizarán la
mayor parte del tiempo.
b. 2 puntos si lo hacen de vez en cuando,
c. 1 punto si solo realizan esta tarea de vez en cuando (cómo
devolver un producto en un sitio de comercio electrónico).

26. Crear escenarios:
Un escenario es la acción que le pide al participante que realice en la
interfaz probada.
Está planeando un viaje de fin de semana a la playa con tus amigos a
Puerto Vallarta, del 17 al 19 de Noviembre. Debes comprar el transporte
en autobús. Vaya al sitio de vallarta plus
Tareas y escenarios

27. ¿Por qué 5 participantes?
*https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

28. ● Research panel - Construir su propio panel de investigación implica crear
una base de datos de posibles candidatos de investigación.
● Soporte al cliente Su equipo de atención al cliente trata con personas que
tienen mucho que decir sobre su producto a diario.
● Establecer intercepciones en vivo: Walk me, ethnio
● Use social media channels: twitter, linkedin
● Preguntar por referidos
● Meetings
● Guerrilla testing: en un café pide ayuda a cambio de invitarles un cafe
Reclutamiento

29. Usar una forma para reclutar y recabar información demográfica
Si vas a hacer una prueba remota usa calendly
Da indicaciones a los participantes información de cómo va a ser la
prueba si va a ser remota, en un laboratorio o espacio determinado,
moderada o sin moderar.
Recluta algunas participantes de más, es común que cancelen algunos
Reclutamiento tips

30. Presupuesto
Enlistar los
recursos que se
tienen
Desglose de
costos
operativos/admin
y de producción
Evaluar
proveedores

31. Forma de consentimiento
Guión de la prueba
Checklist de tareas
No olvides

32. Ejecutar

33. ● Cállate y escucha
● Haz una o varias pruebas de la prueba
● Tener un plan de emergencia
● No espere hasta que haya probado a todos los usuarios antes de informar
sobre los problemas
● Moderador y Tomador de notas roles separados
● No guíes a los usuarios
● Sobresalta las partes positivas
Moderar una prueba recomendaciones

36. Está planeando un viaje de fin de semana a la playa con tus amigos a
Puerto Vallarta, del 17 al 19 de Noviembre. Debes comprar el transporte
en autobús. Vaya al sitio de vallarta plus
Escenario

37. Herramienta utilizada

38. Configurar cuenta de en lookback
● Participante: https://participate.lookback.io/QpF2j9?live
● Observador:
https://lookback.io/contractroom-3/prueba-de-usabilidad
2 voluntarios:
● Persona que me ayude a tomar notas
● Otro que haga la tarea
Actividad

39. Reporte

40. Registro de datos

41. Incluir el plan que se creó junto con el reporte
Hacer una presentación a todos las partes interesadas donde se muestran, plan
y recomendaciones
Seguimiento de las decisiones posteriores en relación a la investigación
Recomendaciones

42. Cierre

43. Measuring the User Experience: Collecting, Analyzing, and
Presenting Usability Metrics
by William Albert and
Thomas Tullis

44. https://www.digitalsummit.mx/

45. Gracias
@carluxdsn
carlos elias ochoa
carlos.ochoa.uxnights@gmail.com