Usabilidad, ux … cómo lo medimos?

Usabilidad, UX …
¿cómo medimos?
Universidad AUTÓNOMA de Occidente
Cali, Colombia
Toni Granollers (julio, 2015)

Usabilidad
Interfaz Amigable
User Friendly
User eXperience
Factores humanos
Accesibilidad
……
Usabilidad, UX … ¿cómo medimos? [T. Granollers - UAO, Cali, 2015] 2 / 60

Pero
Qué pasaba hace
tan solo unos
años?

Usaqué ?
2000 2013

Índice
• Contextualización
• Usabilidad
• UX
• HCI / IPO
• Medición de la usabilidad
• a partir de los atributos que la definen
• System Usability Scale (SUS)
• Medición del componente emocional

Evolución de las TICs
1981

1983: 400 computers on the #internet.
Today: one billion + (plus smart phones!)
http://vimeo.com/album/3096607/video/110794988

Usabilidad
• Definición “coloquial” [J.
Preece, 1994]
• Sistemas fácilesde usar y de aprender
• Definición formal [ISO 9241-11]
• la medida en la que un producto se puede usar
por determinados usuarios para conseguir
objetivos específicos con efectividad, eficiencia y
satisfacción en un contexto de uso especificado”

Usabilidad
USABILIDAD
EFECTIVIDAD
EFICIENCIASATISFACCIÓN

Dimensiones de la usabilidad
EFECTIVIDAD
puede ser medida o
evaluada por
observación del usuario
mientras realiza tareas
de interacción y se
puede medir mediante
métodos tradicionales
indica la
usabilidad
percibida o
satisfacción de
uso, y es difícil
de entender y
de medir
Usabilidad OBJETIVA o
inherente
Usabilidad SUBJETIVA
o aparente

Usabilidad en Objetos cotidianos
Los objetos bien diseñados son
fáciles de interpretar y de
comprender.
Los objetos mal diseñados pueden
ser difíciles de utilitzar y frustran al
usuario

No confundir usabilidad con otros
atributos de la interfaz de usuario (UI)
http://www.awwwards.com
The awards for design, creativity and innovation on the Internet

User
eXperience

Car UX
http://www.teslamotors.com/models/photo-gallery

UI UX

UX design is about usability
submit
submit
vs
UI design
Function:
it works
submit
vs
Usbility design
Action: it works WELL
cancel
submit cancel
Yes, complete my order
UX design
Emotion: it works well and makes
me say Wow!
No, thanks

User Experience Honeycomb
Peter Morville
http://www.pageportfolio.net/2013/05/31/ux-services-i-provide

Experiencia de usuario
User eXperience (UX)
“La experiencia de usuario atiende a todos los factores,
tanto internos como externos del usuario y del sistema
interactivo, que causen alguna sensación a quien esté
utilizando un sistema interactivo concreto en un
determinado contexto de uso.”
• Is a “consequence of the presentation, functionality, system
performance, interactive behaviour, and assistive
capabilities of the interactive system”
• It includes aspects such as human factors, design,
ergonomics, HCI, accessibility, marketing as well as usability
http://usabilitygeek.com/the-difference-between-usability-and-user-experience

Human-Computer Interaction (HCI)
Interacción Persona-Ordenador (IPO)
• Disciplina relacionada con
el diseño, implementación
y evaluación de sistemas
informáticos interactivos
para el uso de personas y
con el estudio de los
fenómenos más
importantes con los que se
relaciona
[ACM SIGCHI curriculla, 1992, p 6]
http://sigchi.org

Índice
Contextualización
Usabilidad
UX
HCI / IPO
• Medición de la usabilidad
• a partir de los atributos que la definen
• System Usability Scale (SUS)

Los humanos
tenemos la
necesidad de
medirlo todo

Fuente. http://www.cida.ve/cida_home/index.php?option=com_content&view=article&id=601:-el-cida-promueve-proyecto-eratostenes-america&catid=1:ultimas-noticias&Itemid=54

pero .... ¿cómo
medimos la
usabilidad y/o la
UX ?

Medición de la Usabilidad
• Inicialmente, la medición de la usabilidad
SOLO estaba enfocada a la efectividad y a
la eficiencia
• did people reach the right conclusion with a
minimum expenditure of effort and as few
mistakes as possible?
• effectiveness and efficiency were key to the
safety of industrial processes, or decisions
with potentially serious consequences.
mitad
80’s

• Posteriormente, especialmente desde la
emergencia de la ofimática, las opiniones de
lo susuarios finales adquiren relevancia
• If a system gained a reputation for being difficult
to use, that often led to greater requirements for
support (and consequent costs), both within the
organization deploying the system, and for the
vendor of the system, and potentially had a
major influence on initial decisions to purchase
the system
• Surge la necesidad de medir las opiniones
subjetivas sobre el uso de un sistema
mitad
90’s

• No concreta sobre la usabilidad, solo que
algo es usable si es apropiado en
su contexto de uso
ISO
9241
part 11
El contexto incluye:
• Las tareas
• El backgroud
• La experiencia del usuario
• El entorno

Unix shell command line interface
es
usable
esta interfaz?
Fuera de su contexto
(mediados 70’s, para ingenieros y
científicos que manipulaban
expresiones simbólicas)
NO

USABILIDAD
EFECTIVIDAD
si la gente puede completar sus
tareas y alcanzar sus metas
el grado en que
se consumen los
recursos en la
consecución de
sus objetivos
el nivel de
comodidad que
experimentan en
el logro de esos
objetivos

EFECTIVIDAD
• Atributo definido en función de las
TAREAS por las cuales un sistema es
utilizado
• Expresado en términos de recursos
utilizados o en actividad no productiva
(cómo en solucionar errores), TIEMPO.
EFICIENCIA
Parámetros relativamente
fáciles de medir

SATISFACCIÓN
• Expresado en términos de OPINIONES
subjetivas de un conjunto de usuarios.
• Condicionado por:
• Conocimiento de otros sistemas (comparación)
• Cada uno tiene su percepción personal
• Estado anímico/emocional (una misma persona
puede dar opiniones diferentes sobre un mismo
sistema)
• Tiempo de medición
Parámetro altmente
difícil de medir

SYSTEM USABILITY SCALE (SUS)
The System Usability Scale (SUS) was released by John Brooke in 1986
Una “vieja” herramienta muy actual y con mucho recorrido
Font:https://www.measuringu.com/blog/10-things-SUS.php

System Usability Scale (SUS)
• A tool that would allow us (usability analysts) to take
a quick snapshot of people’s satisfaction
with using the systems that we were asking them to
use, and that we could use as a yardstick to
compare one system with another or to compare a
new version of a system with an earlier incarnation.
Es este atributo más importante que los anteriores?
Seguramente NO, pero las evaluaciones
subjetivas suelen ser determinantes a la hora de
recomendar un sistema a otras personas.

SUS: contexto
• Vax/VMS system by Digital Equipment
Corporation (DEC), in the mid-1970s
This was not a very exciting system from a
user interface design point of view, having
a menu interface on VT100 terminals.
However, we also worked on a number of
other products that were very much on
the cutting edge of technology at the time,
such as DECtalk Mail Access, which used
the DECtalk text-to-speech synthesizer (the
voice synthesizer used by Stephen Hawking
sounds pretty much identical to DECtalk’s
“Perfect Paul” voice) to read your ALL-IN-1
emails over the phone when you were out
on the road—pretty new and exciting stuff
for 1984.

System Usability Scale (SUS)
• Un cuestionario de tan solo 10 preguntas:
1. I think that I would like to use this system frequently.
2. I found the system unnecessarily complex.
3. I thought the system was easy to use.
4. I think that I would need the support of a technical person to be able
to use this system.
5. I found the various functions in this system were well integrated.
6. I thought there was too much inconsistency in this system.
7. I would imagine that most people would learn to use this system very
quickly.
8. I found the system very cumbersome to use.
9. I felt very confident using the system.
10.I needed to learn a lot of things before I could get going with this
system.

SUS: Puntos importantes
• Alternancia de ítems para evitar distorsión en las
respuestas.
• El cuestionario invita a responder rápidamente,
aunque la alternancia de respuestas negativas con
positivas fuerza al usuario a leer con mayor atención
para responder si estan o no de acuerdo con cada
pregunta
“all-positive” SUS version
Sauro. J., & Lewis, J. (2011). When designing usability questionnaires, does
it hurt to be positive? Proceedings of the Conference in Human Factors in
Computing Systems (CHI 2011). Vancouver, BC, Canada: ACM.

# All Positive SUS Originial SUS
1 I think that I would like to use the website
frequently.
I think that I would like to use this system frequently.
2
I found the website to be simple. I found the system unnecessarily complex.
3
I thought the website was easy to use. I thought the system was easy to use.
4
I think that I could use the website without the
support of a technical person.
I think that I would need the support of a technical person
to be able to use this system.
5 I found the various functions in the website were
well integrated.
I found the various functions in this system were well
integrated.
6 I thought there was a lot of consistency in the
website.
I thought there was too much inconsistency in this system.
7 I would imagine that most people would learn to use
the website very quickly.
I would imagine that most people would learn to use this
system very quickly.
8
I found the website very intuitive. I found the system very cumbersome to use.
9
I felt very confident using the website. I felt very confident using the system.
10 I could use the website without having to learn
anything new.
I needed to learn a lot of things before I could get going
with this system.
Font: http://www.measuringu.com/positive-negative.php

SUS: Utilización
• SUS se utiliza generalmente
• después de que un usuario ha tenido la oportunidad de
utilizar un sistema y
• antes de que cualquier informe o discusión tenga lugar.
• Se solicitará a los usuarios el registro inmediato de su
respuesta a cada punto, sin dar lugar a pensar o
reflexionar sobre los mismos.
• Todos los puntos han de ser comprobados.
• Si el usuario no se siente capaz de responder a alguna
cuestión en particular, deberá señalar el valor central de la
escala.

SUS: Utilización
• Puntuación de la escala SUS
• Escala tipo Likert que genera un único número que
representa una medida compuesta de la usabilidad
del sistema global sometido a estudio:
Para equiparar las
valoraciones
positivas con las
negativas
a) Preguntas POSITIVAS (1, 3, 5, 7 y 9), la
contribución será el valor de la escala
menos 1
b) Preguntas NEGATIVAS (2, 4, 6, 8 y 10), la
contribución será 5 menos el valor de la
escala.
c) Finalmente, se multiplica la suma de los
resultados por 2.5 para obtener el valor
global del SUS
Para obtener
un valor entre
0 y 100

SUS: Interpretación
CUIDADO
el valor de la escala
NO debe interpretarse
cómo un valor porcentual
(porcentaje de usabilidad
del sistema evaluado)
Figure. Grade rankings of SUS
scores from “Determining What
Individual SUS Scores Mean:
Adding an Adjective Rating
Scale,” by A. Bangor, P.T. Kortum,
and J.T. Miller, 2009,
Journal of Usability Studies, 4(3),
114-123
Figura obtenida
tras valorar más de
3,500 test de SUS

SUS: Interpretación
Figure. Percentile rankings of SUS scores from “A
Practical Guide to the System Usability Scale:
Background, Benchmarks, & Best Practices,” by J.
Sauro, 2011, Denver, CO: Measuring Usability LLC
… pero si cómo
un percentil

SUS: Ejemplo
1 2 3 4 5
1 Creo que me gustará visitar con frecuencia este website 5 4
2 Encontré el website innecesariamente complejo 4 1
3 Pensé que era fácil utilizar el website 2 1
4 Creo que necesitaría del apoyo de un experto para recorrer el website 1 4
5 Encontré las diversas posibilidades del website bastante bien integradas 2 1
6 Pensé que había demasiada inconsistencia en el website 3 2
7 Imagino que la mayoría de las personas aprenderían muy rápidamente a utilizar el website 2 1
8 Encontré el website muy grande al recorrerlo 4 1
9 Me sentí muy confiado en el manejo del website 5 4
10 Necesito aprender muchas cosas antes de manejarme en el website 2 3
22
x 2,5
Positivas: valor - 1
Negativas: 5 - valor
55
Grado de aceptación BAJO
Percentil  20%

SUS: Sigue siendo válido para la
tecnología moderna
• Adaptando la terminología (web, celular,
tablet, ...) el cuestionario es totalmente
vigente
• Las preguntas no hacen referencia a la tecnología
en sí misma sino que preguntan respecto a su uso
• La ponderación de las 10 respuestas proporciona
una medida genérica de la usabilidad percibida.
Pero NO deben tomarse cómo la ÚNICA MEDIDA
de usabilidad
siempre fue así …
SUS is pretty much
technology-neutral

SUS: comparativa
“A Comparison of Questionnaires for Assessing
Website Usability,” by T. S. Tullis and J. N. Stetson,
2004, Proceedings of UPA 2004 Conference
SUS enables you to get a
measure of the
perceived usability of a
system with a
small sample
(say, 8-12 users)
• SUMI, Software Usability
Measurement Inventory
• WAMMI, Website Analysis and
MeasureMent Inventory
• QUIS, Questionnaire for User
Interaction Satisfaction
• UEQ, User Experience
Questionnaire

SUS: conclusiones
• Fiable. Los usuarios responden de forma consistente y ha
demostrado su utilidad para tamaños de muestra más pequeños
que otros cuestionarios.
• Válido. Es decir, se mide lo que pretende medir.
• No es un diagnóstico. No dice lo que hace que un sistema sea
usable o no.
• El valor NO es porcentaje. Aunque pueden interpretarse cómo
percentiles.
• El valor SUS tiene muy poca relación con el desempeño o el
rendimiento de las tareas,
• por lo que no es de extrañar que las evaluaciones subjetivas de las
personas pueden no ser compatibles con si o no tuvieron éxito usando
un sistema.
• Las evaluaciones subjetivas de la usabilidad son sólo un componente
de la construcción general de la usabilidad.

Índice
Contextualización
Usabilidad
UX
HCI / IPO
Medición de la usabilidad
a partir de los atributos que la definen
System Usability Scale (SUS)

Medición del componente
EMOCIONAL de la UX
PANAS, Positive and Negative
Affect Scale
Escala de afecto positivo y
negativo (1988)

EMOCIONAL de la UX
PrEMO (2004)
Emocards (2001)
LemTool (2013)
GEW (2012)

EMOCIONAL de la UX
GEW+ (2015)

EMOCIONAL de la UX
Emotiv EPOC

... Para FINALIZAR un ejemplo
Liquid Galaxy
Space Navigator

Conclusión
• Tras una contextualización a los conceptos de
básicos del “mundo HCI” (cómo son Usabilidad y
UX),
• he dedicado la mayor parte de mi charla a insistir
en la “Medición de la usabilidad”,
• centrando mi exposición en el método
largamente utilizado y totalmente válido
actualmente System Usability Scale (SUS), y
• en cómo medir del componente emocional de la
UX

SUS: Bibliografia
“A Practical Guide to the
System Usability Scale:
Background,
Benchmarks & Best
Practices”
Jeff Sauro
2011
“Quantifying the User
Experience: Practical
Statistics for User
Research”
Jeff Sauro
2012
“Excel and R Companion to
Quantifying the User
Experience: Rapid Answers
to over 100 Examples and
Exercises”
James R Lewis & Jeff Sauro
2012
“Measuring the User
Experience: Collecting,
Analyzing, and Presenting
Usability Metrics
(Interactive Technologies)
2nd Edition”
William Albert & Thomas Tullis
2013

SUS: Bibliografia
• Measuring Usability with the System Usability Scale (SUS),
Jeff Sauro
• http://www.measuringu.com/sus.php
• “Determining What Individual SUS Scores Mean: Adding
an Adjective Rating Scale,” by A. Bangor, P.T. Kortum, and
J.T. Miller, 2009, Journal of Usability Studies, 4(3), 114-123
• Brooke, J. SUS: A Retrospective, by John Brooke. Journal of
Usability Studies. Vol. 8, Issue 2, February 2013 pp. 29-40
• http://uxpajournal.org/sus-a-retrospective

Gracias por su
atención !!!
Toni Granollers
Escola Politècnica Superior
Universitat de Lleida (UdL)
C/ Jaume II, 69
25001 – Lleida (Catalonia)
(+34) 973 702750
antoni.granollers@udl.cat
@DCU_MPIUA
slideshare.net/DCU_MPIUA


@

Usabilidad, ux … cómo lo medimos?

Recomendados

Recomendados

Más contenido relacionado

Similar a Usabilidad, ux … cómo lo medimos?

Similar a Usabilidad, ux … cómo lo medimos? (20)

Más de DCU_MPIUA

Más de DCU_MPIUA (20)

Último

Último (20)

Usabilidad, ux … cómo lo medimos?

Notas del editor