6. Evaluación

EVALUACIÓN
Grau en Enginyeria Informàtica
Interacció Persona-Ordinador
Toni Granollers
http://www.grihotools.udl.cat/mpiua/fases-
mpiua/evaluacion
How to Identify
the Best Design
Problems ?
El Curso de Interacción Persona-Ordenador ha sido realizado
por Toni Granollers bajo la licencia Creative Commons
Reconocimiento-NoComercial 4.0 Internacional License.

Evaluación
• La evaluación es una parte básica de un diseño de un
sistema centrado en el usuario.
• Permite conocer el grado de cumplimiento de las
expectativas de los usuarios de un terminado sistema
interactivo, así como si éste se adapta a su contexto
social, físico y organizativo.
• Vamos a conocer diferentes métodos de evaluación y
como se realizan, donde, como hacerlos y como analizar
sus resultados.
Evaluación - GEInformàtica, IPO 2 / 111

• Saber qué es la evaluación de la usabilidad de los
sistemas interactivos.
• Distinguir las diferentes clasificaciones en que
pueden agruparse los diferentes métodos a juzgar
por sus características, y finalmente.
• Conocer los diferentes métodos de evaluación y
sus diferencias.
• Introducir ejemplos de uso que proporcionan una
visión del escenario de aplicación de los métodos de
evaluación.
Evaluación. Objetivos

Índice
• Evaluación, conceptos preliminares
• Evaluación de la USABILIDAD
• Métodos de evaluación por INSPECCIÓN
• Métodos de evaluación por INDAGACIÓN
• Métodos de evaluación por TEST
• Laboratorio de Usabilidad
http://www.interaction-
design.org/encyclopedia/usability_evaluation.html
http://www.grihotools.udl.cat/mpiua/fases-
mpiua/evaluacion

Modelo de proceso
Diseño centrado en el usuario
• Tipologías:
• Automáticos/Manuales
• CON/SIN usuarios
• Laboratorio/In situ
• Inspección/Indagación/Test
http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion

•Automáticos:
• Realizar tests remotamente a través de la red de Internet. Que son
los que disponen de mecanismos (hardware y/o software) que
facilitan la comprobación de los aspectos a validar.
• Los métodos automáticos resultan altamente eficientes puesto que
se realizan muy rápidamente y los resultados siempre provienen
de los mismos parámetros, sin apreciaciones subjetivas.
• El principal problema está en que siempre se basan en sistemas
ya finalizados (o versiones preliminares de lanzamiento) y no
pueden utilizarse en etapas tempranas del ciclo de vida del
desarrollo.
• Solo suelen dar resultados cuantitativos
• Manuales
Evaluación. Automatización

• Automáticos
• Manuales:
• Al contrario de los métodos anteriores están los métodos que no
disponen de mecanismos que automaticen su realización.
• Consumen más recursos: tiempo, evaluadores,…, pero pueden
evaluar aspectos que se “salen del patrón” y pueden realizarse en
cualquier etapa del desarrollo y con cualquier tipo de prototipo.
• Tienen la virtud de que aportan resultados cualitativos
Evaluación. Automatización

• CON usuarios y/o implicados
• Las personas u organizaciones que serán afectadas por el
sistema y que tienen influencia directa o indirecta en los
requisitos del sistema.
• Recordar el módulo del Análisis de Requisitos.
• Son los métodos en los que se evalúa el sistema con la
intervención directa de usuarios representativos, pudiendo
también participar en las sesiones personas que sin ser
usuarios finales tienen la condición de implicados del
sistema.
• Estos métodos resultan muy positivos por implicar la
participación de usuarios en el proceso de diseño pero
dificultan, en parte, el proceso debido a que no siempre
resulta fácil reclutar usuarios para este tipo de actividades.
• Métodos sin usuarios y/o implicados
Evaluación. ¿Quién interviene?

• Con usuarios y/o implicados
• Métodos SIN usuarios y/o implicados
• Estos métodos los realizan solo expertos evaluadores con la ayuda
de guiones, pautas o documentos que permiten hacer un
seguimiento de los que han hecho los usuarios mientras utilizaban
el sistema.
• Igual que pasaba con los métodos automáticos se realizan muy
rápidamente pero carecen de la realimentación que evaluar con
usuarios aporta al sistema.
Evaluación. ¿Quién interviene?

Evaluación. Estilo
• Laboratorio (de usabilidad)
• El objetivo del evaluador, a veces, es comprobar aspectos sin que
precise la ayuda de los usuarios
• Este tipo de comprobaciones las realiza, normalmente, en su
entorno de trabajo o sea en el laboratorio, dónde, puede además
traer usuarios para un estudio particular
• Entorno (in situ)
• Entorno natural o habitual del escenario dónde se realizan las
tareas a evaluar
• Esta situación se produce cuando el evaluador realiza su trabajo
en el lugar natural dónde se realiza la escena, el lugar de trabajo
habitual del usuario

• Según la forma de realización y el tipo de
participantes, la evaluación de la usabilidad se clasifica
de la siguiente forma:
• Métodos por Inspección
• Métodos por Indagación
• Métodos por Test
Evaluación. Clasificación

Índice
Evaluación, conceptos preliminares
Evaluación de la USABILIDAD
• Métodos de evaluación por INSPECCIÓN

Evaluación. Clasificación
• Inspección
• El término inspección aplicado a la usabilidad aglutina un conjunto
de métodos para evaluar la usabilidad en los que hay unos
expertos conocidos como evaluadores que analizan y explican el
grado de usabilidad de un sistema basándose en la inspección o
examen de la interfaz del mismo.
• Salvo excepciones, no intervienen usuarios de forma directa.
• Existen varios métodos que se enmarcan en la clasificación de
evaluación por inspección
• Los más importantes son:
• Heurística
• Recorridos cognitivos
• Recorrido de usabilidad plural
• Revisión de Estándares

Evaluación Heurística
• La comunidad IPO presenta a la Evaluación
Heurística como
• un método de evaluación de la usabilidad
• por inspección
• que debe ser llevado a cabo por evaluadores expertos
• a partir de unos principios (denominados “heurísticos”)
previamente establecidos.
• Objetivo
• medir la calidad de la interfaz de un sistema interactivo en
relación a su facilidad para ser aprendido y usado por un
determinado grupo de usuarios en un determinado contexto
de uso.
http://www.grihotools.udl.cat/mpi
ua/evaluacion-heuristica-2

Evaluación Heurística. Método
• Analizar la conformidad de la interfaz con unos principios reconocidos de
usabilidad (la “heurística”) mediante la inspección de varios evaluadores
expertos
[Molich y Nielsen, 1990]
• Suele partirse de una “lista de principios preestablecida” … pero la
lista se confecciona/adapta de forma individual para cada nuevo
ejercicio
• Adecuación de cada criterio que se utilizará al contexto de uso del
sistema que se desea evaluar
• Algunos problemas de usabilidad son muy fáciles de encontrar, pero hay
también problemas difíciles de detectar
• Se utilizan expertos para validar la interfaz porque es difícil que el
desarrollador o un evaluador puedan encontrar todos los problemas de
usabilidad en una interfaz, a partir de unos criterios definidos

Evaluación Heurística. Método
• 1º: preparación: el responsable
• Determina la lista de criterios a evaluar. Puede contar con el asesoramiento de expertos
• Selección de los evaluadores
• 2º Evaluación:
• Cada evaluador realiza individualmente una revisión de la interfaz
• Al terminar las evaluaciones se permite a los evaluadores comunicar los resultados y
sintetizarlos
• 3º Síntesis Final:
• Análisis de resultados de una Evaluación Heurística
• IMPORTANTE: asegurar evaluaciones independientes e imparciales de cada
evaluador
• RECOMENDABLE: Registrar los resultados con informes escritos de cada
evaluador o haciendo que los evaluadores comuniquen verbalmente sus
comentarios a un observador mientras realizan la evaluación

• El estado del sistema ha de estar siempre visible
• Se ha de utilizar el lenguaje de los usuarios
• El usuario tiene control y libertad
• Hay consistencia y se siguen estándares
• Existe prevención de errores
• Se minimiza la carga de la memoria del usuario
• Existe flexibilidad y eficiencia de uso
• Los diálogos son estéticos y diseño minimalista
• Al utilizar la ayuda, se reconocen, diagnostican, y se
recuperan
• Existe ayuda y documentación
Evaluación Heurística.
10 reglas heurísticas (de Nielsen & Molich)
http://www.useit.com/papers/heuristic/heuristic_list.html
[Nielsen y Molich]

Evaluación heurística.
Las 8 reglas de oro de Ben Schneiderman
• Esforzarse por la consistencia
• Crear atajos para los usuarios frecuentes
• Ofrecer feedback
• Diseñar el diálogo para mostrar trabajo pendiente
• Ofrecer una gestión sencilla de los errores
• Permitir una fácil recuperación de acciones
• Soportar el control por el usuario
• Reducir la carga de memoria reciente en el usuario
https://www.cs.umd.edu/users/ben/goldenrules.html

• 1994, L. Constantine
• 1996, K. Instone.
• Informe técnico “Usability Engineering on the Web”
• 1999, D. Mayhew
• Principios para el
Diseño de Sistemas DCU
• 2002, J. Nielsen y M. Tahir
• Principios para la evaluación
de páginas de inicio
• 2003, Tognazzini
• Principios básicos para el diseño de una interfaz
• http://galinus.com/es/articulos/principios-diseno-de-interaccion.html
Otras listas de principios heurísticos

Otras listas de principios heurísticos
• En la actualidad se utilizan todo tipo de fuentes, como
por ejemplo los “principios de diseño” de los
desarrolladores de APPs para dispositivos móviles
https://developer.apple.com/library/ios/documentation/Us
erExperience/Conceptual/MobileHIG/Principles.html
http://developer.android.com/design/get-
started/principles.html

• Lista desarrollada por Deniese Pierotti y utilizada por la empresa Xerox
Corporation para evaluar la usabilidad de interfaces norteamericanas
orientadas a la web
• Principios de Molich y Nielsen ampliados con tres heurísticos y muchos
subheurísticos
11. Habilidades: el sistema debería tener en cuenta, extender, suplementar e
incentivar las habilidades del usuario, sus conocimientos y su experticia.
12. Interacción con el Usuario Placentera y Respetuosa: las interacciones
de los usuarios con el sistema deben favorecer la calidad de su vida. El
usuario debe ser tratado con respeto. El diseño debe ser estético y
placentero, en donde los valores artísticos se igualen a los valores
funcionales.
13. Privacidad: el sistema debe ayudar al usuario a proteger la información
personal o privada, tanto la que pertenece al propio usuario como la que
pertenece a los clientes del usuario.
http://www.stcsig.org/usability/topics/articles/he-checklist.html
“Personalización” de los principios

• Coste-beneficio en
relación a la cantidad
de evaluadores
necesarios para llevar
a cabo una EH.
• J. Nielsen, “How to Conduct a Heuristic Evaluation”
• http://www.useit.com/papers/heuristic/heuristic_evaluation.html
Evaluación heurística. Preparación
Selección de los evaluadores

Evaluación heurística. Revisión
Proyecto: WEB de Els Infants de la Paeria de Lleida evaluador:
4. Control y libertad para el usuario
Sub heurísticos
Impacto Frecuencia Persistencia
a) Es posible deshacer una acción siempre que sea una operación funcional y
operativa. 3 MEDIA
b) En caso de un proceso de diversos pasos, es posible volver a pasos anteriores
del proceso para modificarlos. 3 MEDIA
c) Existe una salida de la página, del proceso o de la estructura de información
mediante acciones tipo "Desconectar" o "Cancelar". 1
d) Se inician de manera automática acciones que el usuario no ha solicitado
explícitamente. 0
e) Se utilizan animaciones no controladas por el usuario. 1
f) El scroll no ocupa más de dos pantallas. 0
g) Es posible guardar información. 1
h) Es posible imprimir la información sin perder información.
i) Existe un vínculo que permite volver al inicio de la aplicación. 0
j) Es posible aumentar y disminuir el tamaño de la letra. 1 ALTA
k) El sistema se visualiza perfectamente utilizando diferentes resoluciones de
pantalla. 0
l) La interfaz no introduce tecnologías que requieren versiones actualizadas de
elementos externos (navegadores, plugs-ins, DLL's,…). 1
notas del evaluador:
a) cuando pulsas en la opción de enviar no hay la posibilidad de cancelar. Lo envia y ja está.
b) cuando pulsas en la opción de enviar no hay la posibilidad de cancelar. Lo envia y ja está.
c)
d)
e) si, en el banner informativo
f)
g)
h) cuando he impreso toda la banda inferior se ha girado!!
i)
j)
k)
l) Si necesita el plug-in del Macromedia Flash, pero es muy habitual.
Los usuarios eligen a veces funciones del sistema por error y necesitan a menudo una salida de emergencia
claramente marcada, esto es, salir del estado indeseado sin tener que pasar por un diálogo extendido. Es
importante disponer de deshacer y rehacer
Marta Gonzalez

Evaluación heurística. Revisión
• Entrenamiento previo a la evaluación
• Conocimiento del tema e información para los evaluadores
• Si el interfaz es del tipo de "llegar y usar" los evaluadores no
necesitan esta introducción
• Evaluación propiamente dicha
• Factores a valorar para cada principio
• Forma de “puntuar” cada factor
• Discusión
• Puesta en común de las evaluaciones parciales.
• Este punto puede considerarse el último paso de la revisión
o el primero de formar parte de la síntesis final

• Cuantitativo
• Herramientas como la Estadística
• Gráficos y funciones matemáticas de
• los resultados obtenidos por un solo evaluador (“sumativa”)
• los resultados obtenidos por diferentes evaluadores (“comparativa”)
• Ayudan a resumir de manera clara y precisa la ponderación de
cada una de las preguntas
• Cualitativo
• Herramientas como las Técnicas del Descubrimiento de
Conocimiento en Base de Datos (Datamining)
• Hallar de manera algorítmica (imparcial y objetiva) patrones de
comportamiento desconocidos y potencialmente útiles presentes
en los datos
Síntesis: Análisis de resultados

Evaluación heurística. Síntesis
• Documento formal de la evaluación
• Prestar especial atención
• a los comentarios añadidos por los evaluadores
• a principios “echados en falta” con la finalidad de
inspeccionar correctamente la interfaz
• Algunos autores sugieren que es conveniente enviar
un cuestionario a los evaluadores para recoger los
grados de la severidad
• enumerando completamente el sistema según los problemas
de usabilidad que se han descubierto, y pidiendo que
clasifiquen la severidad de cada problema.

• Guían a los diseñadores durante el proceso de
diseño
• Ayudan a los evaluadores a identificar problemas en
las interfaces de usuario, comprobando que se
respetan las reglas de usabilidad
• Explican
• problemas de usabilidad observados
• porqué los usuarios cometen determinados errores
Evaluación heurística
Los Principios Heurísticos, además …

• Económica
• Intuitiva y motivación fácil
• Poca planificación previa
• Utilizable en etapas
tempranas
• Menor tiempo que los tests de
laboratorio
• Realizable por evaluadores
“inexpertos” !!!
• Se necesitan varios
evaluadores
• Difícil de realizar en interfaces
complejas
• Subjetividad de los diferentes
evaluadores
• Puede tender a reportar falsas
alarmas
• Falta de usuarios reales
• Los evaluadores “expertos”
detectan un número más alto
de problemas de usabilidadhttp://www.usabilitybok.org/methods/p275
Ventajas Inconvenientes

• La Interacción Persona-Ordenador
• Capítulo: “Evaluación Heurística”
• http://aipo.es/content/el-libro-electr%C3%B3nico#evaluacion_heuristica
• How to Conduct a Heuristic Evaluation
• http://www.useit.com/papers/heuristic/heuristic_evaluation.html
• http://en.wikipedia.org/wiki/Heuristic_evaluation
• GRIHO’s excel sheet to conduct Heuristic Evaluations
• http://www.grihotools.udl.cat/mpiua/wp-
content/uploads/2014/07/EvaluacionHEURISTICA.zip
• Nuevo: http://ixdchecklist.com

• Evalúa la facilidad de aprendizaje
• Está basado en los recorridos estructurales de la
ingeniería de software
• Evalúa una propuesta de prototipo de interfaz en el
contexto de una o más tareas
• Es idónea en la etapa de diseño, pero se puede aplicar
en el resto de etapas
Recorrido cognitivo. Cognitive Walkthrough

Recorrido cognitivo. PASOS
• 1.- Definición de los datos necesarios para el recorrido:
• identificar y documentar las características de los usuarios
• ¿Quiénes serán los usuarios del sistema?
• La descripción incluirá la experiencia específica acumulada y el
conocimiento adquirido como factores determinantes para la
comprobación del factor "cognitivo" durante el recorrido.
• descripción del prototipo a utilizar para la evaluación
• no es preciso que sea ni completo ni detallado
• especificar el/los escenario/s concreto/s
• enumerar las tareas concretas a desarrollar.
• Para cada tarea
• se implementa por escrito la lista íntegra de las acciones necesarias para
completar la tarea con el prototipo descrito.
• esta lista consta de una serie repetitiva de pares de acciones (del usuario) y
respuestas (del sistema).

• 2.- Recorrer las acciones
• Los evaluadores realizan cada una de las tareas determinadas
anteriormente siguiendo los pasos especificados y utilizando el
prototipo detallado.
• En este proceso, el evaluador utiliza la información del factor
cognitivo (experiencia y conocimiento adquirido) de los usuarios
para comprobar si la interfaz es adecuada para el mismo.
a partir de los perfiles de usuario y de los modelos mentales
• ¿Son adecuadas las acciones disponibles de acuerdo a la experiencia y
al conocimiento del usuario?
• ¿Percibirán los usuarios que está disponible la acción correcta?
• Una vez encontrada la acción en la interfaz, ¿asociarán estos usuarios
la acción correcta al efecto que se alcanzará?
• Una vez realizada la acción, ¿entenderán los usuarios la realimentación
del sistema?.

• 3.- Documentar los resultados
• El evaluador describe para cada acción las respuestas del sistema
y sus anotacionesprópias .
• El documento incluye el Usability Problem Report Sheet
• los aspectos negativos de la evaluación relacionándolos con un grado
de severidad que permita distinguir aquellos errores más perjudiciales
de los que no lo son tanto.
• Algunos autores/evaluadores/expertos sólo consideran importante esta
parte de la documentación, pues contiene los problemas a solucionar.

• Estudio de un caso
• Una persona con discapacidad visual deberá encontrar un local
social correspondiente a una vivienda con una dirección concreta
Recorrido cognitivo

Recorrido usabilidad plural
• Tres tipos de participantes, usuarios representativos, desarrolladores
y expertos en usabilidad
• Las pruebas se realizan con prototipos de papel u otros materiales
utilizados en escenarios.
• Cada participante dispone de una copia del escenario de la tarea con datos que se
puedan manipular
• Todos los participantes han de asumir el papel de los usuarios
• Los participantes escriben la acción que tomarán para seguir la
tarea que están realizando, escribiendo las respuestas lo mas
detalladas posibles.
• Debate final.
• En primer lugar deben hablar los usuarios representativos y una vez estos han
expuesto completamente sus opiniones, hablan los desarrolladores y después los
expertos en usabilidad.

Revisión de Estándares
• Este método se realiza por medio de un experto en un
estándar que puede ser facto o de iure de la interfaz
• Estándar de facto: link en la web
• Estándar de iure:
• ISO/IEC 25010:2011 – Quality In Use
• ISO/IEC 25010:2011 – System/software Product Quality
• El experto realiza una inspección minuciosa de la
interfaz para comprobar que cumple en todo momento y
globalmente todos los puntos definidos en el estándar

Algunos Estándares
• Iconos para MS-Windows XP
User Interface Standards. Creating W-XP Icons
Proceso de creación
Iconos en
tres tamañosconceptualización
Microsoft Surface User Experience Guidelines
https://www.microsoft.com/en-us/download/confirmation.aspx?id=19410
Design applications for the Windows desktop
https://dev.windows.com/en-us/desktop/design

Apple Icon Design Guidelines
https://developer.apple.com/library/mac/documentation/userexperience/conceptual/applehigui
delines/IconsImages/IconsImages.html#//apple_ref/doc/uid/20000967-TP6

Ejemplo
• Las guidelines de Apple recomiendan poner el botón de
aceptar después del de cancelar las de Microsoft lo
plantean en el sentido contrario.

Algunos Estándares
• AIGA: American Institute of Graphic Arts
(http://www.aiga.org)
http://www.aiga.org/content.cfm/symbol-signs

A generic File
menu
Example of a
property window
• Estándares para
Linux
Algunos Estándares
Toolbar with labels
under all buttons

Icon Type
Sizes
(pixels)
Perspectiv
e
Light
Source
Examples
Object /
Document
Icons
24x24, 48x48*, 96x96 Table Upper Left
Application
Icons
24x24, 48x48* Table Upper Left
Toolbar Icons 24x24*, 48x48 Shelf Overhead
Menu Icons 16x16 Shelf Overhead
(* denotes the primary size for this kind of icon)
Algunos Estándares
• Estándares para Linux

Algunos Estándares
• Apple Human Interface Guidelines
• http://developer.apple.com/documentation/UserExperience/Conceptual/OSXHIGuidelines/index.html

Algunos Estándares
• Estándares de Apple
A Standard Alert
Layout dimensions for a
changeable pane dialog
Alignment of labels and controls
in a preferences dialog

Algunos Estándares
• Apple releases iOS Human Interface Guidelines on
iBookstore (May 13, 2014)
https://itunes.apple.com/us/book/i
os-human-interface-
guidelines/id877942287?mt=11

Algunos Estándares
30 April 2014
https://blogs.oracle.com/usableapps/entry/general_av
ailability_simplified_user_experience
Aunque le llaman “Design Patterns”, en
realidad son las guias de estilo del diseño
de interfaces de Oracle

Guidelines que pueden servir como
standares
http://usabilitygeek.com/official-
usability-user-experience-user-
interface-guidelines-from-
companies

Índice
Métodos de evaluación por INSPECCIÓN

EVALUACIÓN
Grau en Enginyeria Informàtica
Interacció Persona-Ordinador
Toni Granollers http://www.grihotools.udl.cat/mpiua/fases-
mpiua/evaluacion
How to Identify
the Best Design
Problems ?

Índice

• Indagación
• La información acerca de los gustos del usuario,
desagrados, necesidades y la identificación de requisitos son
informaciones indispensables en una etapa temprana del
proceso de desarrollo.
• Por tanto, inicialmente, hay que descubrir y aprender, hay
que generar ideas de diseño, y va a resultar de especial
interés que las metodologías a aplicar en las primeras fase
del desarrollo, pues proporcionan información acerca de la
usabilidad de un producto que aún no se ha empezado a
fabricar.
Métodos de evaluación

• Indagación
• Estos métodos tratan de descubrir y aprender de los
usuarios, sus opiniones, desagrados, gustos, necesidades
• Tipos
• Observación de campo
• Focus Groups
• Entrevistas
• Cuestionarios
• Grabación del uso (Logging)

• Se realiza in situ, en el lugar de trabajo de usuarios
representativos
• Se les observa trabajando para entender cómo están
utilizando el sistema para lograr sus tareas y qué clase de
modelo mental tienen sobre el sistema
• Este método se puede utilizar en las etapas de la prueba
y del despliegue del desarrollo del producto
Observación de campo

• Preguntando, es decir entrevistar a los usuarios de su
trabajo y la manera como utilizan el producto.
• Observando a las personas utiliza su producto de la
manera en que lo hacen normalmente en el día-a-día
• Una manera de asegurar los datos adecuados es
identificar tantos artefactos y afloramientos como sea
posible
• Artefactos: objetos físicos en uso en el sitio (blocs de notas,
formularios, informes, espacios, paredes )
• Afloramientos: rasgos físicamente identificables que marcan o
caracterizan el sitio (tamaño de los cubículos, tamaño de las
pizarras y que es lo que está escrito en ellos, tipos de uniformes).
• Ambos términos vienen de la antropología, de ahí que
algunos denominan la observación de campo también
como observación etnográfica
Observación de campo

• El focus group o grupo de discusión dirigido es una
técnica de recolección de datos donde se reúne de
6 a 9 usuarios para discutir aspectos relacionados
con el sistema
• El moderador
• previamente, prepara la lista de aspectos a discutir, y
• posteriormente, recoger los resultados y la información de la
discusión.
• Esta técnica permite
• capturar reacciones espontáneas de los usuarios, e
• ideas que evolucionan en el proceso dinámico del grupo.
Focus Group
Grupo de discusión dirigido

Focus Group
Grupo de discusión dirigido
• Estudio de casos: Web Centro excursionista de
Lleida, Web serveis personals

Técnicas de interrogación
• Las técnicas de interrogación se basan en que la
mejor manera de saber si un sistema se adapta a los
requisitos, es interrogar al usuario. La ventaja que
ofrece este método es de tener directamente el punto
de vista del usuario y por tanto encontrar opciones
no contempladas en el diseño.
• Uno de los posibles problemas es que esta
información es subjetiva y puede ser difícil conseguir
respuestas a posibles alternativas en el diseño,
porque el usuario no tiene experiencia.
• Los dos tipos mas importantes son:
• Entrevistas y cuestionarios

• Entrevistar a los usuarios respecto de su experiencia
en un sistema interactivo resulta una manera directa
y estructurada de recoger información. Además las
cuestiones se pueden variar con tal de adaptarlas al
contexto.
• Normalmente, en una entrevista se sigue una
aproximación de arriba abajo
• Las entrevistas pueden ser efectivas para una
evaluación de alto nivel, particularmente para extraer
información sobre las preferencias del usuario,
impresiones y actitudes.
Técnicas de interrogación. Entrevistas

• Puede ayudar a encontrar problemas no previstos en el
diseño
• Para que la entrevista sea lo más efectiva posible, ha de
ser preparada con antelación, con todo un conjunto de
preguntas básicas. El revisor puede adaptar la entrevista
al entrevistado y obtener el máximo beneficio.
Técnicas de interrogación. Entrevistas

• Es menos flexible que la entrevista, pero puede llegar a
un grupo más numeroso, pero se puede analizar con más
rigor
• Se pueden realizar diferentes tipos de preguntas
Técnicas de interrogación. Cuestionarios

• Pre-test
• Información y perfil de los participantes
• Post-tarea
• Recoger opiniones y valoraciones de
cada tarea
• Post-test
• Recoger opiniones y valoraciones
despues que los participantes
completen las tareas
Premo

• Tipos de preguntas
• General
• Preguntas que ayudan a establecer el perfil de usuario y su puesto
dentro de la población en estudio
• Incluye cuestiones como edad, sexo, ocupación, lugar de residencia y
otras.
• Abierta
• Preguntas útiles para recoger información general subjetiva
• Pueden dar sugerencias interesantes y encontrar errores no previstos

• Escalar
• Nos permite preguntar al usuario sobre un punto específico en una escala
numérica
• Por ejemplo:
El diseño de los iconos es comprensible
poco 1 2 3 4 5 mucho
• Opción múltiple
• En este caso se ofrecen una serie de respuestas y se nos pide responder a
una de las opciones o a varias
¿Qué tipo de software has de utilizar?
Tratamiento de texto
Hoja de cálculo
Bases de datos
Contabilidad

• Ordenadas
• Se presentan una serie de opciones que hay que ordenar
• Ordena la utilidad de cómo ejecutar una acción:
(1 la mas útil, 2, etc, 0 si no se utiliza
Por iconos
Selección de menú
Doble clic
http://es.slideshare.net/DCU_MPIUA/user-centered-
design-interviews-surveys

• Implica disponer en el ordenador de una ampliación del
sistema que recoja automáticamente estadísticas sobre el
uso detallado del sistema
• El registro se realiza generalmente modificando los
drivers del sistema, por ejemplo del ratón o del teclado u
otras partes del sistema que permitan el registro de las
acciones del usuario o modificando la aplicación que
estamos probando
Grabación del uso (Logging)

Moviments diaris del nombre de sol∙licituds
0
1000
2000
3000
4000
5000
6000
7000
8000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
Juny
Juliol
Agost
Septembre
Octubre
Web de la infancia
196.40.43.218 - - [31/May/2002:00:11:52 +0200] "GET /faq.php HTTP/1.0" 200
25258 "http://www.google.com/search?q=comercio+electronico"
"Mozilla/4.77 [en] (Win98; U)"

• otra forma de analizar los logs
• Sólo debe copiar el código de seguimiento de Google Analytics
en cada una de las páginas de su sitio web y el seguimiento se
inicia inmediatamente.
• No debe realizar ningún proceso de compra.
• No debe descargar nada. Si no suele editar su propio sitio, su
webmaster, diseñador o proveedor de alojamiento podrán hacerlo
por usted en menos de cinco minutos.

Índice

• Test
• Usuarios representativos trabajan en tareas utilizando el
sistema (o el prototipo)
• Evaluadores analizan los resultados para ver como la
interfaz de usuario da soporte a los usuarios con sus tareas
• Tipos
• Thinking Aloud (Pensando en voz alta)
• Interacción constructiva
• Método del conductor
• Test remoto

• Consiste en que un usuario exprese en voz alta sus
pensamientos, sentimientos y opiniones mientras que
interacciona con el sistema [Lewis, 1982]
• Resultado
• Datos cualitativos que puede recoger de un numero reducido de
usuarios
Thinking Aloud. Pensando en voz alta

• Método
• Se les proporciona a los usuarios el producto que tienen que
probar (o un prototipo de la interfaz) y un conjunto de tareas a
realizar.
• Se les dice a los usuarios que realicen las tareas
y que expliquen que es lo que piensan al
respecto mientras están trabajando con la
interfaz
Thinking Aloud. Pensando en voz alta

• Derivación del método de pensando en voz alta
(thinking aloud)
• En vez de uno, dos usuarios hacen el test
simultáneamente
• Es más natural para el usuario verbalizar
conjuntamente
• La desventaja es que los usuarios puedan tener
diferentes estrategias de aprendizaje
Interacción constructiva

• Hay una interacción explicita entre el usuario que realiza
el test y el evaluador (conductor) que conduce al usuario
en la dirección correcta
• El objetivo es descubrir las necesidades de información
de los usuarios
Método del Conductor

Complementar los métodos anteriores:
Medida de Prestaciones
• Los participantes han de ser usuarios reales realizando
tareas reales
• Registrar y observar la actividad de los participantes
• Analizar los datos, diagnosticar problemas y recomendar
cambios
• Selección de las tareas
• que demuestren problemas de usabilidad
• sugeridas de la experiencia propia
• derivadas de otros criterios
• que los usuarios normalmente utilizarán con el producto

• ¿Cómo medir la usabilidad?
• Consideraremos como planificar las observaciones y medidas para
un test de usabilidad
• En primer lugar trataremos de comprender que es lo que se puede
medir:
• Medidas de rendimiento, esto quiere decir contar las acciones y los
comportamientos que se puedan ver
• Medidas subjetivas, esto quiere decir percepciones de las personas,
opiniones y juicios

• Medidas de rendimiento
• Las medidas de rendimiento son cuantitativas,
se pueden contar cuantas personas hay, cuantos
errores hacen, cuantas veces se repiten los
mismos errores
• La mayor parte de las medidas de rendimiento
requieren observaciones cuidadosas
Medir cada TAREA Excelente Aceptable Inaceptable
Tarea1
tiempo <3 min 3-5 min > 5 min
Recuperación error 0 <1 min > 1 min
ayuda en línea 1 2-3 min > 3 min
Criterios que
podemos definir
para medidas de
prestaciones
- Excelente
- Aceptable
- inaceptable

Tasca 1, 2 i 3 lliures
Tasca 4, 5 i 6 obligant a utilitzar un assistent virtual

RESULTADOS
• Los Resultados de los tests tendrán:
• Una lista de problemas que han ido creciendo durante la
realización del test
• Datos cuantitativos
• de tiempo, errores y otras medidas de rendimiento
• de valoraciones subjetivas y otras cuestiones de cuestionarios post-
tasca y post-test
• Comentarios de los participantes de las grabaciones y de
los cuestionarios
• Las notas escritas del equipo de test o sus comentarios
que pueden ser grabados
• Datos cualitativos generales de los participantes, de sus
perfiles o de cuestionarios de pretest
• (opcional) Las grabaciones de vídeo, presentando
diferentes vistas del test

Can You
Measure Experience?
https://www.interaction-design.org/ux-
daily/577/how-do-you-measure-the-ux-of-design

Índice
Métodos de evaluación por INDAGACIÓN
Métodos de evaluación por TEST

Laboratorio de usabilidad
…………..

• Observación de la Experiencia del Usuario
• Un laboratorio de usabilidad es un espacio especialmente
adaptado para la realización de pruebas de evaluación de la
usabilidad
• En el se registran y analizan las interacciones que los usuarios
realizan mientras utilizan el sistema o producto a analizar
• Para ello es necesario disponer de equipamiento específico
• Instalaciones adecuadas a las actividades que se van a realizar
en condiciones lo menos intrusivas posibles para el usuario 
simular las condiciones reales de la interacción
• Software especializado
• Personas bien formadas

• Diversidad de productos y servicios
• Diversidad de usuarios finales
• entre los que se pueden encontrar personas de edad avanzada y
personas con discapacidad
• Un laboratorio de usabilidad
• Debe considerar también las condiciones de acceso para personas
con discapacidad, para poder llevar a cabo pruebas de usabilidad
y accesibilidad que respondan a las necesidades de cualquier tipo
de usuario

Laboratorio de usabilidad.
Equipamiento básico
• Consisten normalmente en dos salas o habitaciones,
• una es la sala de observación (para los evaluadores) y,
• otra la sala de la prueba (para los usuarios)
Evaluación - GEInformàtica, IPO
• Ambas salas suelen estar
separadas por un cristal que sólo
permite ver a los usuarios desde
la sala de observación, pero no
desde el lado opuesto
87 / 111

• Algunos laboratorios disponen de una sala adjunta a la sala de
observación
• otros observadores, otras pruebas, …
• Cámaras de vídeo controladas remotamente desde la sala de
observación
• En la sala de observación se mezclan las señales de vídeo para
producir una sola secuencia que se graba junto al instante en el que
se ha generado cada secuencia para posteriormente compararlo con
la grabación del uso del sistema.
• Micrófonos inalámbricos
• Mesa de mezcla digital
• Escáner de entrada
• Grabadora VHS .....

Laboratorio de usabilidad MÓVIL
• Con un laboratorio de usabilidad móvil, cualquier oficina o
dependencia se puede convertir en una sala de
evaluación y evitar así que los usuarios se desplacen
Montar un laboratorio de usabilidad portátil. Test de usuarios I
http://www.alzado.org/articulo.php?id_art=251 [Eduardo Manchón]

Software especializado
• El análisis resulta mucho más efectivo si se realiza con la
ayuda de un software específico
• El software NO sustituye al evaluador experto

Personas bien formadas

Personas bien formadas
• Guidelines for Participants in a Separate Room (MORAE)
• Hablar lo mínimo durante la sesión
• Los participantes deben sentirse apoyados por el evaluador a la vez
que deben sentirse “como en casa”
• NO hacer comentarios a los participantes
• Confidencialidad de la identidad
• NO hacer cambios hasta el final de los resultados
• Preparar una lista de preguntas finales para los participantes

Evaluación con usuarios
mediante Morae
Éxito de la
tarea
Encontrar un televisor LCD con la garantía más larga
en el tiempo
5 de 14 (35%) participantes NO FINALIZARON la tarea
Video: El procedimiento de comparación no es claro
1.Buscar todos los
televisores LCD
2.Seleccionar
2 TV a comparar
3.Escoger la opción
“Comparar productos
seleccionados”

?
• Dónde mira el usuario ??
Eye Tracking
Eye Tracking Evaluation:
https://www.youtube.com/watch?
v=s-273rCl-yk

NINGÚN usuario se
dió cuenta de
la existencia de la
asistenta virtual

no se dan cuenta
de las
gesticulaciones
que representan un
comportamiento
humano de la Berta

Permite “leer” el
contenido de una
página
Google es ciego !!!

Algunos laboratorios de usabilidad
• Distribución y fotografía
del Laboratorio de
Usabilidad de Telefónica
Móviles España
FUENTE: http://www.tid.es/documentos/boletin/numero27_3.pdf

La Salle (Barcelona)

http://www.sun.com/usability/
http://www.oracle.com/webfolder/ux/applica
tions/getInvolved/labTours.html

BBC News - How Google fine tunes its search engine
http://news.bbc.co.uk/2/hi/programmes/click_online/9751991.stm

Remote Usability testing
Remote usability
testing allows you
to get customer
insights when
travel budgets are
small, timeframes
are tight, or test
participants are
hard to find
http://www.nngroup.com/arti
cles/remote-usability-tests
http://gazept.com
http://www.userzoom.es
https://www.youtub
e.com/watch?v=L
RHPJmx7yKA
https://www.youtu
be.com/watch?v=t
M2tlAi-0lw

Don’t Make Me
Think
S. Krug.
2nd Edition, pag. 136
Sin
embargo
...

“Discount Usability Testing”

“Discount Usability Testing”
http://www.grihotools.udl.cat/mpiua/rocket-
surgery-made-easy
http://youtu.be/QckIzHC99Xc

Guerrilla HCI – Discount Usability
• Guerrilla HCI: Using Discount Usability Engineering to
Penetrate the Intimidation Barrier
• Nielsen: http://www.nngroup.com/articles/guerrilla-hci
• Silverback 2.0
• Guerrilla usability testing software for designers and
developers
• http://silverbackapp.com/

Pros and Cons of Guerrilla Research for
Your UX Project
Advantages
• is cheap
• takes little effort
• is very informative
• can be squeezed into
nearly every timetable or
deadline
• can be used to effectively
test with large groups
Disadvantages
• is risky
• can be shallow too
• can be unreliable
• poses recruitment
problems
SOURCE: https://www.interaction-design.org/ux-daily/102/the-pros-and-cons-
of-guerrilla-research-for-your-ux-project

• La evaluación y el prototipado es una parte muy
importante de las actividades a realizar en el
desarrollo de un sistema interactivo centrado en el
usuario
• Su objetivo es probar la usabilidad del diseño,
identificar y rectificar problemas
• Puede hacerse en el laboratorio o en el puesto de
trabajo del usuario y en general es importante una
participación activa por parte del usuario
Conclusiones

El Curso de Interacción Persona-Ordenador ha sido realizado por Toni
Granollers bajo la licencia Creative Commons Reconocimiento-
NoComercial 4.0 Internacional License.

6. Evaluación

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (7)

Similar a 6. Evaluación

Similar a 6. Evaluación (20)

Más de DCU_MPIUA

Más de DCU_MPIUA (20)

Último

Último (20)

6. Evaluación

Notas del editor