Sesion08 evaluacion

Evaluación
David Díez Cebollero
Departamento de Informática
Universidad Carlos III de Madrid
DISEÑO DE
SISTEMAS INTERACTIVOS
Grado en
Ingeniería Informática

Diseño de Sistemas Interactivos
Evaluación > Contenido sesión 8
 Comprender el concepto de evaluación
 Entender el sentido de la fase de evaluación en el desarrollo de
sistemas interactivos
 Conocer la diferencia entre evaluación formativa y aditiva
 Conocer los métodos de evaluación de sistemas interactivos
 Inspección
 Prueba
 Conocer el sentido y estructura del “plan de evaluación” y el “informe
de resultados”
26/02/2016David Díez Cebollero

Evaluación
¿Por qué se evalúa?
Para conocer la opinión de
terceros (usuarios) y obtener
mejores productos

Evaluación
¿Qué se evalúa?
¿Prototipo de
baja fidelidad o de
alta fidelidad?
¿La estética?
¿El uso?
¿La eficiencia?

Evaluación
¿Dónde se evalúa?
En entorno controlado
En entorno real
En remoto

Evaluación
¿Cuándo se evalúa?
Durante el proceso de análisis/síntesis
Evaluación formativa (ex-ante):
• Predecir la usabilidad del producto
• Validar requisitos
• Probar ideas
Al final del proceso de análisis/síntesis
Evaluación aditiva (ex-post):
• Identificar problemas de uso
• Establecer áreas de mejora

Evaluación
¿Cuál es el riesgo?
No adecuar la evaluación a:
 El artefacto a evaluar
 Las características a evaluar
 El momento de la evaluación
 El entorno
 El tipo de usuario
 La actividad

Evaluación > Definición
“La evaluación es la
actividad del proceso
de diseño de un
sistema interactivo
encargada de
determinar si la
solución satisface o no
las necesidades del
usuario.”

Evaluación
1. Comprender el contexto real
2. Comparar alternativas
3. Comprobar si el sistema es
conforme a estándares
4. Determinar el cumplimiento
de los requisitos
Objetivos de la evaluación

Planificación
• Establecer objetivos
• Seleccionar tipo de evaluación
• Definir tareas de evaluación
• Seleccionar evaluadores
Realización
• Preparar entorno de evaluación
• Realizar tareas de evaluación (por parte de los
evaluadores)
• Recopilar información
Interpretación de resultados
• Categorizar información
• Analizar datos
• Documentar
Evaluación > Proceso
Proceso de evaluación

Evaluación > Proceso > Planificación
“Actividad de evaluación
dirigida establecer las
condiciones en las
cuales se evaluará el
sistema”
Planificación
Realización
• Realizar tareas de evaluación (por parte de
los evaluadores)
• Analizar datos
• Documentar

1. Definir la estrategia de evaluación
1. Establecer objetivos
2. Fijar el tipo de producto a evaluar
3. Establecer las características que se desean evaluar
4. Establecer el tipo de evaluación a realizar
2. Por cada tipo, definir el modo de evaluación
1. Definir condiciones de evaluación
2. Fijar el método de evaluación
3. Definir tareas de evaluación
4. Seleccionar evaluadores (número y perfil)
5. Fijar la forma de recopilar la información
3. Redactar el plan de evaluación

Tipos de evaluación
 Según procedimiento
 Monitorización
 Recopilación de opiniones
 Observación
 Predicción
 Según entorno
 Entorno controlado
 Entorno real
 Entorno de diseño
 Según los implicados
 Usuarios
 Expertos
 Equipo de diseño
 Sin implicación / no intrusivos
 Según propósito
 Inspección
 Prueba
 Indagación

 Entorno controlado con implicación del usuario
Evaluación de usabilidad
Experimentación
 Entorno real con implicación del usuario
Estudios de campo
 Sin implicación de usuarios
Predicción: heurísticas, estándares y modelos
Revisión por pares
No intrusivo
1.1
1.2
2.1
3.1
3.2
3.3

Objetivo Entorno
controlado con
implicación
usuarios
Entorno real
con implicación
usuarios
Sin implicación
usuarios
Comprender el contexto real
Comparar alternativas
Comprobar sistema de
acuerdo a estándares
Determinar el cumplimiento
de los requisitos
2.1
2.1
2.11.1 1.2
1.1 3.1 3.3
3.1
3.1 3.2 3.3

Métodos de evaluación
Prueba
Inspección
Indagación
 Inspección (Inspect)
Revisión del sistema a fin de validar el
cumplimiento tanto de estándares como
de requisitos de usuario. Habitualmente
realizado por expertos
 Prueba (Testing)
Uso del sistema por sus potenciales
usuarios a fin de comprobar que el
sistema satisface adecuadamente sus
necesidades
 Indagación (Inquiry)
Recolección de información en el
contexto de utilización del sistema a fin
de estudiar y validar las necesidades del
usuario

Método Descripción Tipo evaluación
Evaluación mediante
heurísticas
Basado en la revisión de un conjunto de
características de la interfaz de usuario de
acuerdo a un catálogo de características de
diseño
Evaluación mediante
estándares
Basado en la revisión de un conjunto de
características de la interfaz de usuario de
acuerdo a un catálogo de estándares, normas y
reglas
Cognitive walkthroughs Basado en la revisión por parte de una serie de
evaluadores de un conjunto preestablecido de
tareas a fin de probar su facilidad de uso y
aprendizaje
Pluralistic walkthrough Basado en la revisión en grupo por parte de una
serie de evaluadores de un conjunto
preestablecido de tareas a fin de probar su
facilidad de uso y aprendizaje
3.1
3.1
3.2
3.1
1.1
3.1
3.2
1.1
1.1
(*)
- Inspección -

- Prueba -
Retrospective testing Basado en la la grabación de las acciones
ejecutadas por el usuario y su posterior discusión
con el mismo
Thinking aloud protocol Basado basado en solicitar al usuario que
verbalices sus opiniones, sensaciones y
pensamientos durante la ejecución de las
pruebas del sistema
Question-asking protocol Basado en realizar preguntas específicas al
usuario durante la ejecución de las pruebas del
sistema
Evaluación subjetiva Basado en preguntar a los usuarios sus
sensaciones y experiencia a la hora de utilizar la
solución
- Uso de cuestionarios -
1.1
1.2
1.1
1.2
1.1
1.2
1.1
1.2
2.1
2.1
2.1
2.1

- Prueba -
Comparativa Basado en la comparación, de acuerdo a alguna
característica de antemano, el rendimiento de los
usuarios al utilizar dos soluciones distintas
Medición de rendimiento Basado en la comparación, de acuerdo a alguna
característica de antemano, el rendimiento de los
usuarios al utilizar dos soluciones distintas
 Tiempo en completar una tarea
 Número y tipo de errores por tarea
 Número de errores por unidad de tiempo
 Número de usuarios que cometen un determinado error
 Número de usuario que completan la tarea correctamente
 Número de consultas realizadas al manual de usuario
3.3
3.3

 Introducción
 Estrategia de evaluación
 Objetivos de evaluación
 Tipos de evaluación
 Por cada tipo de evaluación
 Establecer métodos de evaluación
 Fijar participantes
 Definir tareas de evaluación
 Definir mecanismos de recolección de información
 Establecer medios necesarios
 Conclusiones
“Definición en detalle de la
evaluación a realizar,
recogiendo el por qué, el
qué, el cómo, el cuándo y
por quién.”
Documentación
- Plan de evaluación -

Evaluación > Proceso > Realización
“Conjunto de labores
realizadas a fin de
poner en práctica la
evaluación y recopilar
información”
Planificación
Realización
• Realizar tareas de evaluación (por parte
de los evaluadores)
• Analizar datos
• Documentar

1. Dar la bienvenida a los participantes
1. Explicar a los participantes el propósito de la evaluación
2. Solicitar a los participantes su consentimiento (y confidencialidad)
2. Ejecutar la evaluación
1. Indicar a los participantes las tareas a realizar o, en su caso, solicitar a
los participantes realizar su actividad habitual
2. Recolectar datos sobre las tareas/actividad realizada
3. En su caso, repasar las tareas/actividad con los participantes
3. Despedir a los participantes
1. Agradecer a los participantes su participación
2. (Remunerar a los participantes)

Es necesario el acuerdo de los
participantes tanto para tomar parte en la
evaluación como para grabarlos
Recopilar el perfil
del participante
Siempre agradecer
la participación…

Método Descripción Ventajas Desventajas
Tratamiento de trazas
(logging)
Grabación automática por parte
del ordenador de las acciones
realizadas por el usuario en el
sistema
 No intrusivo
 Permite medir
rendimientos
 Identificar patrones
 No permite conocer
impresiones o
motivaciones del
usuario
Grabación Captación de imágenes y/o sonido
sobre la actividad del usuario
 Permite fijarse en
comportamientos
repetitivos
 Permite conocer la
impresión del usuario
 Intrusivo
 Tratamiento de la
información muy
costoso
Recolección de notas Poner por escrito, de manera
manual o digital, comentarios,
impresiones u observaciones
sobre la evaluación
 Muy efectivo para captar
observaciones
 Puede resultar
intrusivo
 Opinión sesgada
Recopilación a posteriori
(retrospective collection)
Revisión a posteriori, en presencia
del usuario, de las tareas
realizadas durante la ejecución de
la evaluación
 No intrusivo
opinión y motivación de
los usuarios
 El usuario puede
interpretar los
resultados más que
explicarlos
Cuestionarios Realización de cuestionarios sobre
el sistema evaluado, impresiones
de los evaluadores, sensaciones,
expectativas, etc.
 No intrusivo
opinión, motivación y
satisfacción de los
usuarios
 Puede originar sesgo
 Difícil diseño
 En el caso de
preguntas abiertas,
difícil tratamiento
Recolección de datos

Cuestionarios más
utilizados:
SUS, SUMI y QUIS
- Cuestionarios -

- Cuestionarios -
Cuestionario de aceptación de la
tecnología
Encuesta sobre
incidentes críticos

Evaluación > Proceso > Interpretación
“Actividad de
evaluación dirigida a
extraer conclusiones a
partir de la información
recopilada en la
evaluación”
Planificación
Realización
• Realizar tareas de evaluación (por parte de
los evaluadores)
• Analizar datos
• Documentar

1. Tratamiento de los resultados
1. Organizar información
2. Analizar datos
3. Establecer consecuencias
2. Redactar informe de evaluación
1. Explicar las condiciones en las cuales se realizó la evaluación
2. Enunciar y priorizar problemas encontrados
3. Teorizar causas
4. Proponer soluciones
5. Enunciar ventajas o casos de éxito
6. Enunciar áreas de incertidumbre
Conceptualmente:
el mismo proceso que el
tratamiento de la información
recopilada en la fase de
análisis

 Introducción
 Resumen de la evaluación
 Estructura de la sesión
 Participantes
 Tareas
 Resultados
 Tasas de ejecución
 Métricas de desempeño
 Recomendaciones
 Conclusiones
“Exposición de la ejecución de
la evaluación indicando tanto el
modo en que se realizó como
los resultados obtenidos en la
misma.”
Documentación
- Informe de evaluación -

Evaluación > Ejercicio
La Oficina de Turismo de una gran ciudad está desarrollando un
sistema informático que permita a los turistas recibir información a
través de pantallas y grandes monitores distribuidos a lo ancho de la
ciudad. Una vez realizada la especificación completa del sistema, y
tras elaborar un prototipo preliminar, se desea realizar una evaluación
formativa del mismo. En particular, la Oficina de Turismo está
interesada en evaluar aspectos referidos a la presentación de la
información (uso de gráficos, colores, disposición de elementos, etc.),
a la facilidad de acceso a la información y a la adecuación de los
medios de interacción con el sistema. Como limitación, la evaluación
deberá desarrollarse en un tiempo inferior a dos meses.

Sesion08 evaluacion

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (11)

Similar a Sesion08 evaluacion

Similar a Sesion08 evaluacion (20)

Último

Último (20)

Sesion08 evaluacion

Notas del editor