1. Reunión de Coordinación RedAUTI 2012
Propuesta metodológica para evaluar
la usabilidad de aplicaciones de
Televisión Digital Interactiva
Exposición presentada por
Mag. Mario Solarte
1

2. Reunión de Coordinación RedAUTI 2012
Propuesta metodológica para evaluar
la usabilidad de aplicaciones de
Televisión Digital Interactiva
Trabajo presentando originalmente en el Séptimo
Congreso Colombiano de Computación por
Andrés Fernando Solano
Cristian Rusu
César Alberto Collazos
José Luis Arciniegas

3. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Agenda
1
Introducción
2
Propuesta metodológica
3
Experimentación
4
Conclusiones y trabajo futuro
3

4. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Introducción (1/2)
 La Televisión Digital Interactiva (TDi) está creciendo en popularidad.
 La TDi está llamada a garantizar un grado de cubrimiento > Internet
 Las aplicaciones interactivas están dirigidas a un público cada vez más amplio –> la
usabilidad se convierte en un atributo fundamental para el éxito de aplicaciones.
 La usabilidad engloba una serie de métricas y métodos con el objetivo de obtener
sistemas fáciles de usar y de aprender. Es la característica de calidad más visible.
 Los métodos de evaluación de usabilidad (MEU) son bastante diversos.
 Categorías: inspección y prueba.
 Su realización depende de varios factores (costos, disponibilidad de tiempo,
recursos humanos que interpreten los resultados, etc.).
 “Es recomendable combinarlos en una evaluación para complementarlos entre sí”.
 La elección de un método para evaluar la usabilidad no resulta sencilla.
 Necesidad de establecer una propuesta metodológica que incluya MEU precisos.
X. Ferré, "Marco de integración de la usabilidad en el proceso de desarrollo software," Tesis Doctoral, Lenguajes y Sistemas
4
Informáticos e Ingeniería del Software, Universidad Politécnica de Madrid, 2005.

5. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Introducción (2/2)
 Varios MEU pueden ser realizados sobre aplicaciones de TDi.
 Incógnita: nivel de la información que entrega cada uno de ellos y/o la combinación
de unos con otros.
Problema
Evaluación Heurística
Inspección de estándares
Interacción constructiva
Recorrido pluralista
Medida de prestaciones
Cuestionarios
Pregunta
 ¿Cuáles de los MEU existentes son los más pertinentes para ejecutar sobre
aplicaciones de TDi?
5

6. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Agenda
1
2
Introducción
Propuesta metodológica
3
Experimentación
4
Conclusiones y trabajo futuro
6

7. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Propuesta metodológica (1/4)
 MEU objeto de estudio.
 Métodos de Inspección:
Recorrido pluralista
Recorrido cognitivo
Análisis de acciones
Inspección de estándares
Evaluación heurística
 Métodos de Prueba:
Pensando en voz alta
Interacción constructiva
Experimentos formales
Medida de prestaciones
Prueba/Prototipos en papel
Métodos de interrogación (Entrevistas - Cuestionarios)
 Aplicaciones de TDi objeto de estudio –> EPG, Tablón y Chat.
 Ejecución de los MEU sobre aplicaciones de TDi.
7

8. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Propuesta metodológica (2/4)
 Aplicaciones de TDi objeto de estudio.
8

9. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Propuesta metodológica (3/4)
 Análisis de resultados de los MEU.
 Tiempo transcurrido (Preparación – Proceso – Análisis).
 Problemas identificados.
 Particularización de los MEU sobre aplicaciones de TDi (Ventajas – Desventajas
– Otras características).
 Identificación de lo métodos a conformar la propuesta metodológica para la
evaluación de la usabilidad de aplicaciones de TDi.
 3 caminos de evaluación:
• Global
• Específica
• Completa
9

10. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Propuesta metodológica (4/4)
•
Evaluación Global
Evaluación
Heurística
•
Métodos de
Interrogación
Experimentos
Formales
Métodos de
Interrogación
Evaluación Específica
Evaluación
Heurística
•
Interacción
Constructiva
Evaluación Completa (sin restricciones de tiempo)
Evaluación
Heurística
Interacción
Constructiva
Experimentos
Formales
Métodos de
Interrogación
10

11. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Agenda
1
Introducción
2
Propuesta metodológica
3
4
Experimentación
Conclusiones y trabajo futuro
11

12. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Experimentación (1/3)
 Sesión de Focus Group.
 Laboratorio de TDi de la Universidad del Cauca.
 5 expertos en: usabilidad y diseño/desarrollo de aplicaciones de TDi.
… Realimentación, que en general, es buena y favorece la propuesta metodológica.
12

13. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Experimentación (2/3)
 Evaluación de la usabilidad de aplicaciones de TDi.
 Aplicaciones de TDi objeto de estudio –> EPG, Tablón y Chat.
 Ejecución de los caminos de evaluación:
 Evaluación heurística
 Interacción constructiva
 Experimentos formales
 Métodos de interrogación
13

14. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Experimentación (3/3)
 Análisis de resultados –> Tiempo
14

15. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Agenda
1
Propuesta de investigación
2
Contexto
3
Objetivos
4
Conclusiones y trabajo futuro
15

16. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Conclusiones y trabajo futuro (1/3)
Conclusiones de la propuesta metodológica
 Evaluación Global
• Identifica un buen número de problemas de usabilidad.
• Entrevistas confirman buena cantidad de problemas identificados por los otros dos
métodos.
 Evaluación Específica
• Los
experimentos formales realizan un eficiente análisis de las
funcionalidades/áreas/escenarios de interés.
• Los experimentos formales y cuestionarios se complementan bien por su carácter
objetivo.
 Evaluación Completa (sin restricciones de tiempo)
• Camino a tomar si la disponibilidad de tiempo es alta.
• La información sobre la usabilidad será más completa.
• Estos MEU se complementan de muy buena forma.
16

17. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Conclusiones y trabajo futuro (1/6)
 La propuesta metodológica se ha planteado mediante el análisis de un caso de
estudio que incluyó tres aplicaciones representativas. Luego, la evaluación se
realizó a través de otro caso de estudio, el cual permitió, exitosamente, confirmar
que la propuesta metodológica es aplicable a las aplicaciones de TDi. Así,
dependiendo de los objetivos de evaluación, los tres caminos planteados permiten
obtener resultados de la medida de la usabilidad de manera confiable.
 La propuesta metodológica se integra sin mayor dificultad al proceso de desarrollo
de las aplicaciones.
 La propuesta metodológica podría utilizarse para evaluar la usabilidad de
aplicaciones de otros contextos.
Trabajo futuro
 Refinamiento de la propuesta metodológica.
 Se propone el estudio con otros estándares de transmisión y en otros entornos
relacionados a la TV digital como IPTV (Internet Protocol Television), Televisión
Móvil, entre otros. Trabajo futuro –> extender la investigación a una metodología
completa de evaluación de la usabilidad para aplicaciones de TDi.
17

18. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Conclusiones y trabajo futuro (5/6)
 Se ha considerado como eje central el concepto de usabilidad, por lo que conviene
ampliar el alcance del trabajo, pasando de “evaluación de usabilidad” a
“evaluación de la experiencia de usuario”. Así, para estudios posteriores
relacionados con el tema, debe considerarse la dimensión afectiva (emocional),
multicultural, entre otros aspectos.
 Realizar estudio detallado, en un ambiente controlado, que permita obtener
información precisa acerca del tiempo demorado en ejecutar los MEU que
conforman los distintos caminos.
 Realizar estudio detallado de la relación coste/beneficio o del ROI (Retorno de la
Inversión) para los distintos caminos de evaluación planteados en la propuesta
metodológica.
18

19. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Agradecimientos
•
Servicios de T-Learning para el soporte de una Comunidad Académica
Virtual (ST-CAV), financiado por Colciencias y el SENA.
•
Mecanismo para la interpretación de emociones en la evaluación de
usabilidad de entornos virtuales de aprendizaje, financiado por el
Ministerio de Educación Nacional de Colombia (MEN) y el Centro de
Investigación de las Telecomunicaciones (CINTEL).
•
Lineamientos de usabilidad para el diseño de aplicaciones de Televisión
Digital Interactiva. Código 3583 de la Vicerrectoría de Investigaciones de
la Universidad del Cauca (Colombia).
•
Programa de estancias cortas de LACCIR (Latin American and Caribbean
Collaborative ICT Research).
19

20. Propuesta metodológica para evaluar la usabilidad de
aplicaciones de Televisión Digital Interactiva
Gracias por su atención…
20