07. clei 10 evaluación de usabilidad para aplicaciones web

Evaluación de Usabilidad para Aplicaciones Web
Adrian Fernandez, Emilio Insfran, Silvia Abrahão
Grupo Investigación ISSI, Departamento de Sistemas Informáticos y Computación,
Universidad Politécnica de Valencia, Camino de Vera, s/n, 46022, Valencia, Spain
{afernandez, einsfran, sabrahao}@dsic.upv.es
Resumen. La mayoría de los métodos de evaluación de usabilidad para
aplicaciones Web presentan varias limitaciones: un concepto de usabilidad muy
restringido, evaluaciones realizadas sólo en etapas finales del desarrollo Web y
carencia de guías de cómo integrar adecuadamente la usabilidad en el proceso
de desarrollo Web. Este artículo presenta el uso de un proceso de evaluación de
usabilidad integrado en distintas etapas del desarrollo Web dirigido por
modelos (DWDM). Este proceso de evaluación se basa en un modelo de
usabilidad Web que descompone el concepto de usabilidad en sub-
características y atributos medibles, a los cuales se asocian métricas con el fin
de cuantificarlos y poder detectar problemas de usabilidad al ser aplicados a
modelos independientes de plataforma, modelos específicos de plataforma, o a
la aplicación Web final.
Abstract. Most usability evaluation methods for Web applications present
several limitations: a concept for usability which is only partially supported;
usability evaluations performed at later stages of the Web development process;
lack of guidelines on how to properly integrate the usability in Web
development. This paper presents the use of a usability evaluation process for
Model-Driven Web development (MDWD) approaches. This evaluation
process is based on a Web usability model that decomposes the usability
concept into subcharacteristics and measurable attributes, which are then
associated to metrics in order to quantify them and to detect usability problems
when applied to platform-independent models, platform-specific models, or to
the final Web application.
Palabras clave: Usabilidad Web; Proceso de evaluación; Desarrollo Web
dirigido por modelos; Métricas; Aplicaciones Web.
Keywords: Web usability; Evaluation process; Model-Driven Web
Development, Metrics, Web applications.
1 Introducción
Las aplicaciones Web desempeñan un papel muy relevante en toda actividad
empresarial e intercambio de información [19]. En las empresas, éstas representan su
carta de presentación hacia clientes potenciales, mientras que en el contexto de la
administración pública son indispensables a la hora de realizar diversas transacciones
que requieren la participación del ciudadano. No es suficiente con satisfacer las

necesidades funcionales de una aplicación Web, la facilidad que experimenten los
usuarios con éstas determinará en gran medida su éxito o fracaso.
La usabilidad es una de las características de calidad más importantes para las
aplicaciones Web junto a otras tales como la fiabilidad y seguridad [23]. El reto de
desarrollar aplicaciones Web más usables ha provocado la aparición de un gran
número de métodos de evaluación de la usabilidad. A pesar de este gran número de
métodos de evaluación, la mayoría de éstos sólo tienen en cuenta las evaluaciones de
usabilidad en las últimas etapas del proceso de desarrollo Web. En Juristo et al. [16]
se sugiere que la evaluación de la usabilidad debería trasladarse a las primeras etapas
del proceso de desarrollo Web con el fin de mejorar la experiencia del usuario y
disminuir los costes de mantenimiento.
Los resultados de una revisión sistemática acerca del empleo de métodos de
evaluación de usabilidad Web, llevada a cabo en trabajos previos [12], revelaron
además algunos problemas tales como: un concepto de usabilidad parcialmente
soportado, ya que cada método se centra en aspectos muy concretos; y la carencia de
métodos de evaluación de usabilidad que ofrezcan guías claras sobre cómo pueden ser
integrados adecuadamente en los procesos de desarrollo Web, especialmente en fases
tempranas de dicho proceso.
La mayoría de los procesos de desarrollo Web tradicionales no se benefician de las
ventajas que conlleva el empleo de artefactos intermedios producidos en las fases
análisis y diseño. Estos artefactos intermedios sólo se utilizan principalmente para
guiar a los desarrolladores y documentar la aplicación Web. Dado que la trazabilidad
entre estos artefactos y la aplicación Web final no está bien definida, realizar
evaluaciones de usabilidad en las fases donde se producen dichos artefactos puede
llegar a ser una tarea difícil. Este problema no ocurre en el desarrollo Web dirigido
por modelos, ya que éstos artefactos intermedios (modelos que especifican una
aplicación Web, sin tener en cuenta detalles tecnológicos de implementación, en sus
distintas dimensiones: contenido, navegación y presentación) se aplican en todas las
etapas del proceso de desarrollo, obteniendo de forma automática o semi-automática
el código fuente final a partir de estos modelos [1]. Este contexto ofrece la posibilidad
de evaluar estos modelos con el objetivo de corregir problemas de usabilidad de
forma temprana, permitiendo que estos cambios se puedan reflejar directamente en el
código fuente.
Basándonos en estas ideas, en trabajos previos se elaboró un modelo de usabilidad
Web que descompone el concepto de usabilidad en sub-características y atributos
medibles, a los que se asocian métricas con el fin de cuantificarlos y detectar
problemas de usabilidad [9] y un esbozo preliminar de la estructura que debería
poseer un proceso que empleara este modelo [10]. En este artículo se desarrolla y
presenta el uso de un proceso de evaluación de usabilidad detallando todas sus fases
y actividades con el objetivo de integrar evaluaciones de usabilidad en distintas etapas
del desarrollo Web dirigido por modelos (DWDM).
Este artículo está estructurado como sigue. La sección 2 discute trabajos
relacionados acerca de la evaluación de usabilidad en el desarrollo Web. La sección 3
presenta un marco de trabajo para la integración de evaluaciones de usabilidad en el
desarrollo Web dirigido por modelos. La sección 4 presenta el proceso de evaluación

de usabilidad Web describiendo las fases y actividades que lo componen. La sección
5 presenta un caso de estudio sobre una aplicación Web real a fin de ilustrar el
proceso de evaluación en distintas etapas del proceso de desarrollo. Finalmente, la
sección 6 presenta las conclusiones y futuros trabajos.
2 Trabajos Relacionados
En general, los métodos de evaluación de usabilidad pueden clasificarse en dos tipos:
métodos empíricos y métodos de inspección. En los métodos empíricos, los
problemas de usabilidad son detectados mediante observación e interacción con los
usuarios, mientras que éstos realizan tareas o proveen sugerencias acerca del diseño y
facilidad de uso del interfaz de usuario final. En cambio, en los métodos de
inspección, los problemas son descubiertos por evaluadores que inspeccionan
distintos aspectos de usabilidad en artefactos Web (normalmente interfaces) con
respecto a un conjunto de guías, principios de diseño, normas, etc.
Los métodos de inspección de usabilidad surgen como una alternativa rentable a
los métodos empíricos para identificar problemas de usabilidad, ya que no requieren
de la participación del usuario final y pueden ser empleados en fases más tempranas
del proceso de desarrollo Web [7]. Existen varias propuestas de métodos de
inspección para evaluar la usabilidad de aplicaciones Web, como por ejemplo,
Blackmon et al. [4], y Conte et al. [8].
Blackmon et al. [4] presenta el método Cognitive Walkthrough for the Web que
evalúa la facilidad con la que un usuario puede explorar un sitio Web mediante
algoritmos semánticos. Sin embargo este método sólo da soporte a la facilidad de
navegación.
Conte et al. [8] presenta el método Web Design Perspectives, el cual extiende y
adapta las heurísticas propuestas por Nielsen [20] con el objetivo acercarlas más a las
dimensiones que caracterizan una aplicación Web: contenido, estructura, navegación
y presentación. Sin embargo estos tipos de métodos tienden hacia un considerable
grado de subjetividad en la evaluación de usabilidad.
Otros trabajos presentan métodos de inspección que se centran en la evaluación de
la usabilidad Web a través del cálculo de métricas con el objetivo de minimizar la
subjetividad de la evaluación: Ivory [13], y Olsina y Rossi [21].
Ivory [13] presenta la metodología WebTango, la cual permite obtener medidas
cuantitativas, a partir de métricas validadas empíricamente, referentes a la interfaces
de usuario final para construir modelos predictivos que permitan evaluar otras
interfaces de usuario.
Olsina y Rossi [21] proponen la metodología WebQEM donde se evalúa de forma
cuantitativa algunos atributos de usabilidad provenientes de la ISO 9126-1 [14] y las
necesidades del usuario, permitiendo agregar los resultados para componer
indicadores de usabilidad.
La mayoría de trabajos, como los citados anteriormente, presentan evaluaciones de
usabilidad más orientadas hacia el desarrollo Web tradicional, por lo que tienen lugar
principalmente en las fases más tardías del proceso de desarrollo Web. Tal y como se
mencionaba anteriormente, el desarrollo Web dirigido por modelos ofrece un contexto

propicio a la evaluación de usabilidad a lo largo de todo el proceso de desarrollo Web,
ya que los modelos que se aplican en todas las etapas pueden ser evaluados,
permitiendo una evaluación de usabilidad temprana. En esta línea han surgido
diversos trabajos como Atterer [3], Abrahão e Insfran [2], y Molina y Toval [18].
En Atterer [3] se presenta un prototipo de un validador para realizar análisis de
modelos que representan propiedades abstractas de la aplicación Web. Es una de las
primeras propuestas que aprovechan las ventajas de los modelos que representan la
navegación y la interfaz de usuario de una aplicación Web para comprobar ciertos
aspectos de usabilidad como caminos de navegación o uniformidad de la interfaz.
En Abrahão e Insfran [2], se propone un modelo de usabilidad, basado en las sub-
características propuestas en la ISO 9126-1 [14], para evaluar los productos de
software que se obtienen como resultado de los procesos de desarrollo dirigido por
modelos. Sin embargo, esta propuesta no es específica para las aplicaciones Web y no
se proporcionan métricas. Este mismo modelo fue empleado en Panach et al. [24] con
el objetivo de dotar de métricas a un conjunto de atributos para ser aplicables a los
modelos conceptuales que proporcionaba un método concreto de desarrollo Web
dirigido por modelos.
En Molina y Toval [18] se presenta una propuesta para ampliar la expresividad de
los modelos que representan la navegación de aplicaciones Web con el objetivo de
incorporar los requisitos de usabilidad y mejorar la aplicación de posibles métricas e
indicadores en modelos que representan la navegación.
Sin embargo, hasta donde conocemos, no hay constancia de que exista un proceso
genérico de evaluación de usabilidad Web que pueda ser integrado en cualquier
método de desarrollo Web dirigido por modelos.
3 Usabilidad en el Desarrollo Web Dirigido por Modelos
Un proceso de desarrollo Web que sigue un enfoque basado en modelos básicamente
transforma (mediante reglas de transformación) modelos que son independientes de
los detalles de la implementación tecnológica (Modelos independientes de plataforma
- PIM) en otros modelos que contienen aspectos específicos de la plataforma
tecnológica (Modelos específicos de plataforma - PSM). Estos últimos pueden ser
compilados para generar automáticamente el código fuente de la aplicación Web final
(Modelo de código CM). Existen varios métodos de desarrollo Web que emplean esta
aproximación, como por ejemplo: OO-H [11] o WebML [6].
En estos procesos de desarrollo es posible integrar evaluaciones haciendo uso de
un modelo de usabilidad Web que se descompone el término usabilidad en sub-
características y atributos medibles (ver Fig.1). El conjunto de atributos seleccionados
puede ser evaluado en diferentes niveles de abstracción de una aplicación Web que se
obtiene como resultado de un proceso DWDM: a nivel de modelos independientes de
plataforma (nivel PIM), a nivel de modelos específicos de plataforma (nivel PSM), a
nivel de código fuente e interfaces de usuario finales (nivel CM).
A nivel PIM es posible evaluar modelos tales como: modelos estructurales,
modelos de presentación, modelos de navegación, etc. El conjunto de atributos de
usabilidad que pueden ser evaluados a este nivel son aquellos relacionados con el

acceso a la información por parte de los usuarios y cómo ésta es presentada por medio
de interfaces de usuario abstractas (ej., navegabilidad, densidad de información, etc.).
Sin embargo, este conjunto de atributos puede variar según la expresividad de los
modelos que ofrece cada método concreto de desarrollo Web. Esta evaluación genera
un informe de usabilidad independiente de plataforma que proporciona
retroalimentación a las fases de análisis y de diseño sobre cómo corregir los modelos
independientes de plataforma (Fig. 1 (1)).
Fig. 1. Evaluación de usabilidad en el desarrollo Web dirigido por modelos
A nivel PSM es posible evaluar modelos tales como: interfaces de usuario
concretas, esquemas de bases de datos, etc. El conjunto de atributos de usabilidad que
pueden ser evaluados a este nivel son aquellos relacionados con los componentes de
software específicos (ej., comportamiento constante de los controles, controles
apropiados a diversas funcionalidades, etc.). Esta evaluación genera un informe de
usabilidad específico de plataforma que proporciona retroalimentación a: las fases de
análisis y diseño, si el origen de los problemas de usabilidad detectados radica en los
modelos independientes de plataforma (Fig. 1 (2A)), y/o a la fase de transformación
de modelos, si el origen de los problemas de usabilidad detectados radica en los
modelos específicos de plataforma o en las reglas de transformación entre modelos
independientes y específicos de plataforma (Fig. 1 (2B)).
A nivel CM es posible evaluar el código fuente y las interfaces de usuario de la
aplicación Web final. El conjunto de atributos de usabilidad que pueden ser evaluados
están más relacionados con los aspectos de la interfaz de usuario final (ej.,
compatibilidad entre navegadores, retroalimentación del estado actual, etc.) Esta
evaluación genera un informe de usabilidad de la aplicación Web final que
proporciona retroalimentación a todas las fases previas sobre: cómo corregir los
modelos independientes de plataforma (Fig. 1 (3A)), los modelos específicos de
plataforma y reglas de transformación entre modelos (Fig. 1 (3B)); y las reglas de
generación de código (Fig. 1 (3C)), según el origen de los problemas de usabilidad.
Todas las evaluaciones anteriores pueden aplicarse de forma iterativa durante el
proceso de desarrollo Web hasta alcanzar el grado de usabilidad deseado.

4 Proceso de Evaluación de Usabilidad Web
A fin de dar soporte a la idea mostrada en la sección anterior, esta sección propone un
proceso de evaluación de usabilidad Web en consonancia con ésta.
El proceso de evaluación propuesto extiende y adapta el proceso de evaluación de
calidad propuesto en el estándar ISO 25000 SQuaRE [15] con el propósito de integrar
evaluaciones de usabilidad en procesos de desarrollo Web dirigido por modelos,
empleando para ello un modelo de usabilidad Web como artefacto principal. Este
modelo descompone el concepto de usabilidad en sub-características, y estas a su vez
en otras sub-características y atributos medibles. A los atributos medibles se les asocia
métricas genéricas, que deberán ser operacionalizadas para ser aplicables en distintos
niveles de abstracción (modelos independientes de plataforma, modelos específicos
de plataforma, e interfaz de usuario final) para distintos métodos de desarrollo Web.
La Figura 2 muestra una visión general de las fases principales del proceso de
evaluación de usabilidad Web empleando la notación SPEM 2 [22]. Notación
propuesta por el Object Management Group (OMG) para proveer definiciones
detalladas de procesos software y guías que faciliten la aplicación del proceso.
En el proceso propuesto participan tres roles: el diseñador de la evaluación, el
evaluador y el desarrollador Web. El diseñador de la evaluación sería el encargado de
realizar las tres primeras fases: 1) Establecimiento de los requisitos de la evaluación,
2) Especificación de la evaluación, 3) Diseño de la evaluación. El evaluador realiza la
cuarta fase: 4) Ejecución de la evaluación, mientras que el desarrollador Web
realizaría la última fase: 5) Análisis de cambios. A continuación se describe cada una
de las principales fases junto a las actividades en las que se descomponen.
Fig. 2. Vista general del proceso de evaluación de usabilidad Web
4.1 Establecimiento de los Requisitos de la Evaluación
El objetivo de esta fase es establecer los requisitos que delimitan el alcance de la
evaluación. A continuación se describen las actividades involucradas en esta fase.
1. Establecer propósito de la evaluación. En esta actividad se determina que se
espera de la evaluación, es decir, si la evaluación se va a llevar a cabo en una única
aplicación Web, o si se van a comparar distintas aplicaciones Web entre sí.
2. Especificación de perfiles. En esta actividad se determinan los distintos factores
que condicionaran la evaluación. Esos factores son principalmente: a) tipo de
aplicación Web, ya que el conjunto de atributos de usabilidad más relevantes variará

en función de los objetivos que persiga cada familia de aplicaciones Web (ej. la
navegabilidad podría ser más relevante en aplicaciones Web basadas en una intranet,
mientras que el grado de atracción podría ser más relevante en plataformas de redes
sociales); b) método de desarrollo Web, ya que es necesario conocer qué tipo de
artefactos se emplean a fin de integrar adecuadamente evaluaciones de usabilidad; y
c) contexto de uso, donde se considera el perfil del usuario final, el entorno donde se
utilizará la aplicación Web, etc.
3. Selección de artefactos a evaluar. En esta actividad se determina la cantidad y
tipo de artefactos que se pretenden evaluar, los cuales dependerán tanto del método de
desarrollo Web como de la plataforma tecnológica destino. Los artefactos a
considerar son: modelos independientes de plataforma (ej. modelos estructurales,
modelos de navegación, interfaces de usuario abstractas, etc.); modelos específicos de
plataforma (ej. modelos de interfaz de usuario concretos, esquemas de bases de datos,
etc.); Modelos de código (ej. interfaces de usuario finales, código fuente).
4. Selección de atributos de usabilidad. En esta actividad se emplea el modelo de
usabilidad Web como artefacto de entrada, a modo de catálogo, para seleccionar qué
atributos de usabilidad se evaluaran. Este modelo de usabilidad Web está basado en la
característica de usabilidad propuesta en el modelo de calidad de la ISO 25000
SQuaRE [15]. La primera versión de este modelo fue presentada en [9], ésta ha ido
mejorándose teniendo en cuenta diferentes guías de usabilidad que permitan descubrir
nuevos atributos de usabilidad. Actualmente, el modelo de usabilidad Web tiene en
cuenta dos vistas de la usabilidad: usabilidad producto software y usabilidad en uso.
En este artículo nos centraremos en la usabilidad del producto software, por ser
evaluable durante el proceso de desarrollo Web mediante la inspección de artefactos
Web. La usabilidad del producto software se descompone en 7 sub-características
principales: 1) Adecuación reconocible, 2) Facilidad de aprendizaje, 3) Facilidad de
uso, 4) Facilidad de ayuda, 5) Accesibilidad técnica, 6) Grado de atracción, y 7)
Adherencia a normas. Éstas a su vez, se descomponen en otras sub-características y
atributos medibles1
.
Los resultados obtenidos en las actividades anteriores constituyen los requisitos de
la evaluación que serán empleados como entrada a la siguiente fase.
4.2 Especificación de la Evaluación
El objetivo de esta fase es obtener y operacionalizar las métricas que se van a aplicar
y cómo se van a aplicar. A continuación se describen las actividades involucradas en
esta fase.
1. Selección de métricas a aplicar. Una vez seleccionados los atributos de
usabilidad a evaluar, haciendo uso del modelo de usabilidad Web, obtenemos las
métricas asociadas a dichos atributos. Las métricas que se proveen se obtuvieron de
distintas fuentes: estudios de métricas que fueron validadas [5], guías de diseño Web
[25], estándares [15], etc. Las métricas fueron estudiadas en relación a su propósito,
interpretación y artefacto de aplicación para proveer una definición genérica de la
métrica. El objetivo de esta descripción genérica es permitir que la métrica pueda ser
1 Modelo de usabilidad disponible en: http://users.dsic.upv.es/~afernandez/WebUsabilityModel/

operacionalizada en artefactos de distintos niveles de abstracción pertenecientes a
cualquier método de desarrollo Web. El anexo A muestra, a modo de ejemplo, un par
de métricas junto con su descripción genérica.
2. Operacionalización de las métricas. La métricas han de operacionalizarse para
poder ser aplicadas a los artefactos seleccionados. Esta actividad se realiza
identificando los elementos de la definición genérica de la métrica con las primitivas
de modelado o elementos del artefacto a evaluar, es decir, estableciendo un mapeo
entre la definición genérica de la métrica y los conceptos que se representan en lo
artefactos. Existirán métricas operacionalizadas cuyo cálculo se prestará a ser
automatizado (ej. lenguajes de restricciones sobre modelos como OCL), mientras que
otras podrían requerir la interpretación del evaluador para determinar algunos de los
valores de las variables que se emplean en la fórmula.
3. Establecimiento de umbrales. En esta actividad se establecen intervalos que
dividen el conjunto posible de valores obtenidos en cada métrica. El objetivo es
facilitar la interpretación de los resultados obtenidos en cada métrica, permitiendo
además, determinar la existencia de problemas de usabilidad y su nivel de criticidad.
Los resultados obtenidos en las actividades anteriores constituyen la especificación
de la evaluación, la cual será empleada como entrada a la siguiente fase.
4.3 Diseño de la Evaluación
El objetivo de esta fase es diseñar cómo se realizará la evaluación y que información
se ha de obtenerse para documentar los problemas de usabilidad detectados. A
continuación se describen las actividades involucradas en esta fase.
1. Definición de la plantilla para informes de usabilidad. Un informe de usabilidad
es básicamente una colección de problemas de usabilidad. Esta plantilla servirá para
presentar los datos de los problemas de usabilidad detectados. Para cada problema
podrían incluirse los siguientes campos: a) identificador; b) descripción del problema,
c) nivel de criticidad que indica si el problema de usabilidad grave, medio o leve; d)
artefacto evaluado donde se aplicó la métrica; e) origen del problema, refiriéndose al
artefacto que origina el problema: modelos o reglas de transformación; f) ocurrencias
del problema detectado, g) recomendaciones para solucionarlo, las cuales, en algunos
casos, podrían ofrecerse automáticamente según los umbrales obtenidos.
2. Definición del plan de evaluación. El plan de evaluación establece el número de
evaluadores que ejecutarán la evaluación, el mecanismo para resolver los desacuerdos
en los problemas obtenidos, el orden en el que se evaluarán los artefactos
(normalmente mediante iteraciones comenzando por los de mayor nivel de
abstracción) y las restricciones que podrían condicionar la evaluación (ej.
restricciones tecnológicas o económicas).
4.4 Ejecución de la Evaluación
El objetivo de esta fase es ejecutar la evaluación de acuerdo al plan de evaluación
establecido. Al ejecutor de la evaluación se le provee de las métricas
operacionalizadas para que las aplique en los artefactos seleccionados y sea capaz de
detectar y reportar problemas de usabilidad en base a los umbrales definidos para cada

métrica, usando para ello, la plantilla diseñada para presentar estos problemas. El
resultado de la ejecución son los informes de usabilidad: un informe independiente de
plataforma que contienen los problemas detectados al evaluar los modelos
independientes de plataforma; un informe específico de plataforma al evaluar
modelos específicos de plataforma; y un informe de aplicación Web final al evaluar
las interfaces de usuario final o el código fuente.
4.5 Análisis de Cambios
El objetivo de esta fase es analizar los problemas de usabilidad detectados para
evaluar qué cambios serían necesarios y priorizarlos según su coste, esfuerzo o nivel
de criticidad. A partir de los informes de usabilidad obtenidos en la ejecución de la
evaluación, el desarrollador Web clasifica los problemas según su origen e incorpora
campos descriptivos tales como prioridad, recursos necesarios para solucionarlo,
cambios a realizar, etc. El resultado de esta fase son los informes de mejora, uno para
cada fase del proceso de desarrollo Web: análisis, diseño, transformación de modelos
y generación de código.
5 Caso de Estudio
Esta sección muestra la aplicación del proceso de evaluación de usabilidad a una
aplicación Web empresarial desarrollada mediante un método concreto de desarrollo
Web dirigido por modelos. Para ello, se seguirán las fases descritas anteriormente.
En cuanto a la fase de establecimiento de requisitos de la evaluación, el propósito
es evaluar artefactos Web pertenecientes a una aplicación Web para detectar
problemas de usabilidad. La aplicación Web utilizada se corresponde con una intranet
destinada a la gestión de proyectos Web de una empresa. Esta aplicación, denominada
Task Manager, permite entre otras funcionalidades: la gestión de tareas asignadas a
programadores, la gestión de informes asociados a las tareas que se realizan
diariamente, y la gestión de clientes de la empresa. Task Manager fue desarrollada
para una empresa de desarrollo Web situada en Alicante (España) utilizando el
método de desarrollo Web dirigido por modelos OO-H [13].
OO-H proporciona la semántica y la notación necesaria para especificar interfaces
de usuario en el contexto Web. Un aplicación Web se puede modelar mediante tres
vistas complementarias: Un modelo de clases que captura el contenido y la estructura
estática de la información; un modelo navegacional, basado en un conjunto de
diagramas llamados NAD (Navigational Access Diagram) que capturan las
propiedades de navegación e interacción para cada perfil de usuario basándose en
vistas parciales del modelo de clases; y un modelo de presentación abstracta, basado
en un conjunto de diagramas llamados APD (Abstract Presentation Diagram), que se
obtienen automáticamente a partir de un NAD. Estos APD se refinan para capturar los
conceptos asociados a la interfaz de usuario final de la aplicación Web y los detalles
específicos de presentación. Un compilador de modelos recibe como entrada todos los
anteriores modelos permitiendo generar automáticamente el código fuente de la
aplicación Web final.

Los artefactos seleccionados en este ejemplo se muestran en la Figura 3: el NAD
que representa la gestión de contactos (Fig. 3 (a)) y un fragmento de la interfaz de
usuario final (IUF) asociada a esa misma funcionalidad (Fig. 3 (b)). En el NAD se
define como un usuario puede acceder al listado completo de contactos o bien
mediante búsqueda por inicial o cadena de texto. Además, puede crear o modificar un
contacto existente. La información accesible del contacto (company, telephone, etc.) y
las operaciones permitidas (new, modify) se representa mediante atributos y métodos,
respectivamente, de clases navegacionales, las cuales son vistas parciales del modelo
de clases. La interfaz de usuario mostrada se obtendría automáticamente del APD
obtenido a partir del NAD anterior y posteriormente refinado (El APD
correspondiente no se muestra por simplificar el ejemplo de aplicación).
Fig. 3. Artefactos seleccionados a modo de ejemplo a) NAD y b) IUF
A modo de ejemplo, los atributos de usabilidad seleccionados son: Soporte a la
cancelación, perteneciente a la sub-característica Controlabilidad (la cual a su vez
pertenece a la subcaracterística Facilidad de uso); y Enlaces significativos
perteneciente a la sub-característica Predictibilidad (la cual a su vez pertenece a la
subcaracterística Facilidad de aprendizaje).
En cuanto a la fase de especificación de la evaluación, las métricas seleccionadas
son aquellas asociadas a los atributos de usabilidad seleccionados previamente: la
métrica Operaciones cancelables (ver Anexo A) para el atributo Soporte a la
cancelación; y la métrica Proporción de nombres significativos para enlaces (ver
Anexo A) para el atributo Enlaces significativos.
La métrica Operaciones cancelables (OC) puede ser operacionalizada para ser
aplicada en NADs de OO-H atendiendo a los métodos invocados desde las clases
navegacionales. Estos métodos soportaran la cancelación si existe un enlace
navegacional que retorne desde el servicio a ejecutar hasta el estado anterior donde se
invocó el método. La fórmula a aplicar sería:
OC (NAD) = Métodos sin enlace de retorno / Núm. total de métodos (1)
La métrica Proporción de nombres significativos (PNS) puede ser
operacionalizada para ser aplicada en la interfaz de usuario final atendiendo a si los
nombres de los enlaces permiten predecir la acción a realizar:
PNS (IUF) = Núm. enlaces no significativos / Núm. total de enlaces (2)

Puesto que el resultado de ambas métricas es un valor real entre 0 y 1, el umbral
para cada uno de ellas podría ser: (x=0): no existe problema de usabilidad; (0 < x ≤
0.3): problema leve, (0.3 < x ≤ 0.6): problema medio, (0.6 < x ≤ 1): problema grave.
En cuanto a la fase de diseño de la evaluación se definirá una plantilla para
reportar problemas de usabilidad basada en los campos descritos en la sección 4. En
cuanto a la fase de ejecución de la evaluación, la métrica OC aplicada al NAD
obtiene el valor 1/2=0.5 ya que de los métodos new y modify sólo el método new
posee un enlace de retorno (esta métrica podría calcularse de forma automatizada).
Por lo tanto estaríamos ante un problema medio de usabilidad (P001). Mientras que la
métrica PNS aplicada a la interfaz de usuario final obtiene el valor 2/10=0.20 ya que
de todos los enlaces, el único no significativo es el New situado en la parte inferior del
cuadro de dialogo New contact, ya que el usuario no intuye que la acción a realizar es
una confirmación (esta métrica requiere interpretación del evaluador). Por lo tanto
estaríamos ante un problema leve de usabilidad (P002). Las tablas 1 y 2 muestran un
ejemplo de cómo se reportarían los problemas de usabilidad. El problema P001
pertenecería al informe de usabilidad independiente de plataforma, mientras que el
P002 pertenecería al informe de usabilidad de la aplicación Web final.
Tabla 1. Problema de usabilidad P001
ID P001
Descripción La operación de crear un nuevo contacto no posee la opción de ser
cancelada por el usuario.
Atributo usabilidad Facilidad de uso / Controlabilidad / Soporte a la cancelación
Nivel criticidad Medio
Artefacto evaluado NAD (Navigational Access Diagram)
Origen del problema NAD (Navigational Access Diagram)
Ocurrencias 1 método sin enlace de retorno
Recomendaciones Agregar un enlace cuyo origen sería la invocación del método New
y cuyo destino sería la clase navegacional Contacto1.
Por último, en la fase de análisis de cambios, el desarrollador Web añadiría
información sobre los cambios a realizar, prioridad, etc.; e incluiría el problema P001
en el informe de mejora para el análisis, ya que su origen está en el modelo
navegacional, y el P002 en el de diseño, ya que su origen está en el modelo de
presentación abstracta.
Tabla 2. Problema de usabilidad P002
ID P002
Descripción Los enlaces cuyo nombre es New no son significativos, puesto que
no facilitan que el usuario prediga que acción realizan.
Atributo usabilidad Facilidad de aprendizaje / Predictibilidad / Enlaces significativos
Nivel criticidad Leve
Artefacto evaluado IUF (Interfaz de Usuario Final)
Origen del problema APD (Abstract Presentation Diagram), donde se definen los textos
para los nombres de los enlaces.

Ocurrencias 2 enlaces no significativos
Recomendaciones Sustituir el primer new (en el menú izquierdo) por new contact y el
segundo new (en el cuadro de dialogo) por un OK o Accept.
6 Conclusiones y Trabajos Futuros
Este artículo ha presentado el uso de un proceso de evaluación de usabilidad integrado
en el desarrollo Web dirigido por modelos.
Las características inherentes a los procesos de desarrollo Web dirigido por
modelos (ej., empleo de modelos como artefactos intermedios y la trazabilidad entre
dichos modelos por medio de transformaciones) propician un entorno adecuado para
integrar evaluaciones de usabilidad. La evaluación de estos modelos mediante el
empleo de métricas pretende disminuir la subjetividad adherida a los métodos de
inspección existentes, en medida de lo posible. Además, el hecho de considerar la
trazabilidad entre los modelos facilita la detección del origen de los problemas de
usabilidad, permitiendo ofrecer recomendaciones que corrijan esos problemas en
fases tempranas del desarrollo. Como consecuencia, la usabilidad de una aplicación
Web puede tenerse en cuenta durante todo el proceso de desarrollo Web, permitiendo
el desarrollo de aplicaciones Web más usables reduciendo el esfuerzo en las fases de
mantenimiento.
El proceso de evaluación propuesto puede ser instanciado en cualquier proceso de
desarrollo Web dirigido por modelos gracias a la operacionalización de las métricas
genéricas provenientes del Modelo de Usabilidad Web. Pese a que el objetivo
principal es la aplicabilidad en procesos de desarrollo Web dirigido por modelos, la
operacionalización de las métricas únicamente sobre la interfaz de usuario final hace
factible que este proceso pueda ser aplicado a cualquier método tradicional de
desarrollo Web, sin embargo, la retroalimentación ofrecida sólo iría destinada a la
fase de implementación a fin de corregir los problemas detectados en la misma
interfaz de usuario final.
Actualmente se está trabajando en proporcionar evidencias empíricas acerca de la
efectividad y eficiencia del proceso de evaluación propuesto al compararlo con otros
métodos de inspección. Los trabajos futuros van enfocados hacía: incorporar
mecanismos de agregación para combinar los valores obtenidos por métricas
individuales a fin de cuantificar y comparar atributos de usabilidad de diferentes
aplicaciones Web; determinar los atributos de usabilidad más relevantes para cada
familia de aplicaciones Web consultando a expertos del dominio; analizar el impacto
(positivo o negativo) de atributos de usabilidad entre sí, aplicar el proceso de
evaluación a distintas aplicaciones Web desarrolladas por diferentes métodos de
desarrollo Web dirigido por modelos; y por último, desarrollar una herramienta que
permita automatizar gran parte del proceso de evaluación.
Agradecimientos. Este trabajo ha sido financiado por el proyecto MULTIPLE (ref.
TIN2009-13838) y el programa FPU (AP2007-03731).

Referencias
[1] Abrahão S., Iborra E., y Vanderdonckt J. Usability Evaluation of User Interfaces
Generated with a Model-Driven Architecture Tool. Maturing Usability: Quality in
Software, Interaction and Value, 2007, Springer, pp. 3-32.
[2] Abrahão, S. e Insfran, E. 2006. Early Usability Evaluation in Model-Driven Architecture
Environments. 6th IEEE International Conference on Quality Software (QSIC 2006),
Beijing, China. IEEE Computer Society, pp. 287-294.
[3] Atterer, R. y Schmidt, A. 2005. Adding Usability to Web Engineering Models and Tools.
5th Int. Conference on Web Engineering (ICWE 2005), Australia. Springer, pp. 36‐41.
[4] Blackmon, M.H., Polson, P.G., Kitajima, M. y Lewis, C. Cognitive walkthrough for the
web. Proc. of the ACM conference on human factors in computing systems (CHI’02),
USA, 2002, pp. 463-470.
[5] Calero, C., Ruiz, J., y Piattini, M. 2005. Classifying Web metrics using the Web quality
model. Online Information Review journal. Emerald Group. 29(3), pp. 227-248.
[6] Ceri, S., Fraternali, P., y Bongio, A. 2000. Web Modeling Language (WebML): A
Modeling Language for Designing Web Sites. Proc. of the 9th WWW Conf. pp. 137-157.
[7] Cockton, G., Lavery, D., y Woolrychn, A. 2003. Inspection-based evaluations. Jacko, J.A.,
Sears, A., (Eds.), The Human-Computer Interaction Handbook, 2nd ed. Lawrence
Erlbaum Associates, pp. 1171-1190.
[8] Conte, T., Massollar, J., Mendes, E., y Travassos, G. H. 2007. Usability Evaluation Based
on Web Design Perspectives. 1st Int. Symposium on Empirical Software Engineering and
Measurement (ESEM 2007), Spain, pp. 146-155.
[9] Fernandez, A., Insfran, E., y Abrahão, S. 2009. Integrating a Usability Model into a
Model-Driven Web Development Process. 10th Inter. Conference on Web Information
Systems Engineering (WISE 2009), pp. 497-510, Springer.
[10] Fernández, A., Insfrán, E. y Abrahão, S. 2009. Towards a Usability Evaluation Process for
Model-Driven Web Development. 2nd Int. Workshop on the Interplay between Usability
Evaluation and Software Development (I-USED 2009), Sweden. CEURWS.org, ISSN
1613-0073.
[11] Gómez, J., Cachero, C., y Pastor, O. 2001. Conceptual Modeling of Device-Independent
Web Applications. IEEE MultiMedia, 8(2), pp. 26-39.
[12] Insfran, E. y Fernández, A. 2008. A systematic review of usability evaluation in Web
development. 2nd International Workshop on Web Usability and Accessibility (IWWUA
2008), New Zealand, LNCS 5176, Springer, pp. 81-91.
[13] Ivory, M.Y. 2001. An Empirical Foundation for Automated Web Interface Evaluation.
PhD Thesis, University of California, Berkeley, Computer Science Division.
[14] ISO/IEC. 2001. ISO/IEC 9126-1 Standard, Software Engineering, Product Quality.
[15] ISO/IEC. 2005. ISO/IEC 25000 series, Software Engineering, Software Product Quality
Requirements and Evaluation (SQuaRE).
[16] Juristo, N., Moreno, A., y Sánchez-Segura, M.I. 2007. Guidelines for eliciting usability
functionalities. IEEE Transactions on Software Engineering, 33(11), pp. 744-758.
[17] Leavit, M. y Shneiderman, B. 2006. Research-Based Web Design & Usability Guidelines.
U.S. Government Printing Office.
[18] Molina, F. y Toval, J.A. 2009. Integrating usability requirements that can be evaluated in
design time into Model Driven Engineering of Web Information Systems. Advances in
Engineering Software 40(12), pp.1306-1317.
[19] Neuwirth, C. M. y Regli, S. H. 2002. IEEE Internet Computing Special Issue on Usability
and the Web, 6(2).

[20] Nielsen, J. 1994. Heuristic evaluation. Usability Inspection Methods (Eds. Nielsen, J., and
Mack, R.L.), John Wiley & Sons, NY.
[21] Olsina, L. y Rossi, G. 2002. Measuring Web Application Quality with WebQEM. IEEE
Multimedia, 9(4) pp. 20-29.
[22] OMG. 2008. Software Process Engineering Meta-model v2.0 (SPEM 2),Web:
http://www.omg.org/technology/documents/ formal/spem.htm [últ. acceso: Mayo 2010]
[23] Offutt, J. 2002. Quality Attributes of Web Software Applications. IEEE Software: Special
Issue on Software Engineering of Internet Software, pp. 25‐32.
[24] Panach, J., Condori-Fernández, N., Valverde, F., Aquino, N., y Pastor, O. 2007. Towards
an Early Usability Evaluation for Web Applications. International Conference on Software
Process and Product Measurement. LNCS Springer Vol. 4895, 32-45.
[25] World Wide Web Consortium W3C: Web Content Accessibility Guidelines (WCAG) 2.0.
Disponible en http://www.w3.org/TR/WCAG/ [últ. acceso: Mayo 2010]
Anexo A: Descripción Genérica de Métricas
Nombre Operaciones cancelables (OC).
Atributo Facilidad de uso / Controlabilidad / Soporte a la cancelación
Descripción
genérica
Ratio entre el número de funciones u operaciones que no pueden ser
canceladas por el usuario antes de su finalización y el número total de
funciones u operaciones predispuestas a ser canceladas.
Rango valores Valor real entre 0 y 1.
Interpretación Cuanto mayor es el valor, la aplicación Web presenta peor controlabilidad
ya que es necesario recurrir a acciones externas de la aplicación Web
(herramientas del navegador) para regresar a estados anteriores si hemos
llegado a un estado donde queremos cancelar la interacción en curso
Aplicable a
nivel
PIM: si los modelos de navegación expresan caminos de cancelación.
PSM: si los modelos de IU concretos expresan opciones de cancelación.
CM: si la interfaz de usuario final expresa opciones de cancelación.
Nombre Proporción de nombres significativos para enlaces (PNS)
Atributo Facilidad de aprendizaje / Predictibilidad / Enlaces significativos
Descripción
genérica
Ratio entre el número de enlaces con nombre no significativo y el total de
enlaces en un mismo artefacto
Rango valores Valor real entre 0 y 1.
Interpretación Valores cercanos a 0 indican que el usuario puede predecir correctamente
el destino de los enlaces. Valores cercanos a 1 indicarían una falta de
predictibilidad en los resultados esperados al seguir un enlace.
Aplicable a PIM: si los modelos de IU abstracta expresan los textos de los enlaces.
PSM: si los modelos de IU concretos expresan los textos de los enlaces.
CM: si la interfaz de usuario final muestra los textos de los enlaces.

07. clei 10 evaluación de usabilidad para aplicaciones web

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (19)

Similar a 07. clei 10 evaluación de usabilidad para aplicaciones web

Similar a 07. clei 10 evaluación de usabilidad para aplicaciones web (20)

Más de Juan Timoteo Cori

Más de Juan Timoteo Cori (20)

Último

Último (8)

07. clei 10 evaluación de usabilidad para aplicaciones web