Dentro del campo de la investigación en usabilidad, los dispositivos móviles han cobrado especial fuerza. Este tipo de dispositivos han mejorado sus propiedades exponencialmente dotándose de capacidades de trabajo dignas de un ordenador personal y de pequeños sensores que enriquecen las aplicaciones. Por el contrario, el desarrollo del campo de usabilidad para este tipo de aplicaciones y dispositivos no ha avanzado a un nivel acorde. Aunque existen varios estándares y metodologías de evaluación, no existe una herramienta de evaluación remota específica para entornos de contextos dinámicos, muy característicos de este tipo de dispositivos. Por ello, se expone mediante este trabajo una plataforma de evaluación remota que registra las propiedades del contexto en uso mediante el mismo dispositivo. Asimismo se presenta una evaluación preliminar realizada con una aplicación móvil híbrida real donde se estudia el bajo nivel de influencia de la plataforma dentro de la interacción.

1. 1/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
DeustoTech - Deusto Institute of Technology, University of Deusto
http://www.morelab.deusto.es
18 de junio de 2014
Evaluación remota de aplicaciones móviles híbridas:
nueva aproximación en entornos reales
Ivan Pretel, Ana B. Lago

2. 2/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Motivación
Aplicaciones móviles y su evaluación
Plataforma de evaluación remota de aplicaciones híbridas
Validación
Conclusión

3. 3/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Motivación
Aplicaciones móviles y su evaluación
Plataforma de evaluación remota de aplicaciones híbridas
Validación
Conclusión

4. 4/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales

5. 5/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Motivación (I)
► Gran demanda en el desarrollo de aplicaciones de
movilidad
► Heterogeneidad dentro de las plataformas existentes
► Nuevos lenguajes y estándares
► Cambio en el desarrollo de aplicaciones móviles
► Aparición de la aplicación web móvil e híbrida
Motivación

6. 6/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Motivación (II)
► Usabilidad móvil
► Gran salto del contexto típico de escritorio a cualquier tipo
de entorno
► Limitaciones
► Aunque existan varios estándares relacionados como ISO
9241-11 o ISO 9126-4 no ofrecen pautas específicas para el
contexto dinámico, característico de las aplicaciones móviles
► Las herramientas existentes capturan propiedades estáticas
del contexto en uso como las tareas a realizar, propiedades
del usuario y la aplicación…
Motivación

7. 7/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales

8. 8/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Motivación
Aplicaciones móviles y su evaluación
Plataforma de evaluación remota de aplicaciones híbridas
Validación
Conclusión

9. 9/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Aplicaciones móviles y su evaluación – Tipos (I)
► Aplicaciones nativas
► Residen en el dispositivo
► Acceso mediante invocación dentro del terminal
► El acceso al hardware (altavoces, acelerómetro, GPS,
llamadas,…) del dispositivo es posible
► Portabilidad:
– Se desarrollan íntegramente en un entorno de desarrollo
específico
– Son desarrolladas para una plataforma concreta
……
…

10. 10/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Aplicaciones móviles y su evaluación - Tipos (II)
► Aplicaciones web móviles
► Sitios web con “Look and Feel” nativo
► Acceso mediante navegador web móvil
► El acceso al hardware muy limitado.
► Portabilidad:
– Son desarrolladas en HTML y JavaScript
– Son desarrolladas para cualquier plataforma

11. 11/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Aplicaciones móviles y su evaluación - Tipos (III)
► Aplicaciones híbridas
► Diseñadas para abarcar la portabilidad de las aplicaciones
web y el amplio acceso de las nativas
► Reduce el coste y soporta múltiples plataformas
► Aplicaciones ricas

12. 12/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Aplicaciones móviles y su evaluación -
Evaluación(I)
► Evaluación con usuarios (Clasificación de método en
función del contexto)
► Laboratorio
► Se recopila información de la interacción con entornos
controlados, con usuarios específicos y dispositivos
concretos
► Variables de contexto limitadas
► Alto control sobre las variables
► Objetividad muy baja ya que el usuario es consciente de que
está siendo grabado

13. 13/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Aplicaciones móviles y su evaluación -
Evaluación(II)
► Evaluación con usuarios (Clasificación de método en
función del contexto)
► Entornos reales
► Se recopila información de la interacción con agentes de
captura y utilizando métodos invasivos
► Variables ilimitadas
► No hay casi control sobre las variables de contexto
► Objetividad dependiendo del método y los agentes de
captura añadidos
– Observadores que siguen al usuario
– Cámaras añadidas al dispositivo o al usuario

14. 14/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Aplicaciones móviles y su evaluación -
Evaluación(III)
► Evaluación remota en entornos reales
► Factores de contexto según Maguire*
► Usuario
– Conocimiento, la habilidad, la experiencia, la educación, la
formación, los atributos físicos y las capacidades sensoriales.
► Tarea
– Las actividades realizadas para lograr el objetivo que se busca
al utilizar el software.
► Entorno
– Tres subtipos
» El entorno físico
» El entorno técnico
» El entorno social
* www.usertesting.com
* www.userlytics.com
* www.loop11.com
* www.whatusersdo.com
* M. Maguire, “Context of use within usability activities”, International Journal of Human-Computer Studies, vol. 55, no 4, 2001, pp. 453–48
Herramientas Usuario Tarea Entorno
UserTesting* Sí Sí Pocos parám.
Userlytics* Sí Sí Pocos parám.
Loop11* Sí Sí Pocos parám.
WhatUsersDo* Sí Sí Pocos parám.

15. 15/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales

16. 16/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Motivación
Aplicaciones móviles y su evaluación
Plataforma de evaluación remota de aplicaciones híbridas
Validación
Conclusión

17. 17/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Plataforma de evaluación remota de
aplicaciones híbridas - Diseño
► Diseño
► Se toma como base el modelo mostrado por las
herramientas de evaluación remota existentes:
► Plataforma web donde se registran los usuarios y realizar las
pruebas
► Extensión de la captura de elementos añadiendo variables
del entorno
► Tecnologías
► Android
► PhoneGap
– Gran popularidad
– Arquitectura basada
en plugins

18. 18/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Plataforma de evaluación remota de
aplicaciones híbridas – Arquitectura (I)
► Aplicación móvil híbrida
► Dentro del código Javascript se ha
creado un fichero remotetooleval.js
con el que se hacen llamadas a
CordovaPlugin.
► Éste a su vez llama a las
funciones de captura del Proxy de
captura que genera mensajes de
sistema y los envía al servicio de
captura

19. 19/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Plataforma de evaluación remota de
aplicaciones híbridas – Arquitectura (II)
► Servicio de captura
► Recibe los mensajes generados
por el plugin de PhoneGap.
► En función del mensaje recibido
se pone en funcionamiento, se
para o registra los diferentes
eventos de interacción.
► Captura, almacena y envía al
servidor las variables dinámicas
que conforman el factor entorno
dentro del contexto en uso (nivel
de ruido, luminosidad, nivel de
carga de la batería, cobertura…)
junto con la interacción.

20. 20/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Plataforma de evaluación remota de
aplicaciones híbridas – Arquitectura (III)
► Servidor
► Los usuarios de prueba pueden
descargarse el servicio de captura
y darse de alta.
► Los desarrolladores pueden
registrarse, subir aplicaciones y
descargar los datos de las
pruebas generadas por los
usuarios.

21. 21/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Plataforma de evaluación remota de
aplicaciones híbridas - Metodología
► Metodología de evaluación
► Dos roles: desarrollador y usuario de pruebas
Desarrollo
Aplicación Híbrida
Adición de plugin
Definición
de tareas
Registro de
Aplicación Híbrida
en la plataforma
Visualización
Resultados
Descarga e
Instalación
servicio de
captura
Registro en la
plataforma
Descarga de
Aplicación
Híbrida
Ejecución de
las tareas
Subida de
información
Usuario
Entorno técnico
Entorno social
Tareas
Entorno físico
Entorno técnico

22. 22/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Motivación
Aplicaciones móviles y su evaluación
Plataforma de evaluación remota de aplicaciones híbridas
Validación
Conclusión

23. 23/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales

24. 24/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Validación
► Hipótesis
► Mediante la plataforma de evaluación remota de aplicaciones
híbridas expuesta en este trabajo se puede obtener factores de
contexto en uso dinámicos con un sesgo mínimo en la
interacción
► ¿Qué elementos del contexto pueden ser afectados y
sesgar la interacción?
► Usuario: es consciente de que se le está monitorizando
► Dispositivo: se limitan sus recursos al ejecutar el código de
captura de interacción
► ¿En qué medida?

25. 25/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Validación – Experimento (I)
► Diseño
► Aplicación real open source
► Fresh Food Finder
► Modificación de su código fuente para
añadir el plugin
► 2 versiones (una monitoriza y otra no)
► Aplicación lanzadera
► Lanza las dos versiones de un modo
que el usuario no sabe cuál de las dos
está ejecutándose
► Medición
► Diferencia de tiempos entre tareas con y
sin interacción monitorizada(TA – TB ≈ 0)
► Si el sujeto puede ser consciente de que
está siendo monitorizado
* http://www.tricedesigns.com/fresh-food-finder/

26. 26/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Validación – Experimento (II)
► Protocolo
► 1. Se explica a los participantes el
funcionamiento de la aplicación y se deja que
realicen las tareas 3 veces con el objetivo de
eliminar el efecto aprendizaje
► 2. Los usuarios realizan las 3 tareas en 2
bloques y se repite con un segundo dispositivo
► 3. Al finalizar las pruebas se explica al usuario
que uno de los bloques disponía de un servicio
que capturaba la interacción
► 4. Se pregunta al usuario si es capaz de
deducir qué bloque de tareas estaba
monitorizando la interacción y el grado de
seguridad de la respuesta
► 5. Se pide permiso para utilizar los datos
capturados sin mostrar ningún dato personal
* http://www.tricedesigns.com/fresh-food-finder/

27. 27/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales

28. 28/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Validación – Resultados (I)
► Influencia subjetiva
► El 100% de los sujetos del experimento no han notado
influencia
► Han respondido a la pregunta de “¿Con qué grado de
seguridad dirías que el bloque de tareas A ha monitorizado
tu interacción?” con menos de un 30%
► Dentro de los comentarios hechos por los sujetos destaca
la apreciación de una ligera ralentización a la hora de
arrancar las aplicaciones.
► Este hecho no era originado por la plataforma de captura ya
que se manifestaba en ambas versiones.

29. 29/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Validación – Resultados (II)
► Medidas objetivas
► La diferencia de tiempos entre las versiones a la hora de realizar
las tareas.
– Tiempo de versión con captura - Tiempo de versión sin captura
– TA – TB ≈ 0
► Smartphone: + 0,22 segundos
► Tablet: + 0,8 segundos
► Siendo las medias positivas en ambos casos se distingue
ralentización pero no apreciable por el sujeto

30. 30/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Motivación
Aplicaciones móviles y su evaluación
Plataforma de evaluación remota de aplicaciones híbridas
Validación
Conclusión

31. 31/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Conclusiones
► Es posible complementar la captura de los factores
dinámicos del contexto utilizando el propio terminal
móvil.
► Se ha demostrado mediante la evaluación de una
aplicación real la viabilidad de dicha aproximación
► Habiendo medido el nivel en el que la misma puede
afectar
► Nivel objetivo (los sujetos no han sido capaces de percibir la
plataforma)
► Nivel subjetivo (midiendo el desvío en tiempos de tarea)

32. 32/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Trabajo futuro
► Expandir el cálculo de métricas a las relacionadas con la
satisfacción mediante cuestionarios remotos
► También se propone la realización de un nuevo
experimento mucho más exhaustivo y estadísticamente
significativo (aumentado el número de sujetos)
► Estudiar las correlaciones entre las propiedades del
entorno y las métricas de evaluación

33. 33/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
Muchas gracias por su
atención

34. 34/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
DeustoTech - Deusto Institute of Technology, University of Deusto
http://www.morelab.deusto.es
Evaluación remota de aplicaciones móviles híbridas: nueva
aproximación en entornos reales
Iván Pretel
{ivan.pretel@deusto.es}

35. 35/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
All rights of images are reserved by the original
owners*, the rest of the content is licensed under a
Creative Commons by-sa 3.0 license.
*
• https://www.flickr.com/photos/jasonahowie/7910370882
• https://www.flickr.com/photos/osamukaneko/9142476993
• https://www.iconfinder.com/iconsets/rcons-social
• https://www.flickr.com/photos/kwl/4247555680
• https://www.flickr.com/photos/yparis/5494795444
• https://www.flickr.com/photos/halfrain/5690273284