Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

1/35Evaluación remota de aplicaciones móviles
híbridas: nueva aproximación en entornos reales
DeustoTech - Deusto Institute of Technology, University of Deusto
http://www.morelab.deusto.es
18 de junio de 2014
Evaluación remota de aplicaciones móviles híbridas:
nueva aproximación en entornos reales
Ivan Pretel, Ana B. Lago

Motivación
Aplicaciones móviles y su evaluación
Plataforma de evaluación remota de aplicaciones híbridas
Validación
Conclusión

Motivación
Validación
Conclusión

Motivación (I)
► Gran demanda en el desarrollo de aplicaciones de
movilidad
► Heterogeneidad dentro de las plataformas existentes
► Nuevos lenguajes y estándares
► Cambio en el desarrollo de aplicaciones móviles
► Aparición de la aplicación web móvil e híbrida
Motivación

Motivación (II)
► Usabilidad móvil
► Gran salto del contexto típico de escritorio a cualquier tipo
de entorno
► Limitaciones
► Aunque existan varios estándares relacionados como ISO
9241-11 o ISO 9126-4 no ofrecen pautas específicas para el
contexto dinámico, característico de las aplicaciones móviles
► Las herramientas existentes capturan propiedades estáticas
del contexto en uso como las tareas a realizar, propiedades
del usuario y la aplicación…
Motivación

Motivación
Validación
Conclusión

Aplicaciones móviles y su evaluación – Tipos (I)
► Aplicaciones nativas
► Residen en el dispositivo
► Acceso mediante invocación dentro del terminal
► El acceso al hardware (altavoces, acelerómetro, GPS,
llamadas,…) del dispositivo es posible
► Portabilidad:
– Se desarrollan íntegramente en un entorno de desarrollo
específico
– Son desarrolladas para una plataforma concreta
……
…

Aplicaciones móviles y su evaluación - Tipos (II)
► Aplicaciones web móviles
► Sitios web con “Look and Feel” nativo
► Acceso mediante navegador web móvil
► El acceso al hardware muy limitado.
► Portabilidad:
– Son desarrolladas en HTML y JavaScript
– Son desarrolladas para cualquier plataforma

Aplicaciones móviles y su evaluación - Tipos (III)
► Aplicaciones híbridas
► Diseñadas para abarcar la portabilidad de las aplicaciones
web y el amplio acceso de las nativas
► Reduce el coste y soporta múltiples plataformas
► Aplicaciones ricas

Aplicaciones móviles y su evaluación -
Evaluación(I)
► Evaluación con usuarios (Clasificación de método en
función del contexto)
► Laboratorio
► Se recopila información de la interacción con entornos
controlados, con usuarios específicos y dispositivos
concretos
► Variables de contexto limitadas
► Alto control sobre las variables
► Objetividad muy baja ya que el usuario es consciente de que
está siendo grabado

Evaluación(II)
► Evaluación con usuarios (Clasificación de método en
función del contexto)
► Entornos reales
► Se recopila información de la interacción con agentes de
captura y utilizando métodos invasivos
► Variables ilimitadas
► No hay casi control sobre las variables de contexto
► Objetividad dependiendo del método y los agentes de
captura añadidos
– Observadores que siguen al usuario
– Cámaras añadidas al dispositivo o al usuario

Evaluación(III)
► Evaluación remota en entornos reales
► Factores de contexto según Maguire*
► Usuario
– Conocimiento, la habilidad, la experiencia, la educación, la
formación, los atributos físicos y las capacidades sensoriales.
► Tarea
– Las actividades realizadas para lograr el objetivo que se busca
al utilizar el software.
► Entorno
– Tres subtipos
» El entorno físico
» El entorno técnico
» El entorno social
* www.usertesting.com
* www.userlytics.com
* www.loop11.com
* www.whatusersdo.com
* M. Maguire, “Context of use within usability activities”, International Journal of Human-Computer Studies, vol. 55, no 4, 2001, pp. 453–48
Herramientas Usuario Tarea Entorno
UserTesting* Sí Sí Pocos parám.
Userlytics* Sí Sí Pocos parám.
Loop11* Sí Sí Pocos parám.
WhatUsersDo* Sí Sí Pocos parám.

Motivación
Validación
Conclusión

Plataforma de evaluación remota de
aplicaciones híbridas - Diseño
► Diseño
► Se toma como base el modelo mostrado por las
herramientas de evaluación remota existentes:
► Plataforma web donde se registran los usuarios y realizar las
pruebas
► Extensión de la captura de elementos añadiendo variables
del entorno
► Tecnologías
► Android
► PhoneGap
– Gran popularidad
– Arquitectura basada
en plugins

aplicaciones híbridas – Arquitectura (I)
► Aplicación móvil híbrida
► Dentro del código Javascript se ha
creado un fichero remotetooleval.js
con el que se hacen llamadas a
CordovaPlugin.
► Éste a su vez llama a las
funciones de captura del Proxy de
captura que genera mensajes de
sistema y los envía al servicio de
captura

aplicaciones híbridas – Arquitectura (II)
► Servicio de captura
► Recibe los mensajes generados
por el plugin de PhoneGap.
► En función del mensaje recibido
se pone en funcionamiento, se
para o registra los diferentes
eventos de interacción.
► Captura, almacena y envía al
servidor las variables dinámicas
que conforman el factor entorno
dentro del contexto en uso (nivel
de ruido, luminosidad, nivel de
carga de la batería, cobertura…)
junto con la interacción.

aplicaciones híbridas – Arquitectura (III)
► Servidor
► Los usuarios de prueba pueden
descargarse el servicio de captura
y darse de alta.
► Los desarrolladores pueden
registrarse, subir aplicaciones y
descargar los datos de las
pruebas generadas por los
usuarios.

aplicaciones híbridas - Metodología
► Metodología de evaluación
► Dos roles: desarrollador y usuario de pruebas
Desarrollo
Aplicación Híbrida
Adición de plugin
Definición
de tareas
Registro de
Aplicación Híbrida
en la plataforma
Visualización
Resultados
Descarga e
Instalación
servicio de
captura
Registro en la
plataforma
Descarga de
Aplicación
Híbrida
Ejecución de
las tareas
Subida de
información
Usuario
Entorno técnico
Entorno social
Tareas
Entorno físico
Entorno técnico

Motivación
Validación
Conclusión

Validación
► Hipótesis
► Mediante la plataforma de evaluación remota de aplicaciones
híbridas expuesta en este trabajo se puede obtener factores de
contexto en uso dinámicos con un sesgo mínimo en la
interacción
► ¿Qué elementos del contexto pueden ser afectados y
sesgar la interacción?
► Usuario: es consciente de que se le está monitorizando
► Dispositivo: se limitan sus recursos al ejecutar el código de
captura de interacción
► ¿En qué medida?

Validación – Experimento (I)
► Diseño
► Aplicación real open source
► Fresh Food Finder
► Modificación de su código fuente para
añadir el plugin
► 2 versiones (una monitoriza y otra no)
► Aplicación lanzadera
► Lanza las dos versiones de un modo
que el usuario no sabe cuál de las dos
está ejecutándose
► Medición
► Diferencia de tiempos entre tareas con y
sin interacción monitorizada(TA – TB ≈ 0)
► Si el sujeto puede ser consciente de que
está siendo monitorizado
* http://www.tricedesigns.com/fresh-food-finder/

Validación – Experimento (II)
► Protocolo
► 1. Se explica a los participantes el
funcionamiento de la aplicación y se deja que
realicen las tareas 3 veces con el objetivo de
eliminar el efecto aprendizaje
► 2. Los usuarios realizan las 3 tareas en 2
bloques y se repite con un segundo dispositivo
► 3. Al finalizar las pruebas se explica al usuario
que uno de los bloques disponía de un servicio
que capturaba la interacción
► 4. Se pregunta al usuario si es capaz de
deducir qué bloque de tareas estaba
monitorizando la interacción y el grado de
seguridad de la respuesta
► 5. Se pide permiso para utilizar los datos
capturados sin mostrar ningún dato personal
* http://www.tricedesigns.com/fresh-food-finder/

Validación – Resultados (I)
► Influencia subjetiva
► El 100% de los sujetos del experimento no han notado
influencia
► Han respondido a la pregunta de “¿Con qué grado de
seguridad dirías que el bloque de tareas A ha monitorizado
tu interacción?” con menos de un 30%
► Dentro de los comentarios hechos por los sujetos destaca
la apreciación de una ligera ralentización a la hora de
arrancar las aplicaciones.
► Este hecho no era originado por la plataforma de captura ya
que se manifestaba en ambas versiones.

Validación – Resultados (II)
► Medidas objetivas
► La diferencia de tiempos entre las versiones a la hora de realizar
las tareas.
– Tiempo de versión con captura - Tiempo de versión sin captura
– TA – TB ≈ 0
► Smartphone: + 0,22 segundos
► Tablet: + 0,8 segundos
► Siendo las medias positivas en ambos casos se distingue
ralentización pero no apreciable por el sujeto

Motivación
Validación
Conclusión

Conclusiones
► Es posible complementar la captura de los factores
dinámicos del contexto utilizando el propio terminal
móvil.
► Se ha demostrado mediante la evaluación de una
aplicación real la viabilidad de dicha aproximación
► Habiendo medido el nivel en el que la misma puede
afectar
► Nivel objetivo (los sujetos no han sido capaces de percibir la
plataforma)
► Nivel subjetivo (midiendo el desvío en tiempos de tarea)

Trabajo futuro
► Expandir el cálculo de métricas a las relacionadas con la
satisfacción mediante cuestionarios remotos
► También se propone la realización de un nuevo
experimento mucho más exhaustivo y estadísticamente
significativo (aumentado el número de sujetos)
► Estudiar las correlaciones entre las propiedades del
entorno y las métricas de evaluación

Muchas gracias por su
atención

DeustoTech - Deusto Institute of Technology, University of Deusto
http://www.morelab.deusto.es
Evaluación remota de aplicaciones móviles híbridas: nueva
aproximación en entornos reales
Iván Pretel
{ivan.pretel@deusto.es}

All rights of images are reserved by the original
owners*, the rest of the content is licensed under a
Creative Commons by-sa 3.0 license.
*
• https://www.flickr.com/photos/jasonahowie/7910370882
• https://www.flickr.com/photos/osamukaneko/9142476993
• https://www.iconfinder.com/iconsets/rcons-social
• https://www.flickr.com/photos/kwl/4247555680
• https://www.flickr.com/photos/yparis/5494795444
• https://www.flickr.com/photos/halfrain/5690273284

Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Más contenido relacionado

Destacado

Similar a Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales

Evaluación remota de aplicaciones móviles híbridas: nueva aproximación en entornos reales