Mobile testing, ¿cómo enfrentar los nuevos desafíos?
•Descargar como PPTX, PDF•
0 recomendaciones•887 vistas
El documento discute los desafíos del testing de aplicaciones móviles, incluyendo la variedad de dispositivos, sistemas operativos y versiones. Recomienda probar en 5-10 dispositivos representativos seleccionados en base al riesgo, abarcando diferentes tamaños, gamas y sistemas operativos. También presenta herramientas como emuladores, simuladores y plataformas en la nube para automatizar pruebas en múltiples dispositivos de forma remota.
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
Similar a Mobile testing, ¿cómo enfrentar los nuevos desafíos?
Similar a Mobile testing, ¿cómo enfrentar los nuevos desafíos? (20)
Más de Abstracta
Más de Abstracta (13)
Mobile testing, ¿cómo enfrentar los nuevos desafíos?
- 1. Mobile testing ¿CÓMO ENFRENTAR LOS NUEVOS DESAFÍOS? #GX24 #GX24 #mobiletesting PhD. Federico Toledo federico.toledo@abstracta.com.uy @fltoledo Ing. Guillermo Skrilec gskrilec@genexusconsulting.com @gskrilec
- 2. bit.do/librodetesting ¿Es suficiente para ser un buen tester de aplicaciones mobile? #GX24 #mobiletesting
- 3. Nuevos ingredientes para la vieja receta del testing Desafío por la variedad de dispositivos Saber cómo se hace, para saber cómo se puede romper #GX24 #mobiletesting Nuevas herramientas
- 4. Desafío por la variedad de dispositivos
- 5. ¿Puedo usar Emuladores? Dispositivo (Red de datos) Dispositivo (Wi-Fi + Simulador de red) #GX24 #mobiletesting White paper from tcs.com: Mobile application testing Emuladores
- 6. #GX24 #mobiletesting ¿Emuladores o dispositivos?
- 7. Emuladores – Ventajas #GX24 #mobiletesting • Reducir costos
- 8. Emuladores – Desventajas No son reales. No se prueba la verdadera sensación del usuario al dispositivo. No se puede medir la performance real del dispositivo. No cuenta con implementaciones del fabricante: (tienen la implementación oficial de Android). #GX24 #mobiletesting No cuenta con sensores reales. No tienen plan de datos. …
- 9. #GX24 #mobiletesting ¿Emuladores o simuladores?
- 10. En iOS solo hay Simuladores #GX24 #mobiletesting
- 11. Lo que mata es la variedad. ¡En mi celular anda! ¿Cómo seleccionar los dispositivos? #GX24 #mobiletesting ¿EN QUÉ DISPOSITIVOS PRUEBO?
- 12. Entonces, ¿qué dispositivos elijo? ? ? ? ? #GX24 #mobiletesting Entre 5 y 10 dispositivos. ? Selección basada en riesgo.
- 13. Testing basado en Riesgo Los dispositivos más usados. #GX24 #mobiletesting
- 14. Testing basado en Riesgo Menos recursos. Los que no hemos probado. Dispositivos más nuevos. #GX24 #mobiletesting
- 15. Preguntas para seleccionar los dispositivos (1/4) ¿Smartphones o tablets? ¿O ambos? #GX24 #mobiletesting
- 16. Preguntas para seleccionar los dispositivos (2/4) #GX24 #mobiletesting ¿Variedad de tamaños de pantalla?
- 17. Preguntas para seleccionar los dispositivos (3/4) ¿Se cuenta con al menos un gama baja y un gama alta? #GX24 #mobiletesting
- 18. Preguntas para seleccionar los dispositivos (4/4) #GX24 #mobiletesting
- 19. Preguntas para seleccionar los dispositivos (4/4) #GX24 #mobiletesting Para cada Sistema Operativo ¿Cuáles son los dispositivos y versiones más populares del público objetivo? ¿Cómo calculo eso?
- 20. Diversidad en Android Estadísticas iniciales proporcionadas por Android. http://developer.android.com/about/dashboards/index.html #GX24 #mobiletesting
- 21. #GX24 #mobiletesting Diversidad iOS Septiembre de 2014: 95% en la versión anterior o superior - 49% en iOS 7 - 46% en iOS 8
- 22. Estadísticas solo al inicio #GX24 #mobiletesting
- 23. Google Analytics – por SO #GX24 #mobiletesting
- 24. Google Analytics – por dispositivo ¡Ojo con esto! • ¿No será que estos son los dispositivos más comunes porque #GX24 #mobiletesting no funcionan en el resto?
- 25. #GX24 #mobiletesting Set de ejemplo Dispositivo Tipo Gama Sistema Operativo iPad Mini Tablet Alta iOS 7 iPhone 5S Smart Phone Alta iOS 8 Galaxy Tab Tablet Alta Android 4.4 Sony Xperia X10 Smart Phone Baja Android 2.1 Galaxy ACE Smart Phone Baja Android 2.2
- 26. ¡¿Pruebo todo en todos los dispositivos?! #GX24 #mobiletesting Set de ejemplo Dispositivo Tipo Gama Sistema Operativo iPad Mini Tablet Alta iOS 7 iPhone 5S Smart Phone Alta iOS 8 Galaxy Tab Tablet Alta Android 4.4 Sony Xperia X10 Smart Phone Baja Android 2.1 Galaxy ACE Smart Phone Baja Android 2.2
- 27. Cobertura en el tiempo #GX24 #mobiletesting Versión 1 Test Suite Critica Todos los dispositivos Test Suite 1 iPad Mini Test Suite 2 iPhone 5S Test Suite 3 Galaxy Tab Test Suite 4 Xperia Test Suite 5 ACE Versión 2 Todos los dispositivos ACE iPad Mini iPhone 5S Galaxy Tab Xperia Versión 4 Todos los dispositivos Galaxy Tab Xperia ACE iPad Mini iPhone 5S Versión 3 Todos los dispositivos Xperia ACE iPad Mini iPhone 5S Galaxy Tab Tiempo Versión 5 Todos los dispositivos iPhone 5S Galaxy Tab Xperia ACE iPad Mini
- 28. Ok, ya sé qué dispositivos elijo ¿Todos vamos a comprar un set? #GX24 #mobiletesting
- 30. COMPARTIR: OpenDeviceLab.com #GX24 #mobiletesting
- 31. Open Device Lab - Uruguay • Donaciones de particulares: – 4 Android gama baja – 1 Android gama alta – 1 iPhone – 1 FirefoxOS – 1 Tablet Android • Convenios con proveedores. • Reservas y donaciones ODL@abstracta.com.uy #GX24 #mobiletesting @OpenDeviceLabUY
- 32. Saber cómo se hace, para saber cómo se puede romper
- 33. Ciclo de vida App iOS - No ejecutando, pero debe poder enviar notificaciones. - Activa, recibe eventos de usuario. - Inactiva, no recibe eventos. - Background, ejecuta código. - Suspendida, no ejecuta código. - Abrirla por primera vez. #GX24 #mobiletesting
- 34. Integración Apps Android #GX24 #mobiletesting
- 35. #GX24 #mobiletesting Sensores Android
- 36. #GX24 #mobiletesting Mock Location
- 37. #GX24 #mobiletesting iOS 8
- 38. #GX24 #mobiletesting Pruebas “avanzadas”
- 40. Muchas herramientas Ejecución automática Reproducir en distintos dispositivos Dispositivos remotos SaaS (PaaS) Capturadores de tráfico #GX24 #mobiletesting @monkopapps
- 41. Ghostlab #GX24 #mobiletesting @monkopapps
- 42. Remote preview #GX24 #mobiletesting @monkopapps
- 44. Rápido y sin esfuerzo 1. monkop.com 2. Subir APP 3. Ver reporte #GX24 #mobiletesting @monkopapps
- 45. La magia • Performance • Seguridad • Robustez • Buenas prácticas #GX24 #mobiletesting @monkopapps
- 47. Oportunidades de mejora detectadas #GX24 #mobiletesting @monkopapps
- 48. Oportunidades de mejora detectadas #GX24 #mobiletesting @monkopapps
- 49. Oportunidades de mejora detectadas #GX24 #mobiletesting @monkopapps
- 50. http://www.monkop.com #GX24 #mobiletesting @monkopapps
- 51. RESUMIENDO #GX24 #mobiletesting @monkopapps
- 52. federico.toledo@abstracta.com.uy #GX24 PhD. Federico Toledo @fltoledo Ing. Guillermo Skrilec gskrilec@genexusconsulting.com @gskrilec
Notas del editor
- Tal vez arrancar contando que venimos trabajando juntos, y que estamos viendo cada vez mayor necesidad de testing para sistemas mobile, y por eso nos resulta interesante contar sobre los desafíos de mobile testing y cómo enfrentarlos Hace un tiempo publicamos este libro q se puede descargar gratuito, lo pueden comprar impreso acá en el evento. Resume un montón de buenas prácticas para pruebas de sistemas de información, pero no tiene nada particular para mobile. La pregunta que surge es ¿alguien que sabe testear una aplicación web puede testear una aplicación mobile? ¿qué otras cosas hay que saber? ¿qué nuevos desafíos se presentan? Y la verdad es que sí, que hay nuevos desafíos. Que un buen tester acostumbrado a testear sistemas web o cualquier otra plataforma, puede probar aplicaciones mobile, pero es conveniente que esté atento a estos nuevos desafíos, y a como resolverlos. Nosotros estamos trabajando en distintos proyectos, y en distintas puntas, para atacar esos desafíos que hemos identificado y los queremos compartir acá.
- FT:Dispositivos - ODL - Google Analytics - Nros: Cuantos - Emulador o no (diferencia con simulador) - Como seleccionar, etc. - Android L y otros sistemas operativos que puedan venir
- emuladores: Ideal para etapa de desarrollo, demos de funcionalidades, etc. Primeras pruebas, o para pruebas básicas Dispositivos con wi-fi: Ideal para funcionalidades estables. Pruebas en distintos dispositivos. Pruebas de experiencia de usuario. Usando simuladores de red se puede probar qué pasaría con una red de datos, pero sin gastos. Dispositivo + red de datos Recomendado sólo para un pequeño conjunto de pruebas que apuntan a aspectos dependientes del operador de telefonía, cambios de red, etc.
- Reduce costos de dispositivos: Hoy: Pudiendo probar en cualquier tipo de dispositivo. No requieren mantenimiento. No se caen al piso, no se rompen. Mañana: Cuando cambien los modelos de celulares, simplemente se carga otra imagen de celular al emulador sin tener que cambiar los dispositivos.
- emuladores: Ideal para etapa de desarrollo, demos de funcionalidades, etc. Primeras pruebas, o para pruebas básicas Dispositivos con wi-fi: Ideal para funcionalidades estables. Pruebas en distintos dispositivos. Pruebas de experiencia de usuario. Usando simuladores de red se puede probar qué pasaría con una red de datos, pero sin gastos. Dispositivo + red de datos Recomendado sólo para un pequeño conjunto de pruebas que apuntan a aspectos dependientes del operador de telefonía, cambios de red, etc.
- Si pruebo en mi celular, luego tenemos el clásico problema de “en mi máquina anda” lo vamos a sustituir por “en mi celular anda” Variedad de Sistemas operativos Versiones En Android variedad por fabricante Es fácil actualizar el SO, y el usuario espera que sus apps sigan funcionando igual
- Por ahí se cuenta que el número de dispositivos a probar es entre 5 y 10
- ¿Cuál es la versión más antigua que la aplicación debe soportar? Cuál es la última? Cuál es la que viene en el dispositivo más popular?
- Armin compartió por twitter esta información actualizada
- Las estadísticas sirven para el inicio cuando no sabemos nada de nuestros usuarios.
- Qué nos queda afuera??? resoluciones, gama alta y baja en tablets y celulares Fabricantes Cuáles son los más populares?
- Qué nos queda afuera??? resoluciones, gama alta y baja en tablets y celulares Fabricantes Cuáles son los más populares?
- Todo lo tengo que probar en todos los dispositivos?
- Entonces: Necesito entre 5 y 10 dispositivos. Costo no despreciable: Inversión inicial. Mantenimiento. Los subutilizamos. ¿Alternativas?
- En las aplicaciones mobile, es muy importante entender como se comportan (cómo están hechas), para saber donde pueden estar los defectos y ser mas eficientes en las pruebas. Para esto les quiero mostrar brevemente el ciclo de vida de una aplicación mobile.
- Es importante comprender el ciclo de visa, porque permite diseñar pruebas para distintas situaciones que suceden en la realidad. El ciclo de vida de una aplicación es iOS es así: Primero cuando la aplicación no está ejecutando, es el primer estado y es interesante entender que hay pruebas para hacer con la aplicación en este estado. Por ejemplo enviar una notificación a los usuarios que tienen la aplicación instalada (y las notificaciones habilitadas). Un ejemplo de esto es la aplicación del evento, que les avisa cuando va a comenzar una charla. Luego la aplicación está activa (una vez que se ejecuta), y es cuando recibe eventos de usuario. Este es el estado en el que hacemos las pruebas normalmente. Pero es importante entender que existen interrupciones que puede haber cuando al aplicación está ejecutando, por ejemplo una llamada entrante o un SMS recibido. En estos casos la aplicación pasa a un estado de inactividad. Es importante probar que sucede cuando ocurren las interrupciones, el comportamiento esperado es que vuelva la aplicación en el mismo estado que estaba antes. Aplicaciones que tienen mapas por ejemplo, deberían conservar la ubicación seleccionada anteriormente y no volver a cargarse. También es importante saber que existen otros estados, por ejemplo la aplicación puede quedar en background y en este estado la misma puede estar ejecutando código. Un escenario donde hemos hecho esta tipo de pruebas es al descargar información, ya que no nos quedamos esperando que termine la descarga, sino que cambiamos de aplicación mientras tanto y esperamos que la descarga continúe. Finalmente, la aplicación puede pasar a estar suspendida, donde no se encuentra ejecutando código, pero de todas formas hay que hacer pruebas en este estado, por ejemplo si se puede enviar una notificación con la aplicación en este estado. Sabiendo esto, hay algunas pruebas que son importante que se realicen, por ejemplo, es común que se comience a probar una aplicación, se abre por primera vez y se ingresa el usuario y password. Las sucesivas pruebas se realizan con esa sesión iniciada y generalmente nos olvidamos de cerrar la aplicación, o incluso cerrar sesión y probar específicamente esa funcionalidad (en aplicaciones web esto es más común porque la sesión generalmente expira cada pocos minutos). Pruebas como iniciar sesión, luego cerrar la misma sin cerrar la aplicación, y realizar la misma pruebas cerrando la aplicación podría tener un comportamiento distinto. En Android también hay un ciclo de vida para las aplicaciones, no voy a explicarlo en esta presentación, pero hay conceptos que se comparten, por ejemplo la ejecución de código en algunos estados.
- Lo que les voy a contar de Android es la integración que puede tener la aplicación con otras aplicaciones del dispositivo. Generalmente cuando hablamos de pruebas de integración, todos pensamos la integración de la aplicación con los servicios que se encuentran en otro servidor, etc. Pero en realidad este concepto de integración también es importante para smart devices. Un concepto propio de Android es el de “intents”. Los intentos son la forma que tiene Android de comunicarse con otras aplicaciones (en realidad entre actividades de la misma aplicación también). Por ejemplo cuando estoy viendo una foto y quiero enviarla por mail, se genera un intento y las aplicaciones que tienen la capacidad de enviar la foto por mail son las que aparecen en la lista. Mis aplicaciones entonces, pueden saber interpretar algún tipo de información, y por eso también es importante probar de forma integrada con otras aplicación que podrían querer guardar o mostrar información en mi aplicación. En este ejemplo vemos que la aplicación de gmail es capaz de mostrar la bandeja de entrada, y luego un correo en particular, luego se genera un intento para abrir una URL (si estoy desarrollando un browser, podría responder este tipo de intentos) y en el browser a su vez se podría llamar a otra aplicación para reproducir un video. Es importante realizar pruebas pensando en la integración que tiene mi aplicación con otras del dispositivos, porque la información que es pasa en los intentos debe ser correcta para que la otra aplicación la pueda interpretar y utilizarla de forma correcta. Un ejemplo sencillo en la aplicación del evento, que permite agendar una charla en el calendario. Si la información que se pasa es incorrecta, entonces va a quedar mal agendada la charla en el calendario.
- Los sensores son otros de los aspectos que hace las aplicaciones más complejas. No voy a entrar en detalle con el funcionamiento de todos los sensores que puede hacer uso una aplicación, como pueden ver son muchos y cada vez hay más. Algunos ejemplos, sensores de luz, presión, orientación, etc.
- Vamos a un ejemplo sencillo, una aplicación que hace uso del GPS es importante probarla en distintas ubicaciones, cómo podemos hacer esto? Bueno, hay varias alternativas, una primera forma es utilizando el emulador y en un IDE como Eclipse puedo indicar las coordenadas del GPS, como pueden ver en la imagen. Pero que pasa si quiero probar en un dispositivo real? Bueno, como parte de las funciones para desarrolladores de Android hay una que se llama “mock location”. Hay que activarla en el dispositivo y ahora permite cambiar la localización usando alguna aplicación que hace esto. Estas aplicaciones permiten Pero también se puede probar en un dispositivos reales, utilizando las funciones de desarrollador de Android, específicamente una conocida como “mock location”. Si buscan hay aplicaciones para esto que permiten modificar la ubicación del GPS, como esta. Hay algunos aspectos a tener en cuenta para hacer pruebas de este tipo: Hay aplicaciones que simulan el cambio de ubicación de una persona caminando o en auto (esto implica hacer un cambio de ubicación cada tantos segundos) También es importante entender que cuando se utiliza el GPS, se maneja un intervalo de 1 segundo cada actualización de la posición, pero si se utiliza en un lugar cerrado, la localización viene dada por la conexión Wi-Fi donde el rango de actualización es de 5 segundos. Como les comentaba este es solo un ejemplo de uno de los sensores, pero hay distintas pruebas que se pueden realizar. Les recomiendo que revisen las Developer Tools de Android porque ayudan mucho a la hora de probar los sensores en los dispositivos y emuladores.
- Ya que estamos hablando de sensores y la integración de aplicaciones con los mismos, les cuento que en iOS 8 trae dos nuevas formas de integrarse: HomeKit: Permitirá conectarse con automatismos en las casas, vamos a poder tener aplicaciones que controlen las luces, el televisor, aire acondicionado, etc. HealthKit: Es un centro con la información física del usuario. Las aplicaciones relacionadas con el manejo de automatismos y con información de la actividad física de la personas, tendrán que integrarse con estas aplicaciones de gestión y centralización de la información. Con este tipo de cosas lo que sucede es que uso debe tener bien claras las fronteras de la aplicación, para poder verificar correctamente las entradas y salidas de la misma.
- Finalmente les quería comentar de algunas pruebas más avanzadas que menos visto: Federico me contaba que en España una empresa de testing, ejecutaba pruebas automatizadas en distintos dispositivo que estaban en una camioneta y salían a dar vueltas, pasando por túneles, para simular escenarios reales. Si quieren hacer algo de esto más fácil y que lo hemos hecho, es subirse a un ascensor y probar la aplicación allí. Finalmente les quería comentar un nuevo escenario de uso de las aplicaciones que lo descubrí el otro día viajando en avión. Algunas aerolíneas ya tienen internet a bordo, y es muy divertido abrir las aplicaciones y ver como funcionan (mal) los distintos sensores en algunos casos.
- Subimos la app al sitio y recibimos el reporte entonces, apuntamos a solucionar estos problemas en forma rápida y con poco esfuerzo poder verificar la usabilidad, funcionalidad, performance, seguridad de los sistemas que desarrollamos poco esfuerzo? - subir el apk, dar mi mail, esperar reporte el usuario solo hace eso. No importa con qué la haces, la mejoras con Monkop Apuntamos a solucionar un problema que tienen TODOS los que hacen apps para Smart Devices Monkop utiliza técnicas de inteligencia artificial para poder explorar la aplicación y obtener indicadores (conocidas por Monkey testing, por eso la imagen es de un mono). BÁSICAMENTE lo que hace es instalar la app en distintos dispositivos y explorarla como si fuera un mono con un celular, pero nuestro mono cuenta con cierta inteligencia, hace clic en los botones, pone datos en los campos, si ve un video lo intenta reproducir, y así. Incluso es capaz de jugar juegos y pasar niveles. Ese es el diferencial de nuestro mono, la inteligencia. Mientras ejecuta va tomando datos de cómo se va desempeñando el celular. Luego genera un reporte con toda esa información que se la da al desarrollador, Y NO SOLO CON PROBLEMAS, SINO CON INFO PARA SOLUCIONARLOS
- Esto es como darle la app a un mono, que irá explorando y usándola. Este mono cuenta con mayor inteligencia y va aprendiendo de la app. Lo interesante es que va recolectando información mientras ejecuta, y así va viendo cuánto cpu consume, memoria, batería, etc. 24x7 Cross Device Knowledge Expert Android best practices Analiza las buenas prácticas de Android y google.
- Todo con lo de FIFA Más de 1000 apps probadas Más de 40 betatesters Esto es lo que tenemos hoy Evaluamos ya más de 1000 aplicaciones, encontrando oportunidades de mejoras para todas ellas. Hay una versión beta que se está usando, por ahora gratis por período de evaluación, sin estar facturando aún.
- Y de esta forma hacer despegar y crecer esta idea en la que tanto estamos apostando. Gracias
- Analicen qué dispositivos usar visiten el OpenDeviceLab (odl.uy) Entiendan cómo se hacen para tener más información de cómo romperlas Apoyense en herramientas prueben Monkop (monkop.com)
- Y CON TODO ESTO, TENDRÁN MÁS POSIBILIDADES DE COMERSE EL MUNDO MOBILE, PROBANDO MUCHO MEJOR