Monile testing como generar el nuevo desafio

1. #GX24
Mobile testing
¿CÓMO ENFRENTAR LOS NUEVOS DESAFÍOS?
PhD. Federico Toledo
@fltoledo
federico.toledo@abstracta.com.uy
Ing. Guillermo Skrilec
@gskrilec
gskrilec@genexusconsulting.com
#GX24 #mobiletesting

2. #GX24 #mobiletesting
bit.do/librodetesting ¿Es suficiente para ser un buen tester de aplicaciones mobile?

3. #GX24 #mobiletesting
Saber cómo se hace, para saber cómo se puede romper
Nuevas herramientas
Nuevos ingredientes para la vieja receta del testing
Desafío por la variedad de dispositivos

4. Desafío por la variedad de dispositivos

5. #GX24 #mobiletesting
¿Puedo usar Emuladores?
White paper from tcs.com: Mobile application testing
Dispositivo (Red de datos)
Dispositivo (Wi-Fi + Simulador de red)
Emuladores

6. #GX24 #mobiletesting
¿Emuladores o dispositivos?

7. #GX24 #mobiletesting
Emuladores – Ventajas
•
Reducir costos

8. #GX24 #mobiletesting
Emuladores – Desventajas
No son reales.
No se prueba la verdadera sensación del usuario al dispositivo.
No se puede medir la performance real del dispositivo.
No cuenta con implementaciones del fabricante:
(tienen la implementación oficial de Android).
No cuenta con sensores reales.
No tienen plan de datos.
…

9. #GX24 #mobiletesting
¿Emuladores o simuladores?

10. #GX24 #mobiletesting
En iOS solo hay Simuladores

11. #GX24 #mobiletesting
Lo que mata es la variedad.
¡En mi celular anda!
¿Cómo seleccionar los dispositivos?
¿EN QUÉ DISPOSITIVOS PRUEBO?

12. #GX24 #mobiletesting
Entonces, ¿qué dispositivos elijo?
Entre 5 y 10 dispositivos. Selección basada en riesgo.
?
?
?
?
?

13. #GX24 #mobiletesting
Testing basado en Riesgo
Los dispositivos más usados.

14. #GX24 #mobiletesting
Testing basado en Riesgo
Menos recursos.
Los que no hemos probado.
Dispositivos más nuevos.

15. #GX24 #mobiletesting
Preguntas para seleccionar los dispositivos (1/4)
¿Smartphones o tablets? ¿O ambos?

16. #GX24 #mobiletesting
Preguntas para seleccionar los dispositivos (2/4)
¿Variedad de tamaños de pantalla?

17. #GX24 #mobiletesting
Preguntas para seleccionar los dispositivos (3/4)
¿Se cuenta con al menos un gama baja y un gama alta?

18. #GX24 #mobiletesting
Preguntas para seleccionar los dispositivos (4/4)

19. #GX24 #mobiletesting
Preguntas para seleccionar los dispositivos (4/4)
Para cada Sistema Operativo
¿Cuáles son los dispositivos y versiones más populares del público objetivo?
¿Cómo calculo eso?

20. #GX24 #mobiletesting
Diversidad en Android
Estadísticas iniciales proporcionadas por Android.
http://developer.android.com/about/dashboards/index.html

21. #GX24 #mobiletesting
Diversidad iOS
Septiembre de 2014: 95% en la versión anterior o superior
-
49% en iOS 7
-
46% en iOS 8

22. #GX24 #mobiletesting
Estadísticas solo al inicio

23. #GX24 #mobiletesting
Google Analytics – por SO

24. #GX24 #mobiletesting
Google Analytics – por dispositivo
¡Ojo con esto!
•
¿No será que estos son los dispositivos más comunes porque no funcionan en el resto?

25. #GX24 #mobiletesting
Set de ejemplo
Dispositivo
Tipo
Gama
Sistema Operativo
iPad Mini
Tablet
Alta
iOS 7
iPhone 5S
Smart Phone
Alta
iOS 8
Galaxy Tab
Tablet
Alta
Android 4.4
Sony Xperia X10
Smart Phone
Baja
Android 2.1
Galaxy ACE
Smart Phone
Baja
Android 2.2

26. #GX24 #mobiletesting
Set de ejemplo
Dispositivo
Tipo
Gama
Sistema Operativo
iPad Mini
Tablet
Alta
iOS 7
iPhone 5S
Smart Phone
Alta
iOS 8
Galaxy Tab
Tablet
Alta
Android 4.4
Sony Xperia X10
Smart Phone
Baja
Android 2.1
Galaxy ACE
Smart Phone
Baja
Android 2.2
¡¿Pruebo todo en todos los dispositivos?!

27. #GX24 #mobiletesting
Cobertura en el tiempo
Versión 1
Test Suite Critica
Todos los dispositivos
Test Suite 1
iPad Mini
Test Suite 2
iPhone 5S
Test Suite 3
Galaxy Tab
Test Suite 4
Xperia
Test Suite 5
ACE
Versión 2
Todos los dispositivos
ACE
iPad Mini
iPhone 5S
Galaxy Tab
Xperia
Versión 4
Todos los dispositivos
Galaxy Tab
Xperia
ACE
iPad Mini
iPhone 5S
Versión 3
Todos los dispositivos
Xperia
ACE
iPad Mini
iPhone 5S
Galaxy Tab
Tiempo
Versión 5
Todos los dispositivos
iPhone 5S
Galaxy Tab
Xperia
ACE
iPad Mini

28. #GX24 #mobiletesting
Ok, ya sé qué dispositivos elijo
¿Todos vamos a comprar un set?

29. #GX24 #mobiletesting

30. #GX24 #mobiletesting
COMPARTIR: OpenDeviceLab.com

31. #GX24 #mobiletesting
Open Device Lab - Uruguay
•
Donaciones de particulares:
–
4 Android gama baja
–
1 Android gama alta
–
1 iPhone
–
1 FirefoxOS
–
1 Tablet Android
•
Convenios con proveedores.
•
Reservas y donaciones
ODL@abstracta.com.uy
@OpenDeviceLabUY

32. Saber cómo se hace, para saber cómo se puede romper

33. #GX24 #mobiletesting
Ciclo de vida App iOS
-
No ejecutando, pero debe poder enviar notificaciones.
-
Activa, recibe eventos de usuario.
-
Inactiva, no recibe eventos.
-
Background, ejecuta código.
-
Suspendida, no ejecuta código.
-
Abrirla por primera vez.

34. #GX24 #mobiletesting
Integración Apps Android

35. #GX24 #mobiletesting
Sensores Android

36. #GX24 #mobiletesting
Mock Location

37. #GX24 #mobiletesting
iOS 8

38. #GX24 #mobiletesting
Pruebas “avanzadas”

39. Nuevas herramientas

40. #GX24 #mobiletesting @monkopapps
Ejecución automática Reproducir en distintos dispositivos Dispositivos remotos SaaS (PaaS) Capturadores de tráfico
Muchas herramientas

41. #GX24 #mobiletesting @monkopapps
Ghostlab

42. #GX24 #mobiletesting @monkopapps
Remote preview

44. #GX24 #mobiletesting @monkopapps
1.
monkop.com
2.
Subir APP
3.
Ver reporte
Rápido y sin esfuerzo

45. #GX24 #mobiletesting @monkopapps
La magia
•
Performance
•
Seguridad
•
Robustez
•
Buenas prácticas

47. #GX24 #mobiletesting @monkopapps
Oportunidades de mejora detectadas

48. #GX24 #mobiletesting @monkopapps
Oportunidades de mejora detectadas

49. #GX24 #mobiletesting @monkopapps
Oportunidades de mejora detectadas

50. #GX24 #mobiletesting @monkopapps
http://www.monkop.com

51. #GX24 #mobiletesting @monkopapps
RESUMIENDO

52. #GX24
PhD. Federico Toledo
@fltoledo
federico.toledo@abstracta.com.uy
Ing. Guillermo Skrilec
@gskrilec
gskrilec@genexusconsulting.com