Review of the dynamic global world of mobile apps focusing on QA practices and testing trends and tools.

1. Mobile App Testing im agilen
Mobile
App
Tes,ng
im
agilen
Umfeld
Umfeld
Test more. Worry less.

2. Agenda
SPEAKER
WARUM QUALITÄTSICHERUNG?
QUALITÄTSICHERUNG ALS PROZESS
TESTMETHODEN IM ÜBERBLICK
FAZIT

3. HANNES LENKE

4. Zu den Farben
Hannes Lenke
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
§ Gründer & Geschäftsführer der
TestObject GmbH seit 2011
§ Ehemals IT-Consultant
§ Mit TestObject zahlreiche Projekte im
Mobile Testing Umfeld betreut
§ Stellvertretender Vorsitz Fachgruppe
Mobile Devices & Apps des
Arbeitskreises Software-Qualität und
Fortbildung (ASQF)

5. WARUM
QUALTITÄTSSICHERUNG
?

6. Zu den Farben
Kennen Sie das?
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT

7. Zu den Farben
Warum Testen?
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
„Your app’s rating is one of the most important
factors influencing its ranking in the various
lists and search results in Google Play.“
(Google Developers Guide)

8. Zu den Farben
Testen, das beste Marketing
SPEAKER
WARUM?
PROZESS
Zusammenhang: Rating - Ranking
Posi%ve
Bewertungen
Mehr
Downloads
Mehr
Downloads
Besseres
Ranking
METHODEN
FAZIT
§ Bewertungen und Engagement
bestimmen Position in Charts
§ Position hat direkten Einfluss auf
Downloads
§ Höher bewertete Apps bekommen mehr
Bewertungen
“Die Appqualität genauestens überprüfen,
bevor die App gelauncht wird. Denn mit
Bugs oder Performance-Problemen erhält
man zwangsläufig schlechte Bewertungen,
die dann die App zusätzlich im Ranking
drücken.”
(Richard Buettner, Geschäftsführer AMA)
Quellen: AMA, TechCrunch, Fiksu

9. WELCHEN PROBLEMEN
BEGEGNEN WIR?

10. Fragmentierung – Geräte
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
Der Mobile-Markt ist extrem fragmentiert, was
Testing vor besondere Heraus-forderungen
stellt!
§ Device-Fragmentierung (allein über 11.000
Android Geräte am Markt)
§ Betriebssysteme (Android, iOS …)
§ Bildschirmgrößen und -auflösungen
Quelle:
Opensignals

11. Fragmentierung - Betriebssysteme
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
Quelle:
Opensignals

12. Fragmentierung – Bildschirmgrößen
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
Quelle:
Opensignals

13. Fragmentierung – Bildschirmgrößen
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
Quelle:
Opensignals

14. QUALITÄTSSICHERUNG
S PROZESS

15. Agile Projekte
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
MOST
ORGANISATIONS
DON’T
HAVEA
SPECIFIC
APPROACH
TO
TESTING
AGILE
PROJECTS
48%
No.
We
don't
have
a
specifit
approach
for
agile
tes,ng
42%
We
use
exploratory
tes,ng
40%
We
use
DSDM
test
principles
37%
We
use
agile
Tmap®
principles
17%
Not
applicable
as
we
do
not
use
agile
development
methods
We
use
other
8%
Quelle:
World
Quality
Report
Capgemini

16. Agile Projekte
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
Rela,ve
cost
of
defect,
by
,me
of
discovery
100.00
80.00
60.00
40.00
20.00
0.00
Quelle:
Utest

17. Lösung? So früh wie möglich anfangen!
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
Mobile
App
Development
Process
Phase
1
Test
Planning
/
Test
Cases
Phase
2
Phase
3
Phase
n
• Smoke
Tes%ng
• Regression
Tes%ng
• Func%onal
Tes%ng
• Performance
&
Stress
tes%ng
• Smoke
Tes%ng
• Regression
Tes%ng
• Func%onal
Tes%ng
• Performance
&
Stress
tes%ng
• Smoke
Tes%ng
• Regression
Tes%ng
• Func%onal
Tes%ng
• Performance
&
Stress
tes%ng
• Smoke
Tes%ng
• Regression
Tes%ng
• Func%onal
Tes%ng
• Performance
&
Stress
tes%ng

18. Continuous Integration
SPEAKER
WARUM?
Commit
PROZESS
FAZIT
§ Continuous Integration ermöglicht es
Tests nach jedem Commit
auszuführen
Pull
Source Code
Repository
Build
Development
METHODEN
§ Automatisiertes Testen nach jedem
Commit
§ Direkte Bugreports schon während
der Entwicklungsphase
Report
Deploy
Continuous
Testing
§ Einsetzbar in allen LebenszyklusPhasen

19. Testmethoden

20. Zu richtige Testprozess
Lösung: Derden Farben
UNTERNEHME
N
MOBILE TESTING
CLOUDTESTING
CROWDTESTING
PREISE
Unit Tests
Manuelles Testen
1.
Unit Tests
Monkey Tests
2.
Manuelles Testen
3.
UI-Tests (Regressions & Funktionstests)
4.
Stresstests
5.
Crowd Tests / Usability Tests
6.
Monitoring
UI - Tests
Crowd Tests
Monitoring
Stresstests
Development
QA
Production

21. Zu den Farben
Manuelles Testen
SPEAKER
WARUM?
PROZESS
METHODEN
Was?
FAZIT
Womit?
§ Funktionelles Testen seperater
App-Teile
§ Emulatoren / Simulatoren & echten
Geräten
§ Usability Aspekte können mit
abgedeckt werden
§ Detaillierte Testpläne sollten
vorhanden sein
Wer?
§ Tester, Entwickler & Akzeptanzgruppe
Pros
Wann?
§ Entwicklungsphase & Pre-Release
Cons
§ Leicht auszuführen
§ Zeit, Kosten und Fehlerrate
§ Sofortiges Feedback
§ Skaliert nicht

22. Zu den Farben
Ressourcen sparen durch Automatisierung
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
Ressourcen
ROI
Investment
Testzyklen
Vor- und Nachteile Testautomatisierung
- Kosten der Einrichtung
- Skripte verfassen und managen
+ Einsparungen manuelles Testen
VS
+ Skripte können wiederverwendet werden
+ Schnellere Testzyklen, “Time to Market”
+ größere Sicherheit und Objektivität

23. Zu Unittests
den Farben
SPEAKER
WARUM?
PROZESS
Was?
METHODEN
FAZIT
Womit?
§ Testen einzelner SoftwareModule
§ Android: Roboelectric, Junit,
Emulatoren..
§ Soll-Vergleich dient als
Grundlage für die Tests
§ iOS: OCUnit, GHUnit, OCMock,
Simulatoren
Wer?
§ Entwickler
Pros
§ Leicht auszuführen (CI)
§ Testabdeckung 100% isolierter
Komponenten mit wenigen
Testfällen
Wann?
§ Entwicklungsphase
Cons
§ Fehlerfreiheit wird nicht
nachgewieesen nur unterstützt

24. Zu Unittests
den Farben
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT

25. Zu den Farben
Monkey Tests
SPEAKER
WARUM?
PROZESS
Was?
§ Zufälliges Testen der App
§ Mehrere Tausend zufällige
Aktionen (Klicks, Text Eingaben
u.ä.)
Wer?
§ Entwickler & Tester
Pros
§ Leicht auszuführen (CI)
§ Nahezu ohne Wartungsaufwand
METHODEN
FAZIT
Womit?
§ Android: Monkeyrunner, TestObject
Random Input..
§ iOS: Anteater
Wann?
§ Entwicklungsphase
Cons
§ Fehler werden eher zufällig
entdeckt

26. Zu den Farben
Monkey Tests
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT

27. ZuUI Testing
den Farben
SPEAKER
WARUM?
PROZESS
Was?
METHODEN
FAZIT
Womit?
§ Testen der Benutzeroberfläche
und Funktionen
§ Android: TestObject, Robotium,
Monkeytalk…
§ Sowohl Basis Tests als auch
komplexe Szenarien
§ iOS: Bald TestObject, Xcode,
UIAutomation, …
Wer?
§ Entwickler & Tester
Pros
§ (Cloud) leicht aufzusetzen (CI)
§ Erhöht Sicherheit &
Kommunikation
Wann?
§ Entwicklungsphase, Pre-Release
Tests
Cons
§ Wirksamkeit nach einigen
Testläufen
§ Wartungsintensiver

28. ZuUI Testing
den Farben
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT

29. Zu den Farben
Automatisiertes Testing in der Cloud
SPEAKER
WARUM?
PROZESS
METHODEN
FAZIT
-­‐ Test
your
mobile
app
in
the
cloud
-­‐ Create
testscripts
in
5
minutes
-­‐ Run
your
scripts
automated
Upload
Einfach App
hochladen
§ Läuft direkt im
Browser
§ Aktuell für Androidund Web-Apps und
bald für iOS
§
Record
Mit unseren
modifizierten Emulatoren ganz normal
die App nutzen
§ Es werden automatisch Testskripte
erstellt
§
Replay
§
Reports
Nach dem Aufnehmen § Nach jedem Testlauf
Tests auf verschiedenen
werden
Geräte- und
umfangreiche
Systemkonfigurationen
Protokolle
abspielen
bereitgestellt
§ Find bugs before
your users do!

30. Zu den Testing
Crowd Farben
SPEAKER
WARUM?
PROZESS
Was?
METHODEN
FAZIT
Womit?
§ Testen durch echte Nutzer in der
“Wolke”
§ Crowd Testing Anbieter: TestHub,
WorkHub, Testbirds, Utest …
§ Usability Tests auch explorative
Funktionstests
§ Ich berate gern
Wer?
§ Crowd
Pros
§ Externer Blick auf App
§ Mehr Geräte erreichbar
§ Usability Tests
Wann?
§ Pre-Release
Cons
§ Feedback muss gut ausgewertet
werden
§ Crowdtester sind oftmals nicht
geschult

31. Fazit
SPEAKER
WARUM?
PROZESS
METHODEN
Qualitätssicherung ist
immer eine Mischung
aus vielen Methoden!
Aber...
FAZIT

32. FRAGEN?
Hannes Lenke
Geschäftsführer
hannes.lenke@testobject.com
+49 (0)175 – 546 066 4