Presentation av David Nyman och Patrik Lindström den 11 maj 2012

1. Test av mobila applikationer
David Nyman och Patrik Lindström
Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest
intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna
inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår
specialistkompetens i block med parallella seminarier som hör till dagens tema.

2. Om oss
David Nyman
– david.nyman@sigma.se
– Jobbar på Sigma i Göteborg.
– Jobbat 5 år med test, kvalitet och krav i spelbranschen.
Patrik Lindström
– patrik.lindstrom@sigma.se
– Jobbar på Sigma i Göteborg.
– Snart 7 år testerfarenhet från bl a TeliaSonera och Wireless Car.
Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest
intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna
inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår
specialistkompetens i block med parallella seminarier som hör till dagens tema.

3. Mobil testning vs desktop testning?
Ingenting!
Allting!

4. Vanliga problem
Tid.
Testplan/Stratergi.
Processer/arbetssätt/verktyg.
Avsaknad av testautomatisering.
Input data/verifiering.
Avsaknad av fysiska devices.

5. Grundläggande vägval…
Web
Native
(Hybrid, Mix)

6. Web
Fördelar
 En “app” .
 En plattform.
 Uppdateringar.
Nackdelar
 Mindre kontroll över användarmiljön.
 Långsammare.
 Mängder med med webbläsare/avsaknad av standard.
 Ingen central uppdaterings/fördelningsmiljö.

7. Native
Fördelar
 Ökad funktionalitet och snabbhet.
 Större kontroll över användarbeteende.
 Central uppdaterings/fördelningsmiljö.
Nackdelar
 Olika plattformar.
 Flera appar.

8. Crossbrowser Testing
Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest
intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna
inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår
specialistkompetens i block med parallella seminarier som hör till dagens tema.

9. Valfrihetens två sidor

10. Valfrihetens två sidor
Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och
programvara.

11. Valfrihetens två sidor
Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och
programvara.
Som konsument och användare är det oerhört positivt och ger möjlighet att
personifiera sitt digitala användande.

12. Valfrihetens två sidor
Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och
programvara.
Som konsument och användare är det oerhört positivt och ger möjlighet att
personifiera sitt digitala användande.
Men för testare eller utvecklare kan valfriheten skapa stora utmaningar.

13. Hur ser det ut idag?

14. Hur ser det ut idag?
De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.

15. Hur ser det ut idag?
De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
Några är lite extra duktiga och testar även i Mozilla Firefox.

16. Hur ser det ut idag?
De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
Några är lite extra duktiga och testar även i Mozilla Firefox.
Google Chrome, Opera och Safari glöms ofta bort.

17. Hur ser det ut idag?
De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
Några är lite extra duktiga och testar även i Mozilla Firefox.
Google Chrome, Opera och Safari glöms ofta bort.
De mobila browsrarna glöms oftast bort helt.

18. Hur ser det ut idag?
De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
Några är lite extra duktiga och testar även i Mozilla Firefox.
Google Chrome, Opera och Safari glöms ofta bort.
De mobila browsrarna glöms oftast bort helt.
”Men vi har ju en app!”

19. Möjliga lösningar

20. Möjliga lösningar
Sätta upp en gigantisk maskinpark och anställa en hord av testare.

21. Möjliga lösningar
Sätta upp en gigantisk maskinpark och anställa en hord av testare.
Låta användaren vara testaren och buggrapportera vid behov.

22. Möjliga lösningar
Sätta upp en gigantisk maskinpark och anställa en hord av testare.
Låta användaren vara testaren och buggrapportera vid behov.
Stoppa huvudet i sanden.

23. Möjliga lösningar
Sätta upp en gigantisk maskinpark och anställa en hord av testare.
Låta användaren vara testaren och buggrapportera vid behov.
Stoppa huvudet i sanden.
Men det finns enklare och smidigare sätt…

24. Ett enkelt sätt att få bra täckning

25. Ett enkelt sätt att få bra täckning
Min uppfattning är att många av problemen är rent grafiska eller javascript,
väldigt få är rena funktionsproblem.

26. Ett enkelt sätt att få bra täckning
Min uppfattning är att många av problemen är rent grafiska eller javascript,
väldigt få är rena funktionsproblem.
Kan vi täcka av bara de grafiska aspekterna och dessutom om vi kan täcka av
de javascript-funtionella aspekterna har vi kommit en god bit.

27. Ett enkelt sätt att få bra täckning
Min uppfattning är att många av problemen är rent grafiska eller javascript,
väldigt få är rena funktionsproblem.
Kan vi täcka av bara de grafiska aspekterna och dessutom om vi kan täcka av
de javascript-funtionella aspekterna har vi kommit en god bit.
CrossBrowserTesting.com är ett exempel som kan hjälpa dig med båda de
delarna.

28. Ett exempel på ett fel 1 (2)
Win 7 +
Firefox 3.5

29. Ett exempel på ett fel 2 (2)
Safari 4.0 +
Iphone 4

30. Kort om CrossBrowserTesting.com

31. Kort om CrossBrowserTesting.com
CrossBrowserTesting.com körs i din webbrowser

32. Kort om CrossBrowserTesting.com
CrossBrowserTesting.com körs i din webbrowser
Låter dig välja mellan ett stort antal browsers och uppsättningar

33. Kort om CrossBrowserTesting.com
CrossBrowserTesting.com körs i din webbrowser
Låter dig välja mellan ett stort antal browsers och uppsättningar
Tar printscreens på valfri URL med de olika uppsättningarna och visar de för
dig i ett galleri

34. Kort om CrossBrowserTesting.com
CrossBrowserTesting.com körs i din webbrowser
Låter dig välja mellan ett stort antal browsers och uppsättningar
Tar printscreens på valfri URL med de olika uppsättningarna och visar de för
dig i ett galleri
Låter dig använda köra via virtuell maskin enligt den specifikation du önskar

35. Kort om CrossBrowserTesting.com
CrossBrowserTesting.com körs i din webbrowser
Låter dig välja mellan ett stort antal browsers och uppsättningar
Tar printscreens på valfri URL med de olika uppsättningarna och visar de för
dig i ett galleri
Låter dig använda köra via virtuell maskin enligt den specifikation du önskar
Går även att testa lokala adresser (beta)

36. Kort om CrossBrowserTesting.com
CrossBrowserTesting.com körs i din webbrowser
Låter dig välja mellan ett stort antal browsers och uppsättningar
Tar printscreens på valfri URL med de olika uppsättningarna och visar de för
dig i ett galleri
Låter dig använda köra via virtuell maskin enligt den specifikation du önskar
Går även att testa lokala adresser (beta)
Kostar mellan 30-50$ per månad beroende på antalet användare

37. CBT – Automated Screenshots 1 (3)

38. CBT – Automated Screenshots 2 (3)

39. CBT – Automated Screenshots 3 (3)

40. CBT – Live Test 1 (4)

41. CBT – Live Test 2 (4)

42. CBT – Live Test 3 (4)

43. CBT – Live Test 4 (4)

45. Input till test
Device?
Nätverk?
Länder?
Användare?

46. OS Prioritering OS1 OS2 OS3 OS4
Device
Prioritering 1 2 3 4
Device1 1 High Low Low Medium
Device2 2 Medium Medium High Low
Device3 3 Low High Medium High
Device4 4 Low Low Low Low

47. OS Prioritering Feature1 Feature2 Feature3 Feature4
Device
Prioritering 1 2 3 4
Decice1 1 X O X X
Device2 2 O O X O
Device3 3 X O X O
Device4 4 X O X X

48. Testning (tid/kostnad)
Series 1
3.5
3
2.5
2
Antal Features
1.5
1
0.5
0
Category 1 Category 2 Devices
Antal Category 3 Category 4

49. Grundläggande testtyper
Funktionstester
Usability test
Device test(Externa faktorer)
Prestandatester
Säkerhetstester

50. Tips
Börja testningen så tidigt som möjligt.
- Nedladdning, installation, avinstallation osv.
- Grundläggande funktionalitet.
Fokusera på prioriterade devicer.
- Grundläggande funktionalitet.
Extern testning.
Beta.
Crowed based testing.

51. Verktyg
Simulator/Emulator.
Remote device partner.
- DeviceAnywhere.
- Nokia RDA.
Riktig device.

52. Open source
Roboticum
- Android
FoneMonkey
- iOs

53. Automatiseringsverktyg med kostnad
EggPlant.
- Android, iPhone,
Blackberry, Windows
mobile och Symbian.
SeeTest.
- Android, iphone,
Blackberry, Windows
mobile och Symbian.

54. Automatiseringsverktyg utan kostnad(Open
source)
Roboticum.
- Android.
FoneMonkey.
- iOS.
Sikuli.

55. Sammanfattningsvis…
Förstå och besluta om vad som är viktgast:
- Olika OS.
- Olika webbläsare.
- Olika prestanda och upplösning.
- Olika Operatörer och nätverk.
Testa i okontrollerad verklig miljö.
Hitta och använd lämpligt automatiseringsverktyg som passar din miljö och applikation/er.
Utför så mycket som möjligt testningen på verkliga devices, även om simulering finns.
Mät prestandan i riktigt nätverk och med användare, inte bara genom simuleringen.

56. Frågor?
Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest
intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna
inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår
specialistkompetens i block med parallella seminarier som hör till dagens tema.