C1 SetCon - Challenges in Mobile Performance Testing. Performance Day Frankfurt, November 2012

1. Ihr Partner für Software Engineering & Test Consulting
Performance on the Run:
Herausforderungen im mobilen Zeitalter
Stand: November 2012 • Copyright 2012 • C1 SetCon GmbH – Ein Unternehmen der C1 Group • www.c1-setcon.de

2. C1 SetCon:
Die Performance-Spezialisten
© C1 SetCon 2012
Performance Engineering
 Eigener Geschäftsbereich für das Thema Application
Performance Management und Testing mit 12 Experten.
PERFECTA
 Unsere selbstentwickelte Assessment-Methode zur
Verbesserung von Performance-Testprozessen.
TAPE
 Ein Framework für Management, Scheduling und
Automatisierung im Last- und Performancetest-Umfeld.
1

3. Performance Engineering:
Unser Portfolio
© C1 SetCon 2012
Beurteilung des Reifegrades von unternehmens-
Assessment weiten Performancetest-Prozessen
Prozesse Definition und Verbesserung
von Performancetest-Prozessen
Erstellung von Strategien für Test und
Strategie
Optimierung der Performance
Coaching und Koordination
Test-Management von Performance-Testprojekten
Einführung und Einsatz
von Methoden und Tools,
Test-Methodik Tool-Evaluierungen, Trainings
Performancetests,
nicht-funktionale Tests,
Test-Konzeption und -Durchführung
Diagnosen, Ergebnisanalysen
2

4. C1 SetCon:
Partnerschaften
© C1 SetCon 2012 Neotys Training Partner (NeoLoad)
AppDynamics Partner
Hewlett Packard Partner
Aktives Mitglied im ASQF
Akkreditierter Trainingsanbieter für den
„Certified Tester Foundation Level“ nach dem
ISTQB-Standard.
3

5. Performance on the Run:
Herausforderungen im mobilen Zeitalter
© C1 SetCon 2012
4

6. Performance on the Run:
Herausforderungen im mobilen Zeitalter
© C1 SetCon 2012
2008: Start in eine neue Ära
Seit der Einführung des iPhone 3G
und der breiten Verfügbarkeit von
UMTS hat sich der Zugriff auf Web-
Anwendungen drastisch verändert
5

7. Performance on the Run
© C1 SetCon 2012
Dank steigender Leistungsfähigkeit von Geräten und
6
Funknetzen sind immer mehr Menschen unterwegs online

8. Mobile Geschäfte
© C1 SetCon 2012  M-Commerce boomt auch in 2012:
Der Umsatz über mobile Endgeräte ist im europäischen
Jahresvergleich um über 152% explodiert
 Retail & Shopping sind in Deutschland die
mobile Wachstumsbranche Nr. 1
 Umsatzwachstum auf 5,9 Mrd. € in 2015 (2011: 1,8 Mrd.)
 Das iPad ist mit 54% Umsatzanteil
M-Commerce Plattform Nr. 1
 Android holt auf und hat einen Umsatzanteil von 25%
 Deutschland bleibt Apple-Land mit 76% Anteil am
mobilen Umsatz
Quelle: ZANOX Mobile Performance Barometer 2012 (Stand: Juli 2012)
7 http://blog.zanox.com/de/zanox/2012/09/13/zanox-mobile-performance-barometer-2012/

9. Wo stehen wir heute?
© C1 SetCon 2012
 Push-Zeitalter & Allways On
 iOS dominiert
 Kritische Masse bei Geräten
und im M-Commerce Umsatz
überschritten
8

10. Mobile Herausforderungen
© C1 SetCon 2012
 Neue Client-Plattformen:
iOS, Android & Windows Phone
SmartPhones & Tablets
 Unterschiedliche Zugriffe:
Browser & App
 Neue Angebote:
Social Media & Location Based Services
 Unbekannte Infrastrukturen:
CDN und Cloud-Services wie IaaS, PaaS & SaaS
9

11. Herausforderung Infrastruktur
© C1 SetCon 2012
 Geschwindigkeitsunterschiede:
EDGE, UMTS, LTE & WiFi
 Varianz bei Ping-Zeiten
 Hohe Netzwerklatenzen
 Performance von mobilen Geräten:
Hardware & Browser
10

12. Mobile vs. Desktop
© C1 SetCon 2012
Vergleich zwischen den unterschiedlichen
Versionen der Top US-Webseiten:
Durschnittswerte
Requests HTML Elements Ping
Desktop 31 110 kB 1166 20 ms
iPad 28 86 kB 908 40 ms
iPhone 15 75 kB 567 120 ms
SmartPhone-Versionen hatten 50% weniger DOM-Elemente
und Requests, allerdings hatten die HTML-Dokumente
lediglich eine 25% geringere Größe.
Zugriffsart: Desktop und iPad mit WiFi, iPhone AT&T 3G
11 Quelle: Steve Sounders (März 2011),
Link: http://www.stevesouders.com/blog/2011/03/14/mobile-comparison-of-top-11/

13. Unsere Aufgaben
© C1 SetCon 2012
 Sicherstellung der Kundenzufriedenheit
 Performance-Tests für zusätzliche mobile
Versionen
 Validierung der Performance auf diversen
Plattformen
 Berücksichtigung von neuen
Verbindungswegen und Geräten
12

14. Und jetzt?
© C1 SetCon 2012
13

15. Performance
Engineering Lösungsansätze
© C1 SetCon 2012  Nativer Mobile-Support des verwendeten
Performancetest-Tools (Browser & Apps)
 Simulation unterschiedlicher Netzwerke
 Browser Compability Checks
 Application Performance Management
über den gesamten System Development Life Cycle
 Flexibilität bei Tools, Technologien und Frameworks
14
 Ständige Marktbeobachtung

16. Performance
Engineering Lösungsansätze II
© C1 SetCon 2012
Enge Zusammenarbeit von Auftraggeber, Entwicklung, Test
und Betrieb -> DevOps mit Performance Engineering
Performance Engineering
ist ein ganzheitlicher
Ansatz, der Leistungs-
anforderungen und deren
Überprüfung von Beginn
an als integralen Bestand-
teil des Software-Lebens-
zyklus eines Produktes
15 sieht.

17. Performance Performance on the Run:
Engineering
Links
© C1 SetCon 2012 Diverse Links zu Tools und Informationen rund um Mobile
Performance:
http://stevesouders.com/mobileperf/
Warum Mobile Performance ein komplexes Thema ist:
http://blog.cloudflare.com/why-mobile-performance-is-difficult
Wie lassen sich mobile Webseiten schneller machen?
http://www.golem.de/1101/80665.html
Tests durch Kunden vermeiden - warum Mobile Performance
Tests entscheidend sind:
http://searchsoftwarequality.techtarget.com/news/2240158650/A
voiding-consumer-testing-Why-mobile-performance-testing-is-
16 critical

18. Performance
Engineering Kontakt
© C1 SetCon 2012
Vielen Dank für Ihr Interesse!
Weitere Fragen?
Marc A. Rieger C1 SetCon GmbH
Kapuzinerstr. 7a
Leiter Performance Engineering 80337 München
Fon +49 89 589399-0
Fax +49 89 589399-25
Mobil +49 176 12303075
marc.rieger@c1-setcon.de
www.c1-setcon.de
17 17

19. Performance
Engineering Abstract
© C1 SetCon 2012 Performance on the Run:
Herausforderungen im mobilen Zeitalter
Smartphone-Verkaufszahlen, Nutzungsverhalten und
Zugriffsstatistiken beweisen: das Internet ist endgültig im
mobilen Zeitalter angekommen. Doch während immer mehr
Benutzer ihre Online-Aktivitäten auf Smartphone und Tablet
verlagern, haben viele Unternehmen noch erhebliche
Schwierigkeiten, auf den mobilen Zug aufzuspringen. Neben der
Bereitstellung von Versionen, die für die mobile Nutzung
optimiert wurden und deren Usability bleibt weiterhin die
Performance ein großer Knackpunkt, um die Erwartungen von
Kunden und Fachbereich zu erfüllen. Der Vortrag beleuchtet,
warum die zunehmende Anzahl von mobilen Benutzern es noch
notwendiger macht ausführliche Tests der
Anwendungsperformance durchzuführen und welche weiteren
Details betrachtet werden müssen.