Hands-off performance testing by Twan Koot & Addy Zwiebel on QX Day 2019.

1. Hands-off performance testing

2. 2© 2018 Sogeti. All rights reserved.
▪ Afgerond 30
▪ Performance engineer, Sogeti Nederland
▪ Back-end dev. Kodi Project
▪ Middleware optimalisaties (JVM, Weblogic, e.d.)
Behalve werken:
▪ 26 Jaar, 6 jaar actief in de IT.
▪ Lead performance engineer, Sogeti Nederland
▪ PAC member
▪ Expertises:
- Performance engineering
- Performance analyse & tuning
- CI/CD
Behalve werken:
Addy Zwiebel Twan Koot
Wie zijn wij?

3. 3© 2018 Sogeti. All rights reserved.
Inhoud
▪ Waarom geautomatiseerd performance te testen
▪ Welke tools en technieken kan je hiervoor gebruiken
▪ Welke aanpak is mogelijk bij het inrichten van het proces
▪ Demo van een aantal modules

4. Het oude proces

5. 5© 2018 Sogeti. All rights reserved.
Het oude proces – Het COE
▪ Een centraal team
▪ Scrum/Waterval methodiek
▪ Blokken planning voor uitvoer van testen
▪ Deelbaarheid van de deliverables is laag
▪ Werkt veelal op basis van een FIFO system

6. 6© 2018 Sogeti. All rights reserved.
De vernieuwde werkwijzes

7. 7© 2018 Sogeti. All rights reserved.
De vernieuwde werkwijze – Scrum en performance testen
▪ “a Scrum Development Team consists of professionals who do the work of delivering a
potentially releasable Increment of “Done” product at the end of each Sprint. A "Done"
increment is required at the Sprint Review” (Scrum.org)
▪ Oké dus we moeten elk team voorzien van een performance tester ?
▪ Hoeveel scrumteams heeft uw organisatie ?
▪ Kort development proces – 2 weken voor een release -> elke 2 weken een performance test ?
▪ Hoelang duurt een performance test traject in de organisatie 1 week of al gauw 2 weken ?
▪ Hoeveel performance testers heeft de organisatie 5 of 10 mensen ?

8. 8© 2018 Sogeti. All rights reserved.
De vernieuwde werkwijze – Scrum en performance testen 2
3 per
week
5FTE

9. 9© 2018 Sogeti. All rights reserved.
Wat zijn de kansen

10. 10© 2018 Sogeti. All rights reserved.
Wat zijn de kansen – Tooling & Technieken
▪ Tooling wijd beschikbaar (Jenkins, Azure, Jmeter en Dynatrace)
▪ Acceptatie van DevOps en andere werkwijzes
▪ Test tooling groeit in functionaliteit
▪ Op komst van AI geeft mogelijkheden

11. 11© 2018 Sogeti. All rights reserved.
Wat zijn de kansen – CI/CD
▪ Direct vanuit bouw, je testen kunnen starten
▪ Tooling wijd beschikbaar (Jenkins, Azure dev-ops)
▪ Directe feedback voor volgende iteratie
▪ Hands-off aanpak

12. 12© 2018 Sogeti. All rights reserved.
Wat zijn de kansen – performance test fragmentatie
▪ Handhaven MVC model op je performancescripts
▪ Microservices perfect geschikt
▪ Hoe kleiner, hoe beter
▪ Bij issues, directer beeld van bottlenecks

13. 13© 2018 Sogeti. All rights reserved.
Het “nieuwe” proces

14. 14© 2018 Sogeti. All rights reserved.
Automatisering – Het ‘Nieuwe’ test process
Intake
Klikpaden,
Loadmodellen
etc.
Uitvoeren
performancetest
Analyseren
resultaten
Opleveren
advies

15. 15© 2018 Sogeti. All rights reserved.
Automatisering – Lego stenen
▪ Knip het proces op in blokken(modules)
▪ Herbouw / redesign alle blokken naar open/deelbare stappen.
▪ Elke steen moet onafhankelijk zijn en op elk moment kunnen functioneren.
▪ Volgorde is minder belangrijk dan een goede implementatie
Intake
Klikpaden,
Loadmodellen
etc.
Uitvoeren
performancetest
Analyseren
resultaten
Opleveren
advies
Script Loadmodel Infra Analyse Advies

16. 16© 2018 Sogeti. All rights reserved.
Automatisering– Waar start je?
▪ Identificeer het proces, breng alle stappen in kaart
▪ Opstarten van performancetest automatiseren:
Blokken Omschrijving Inspanning Opbrengst
Uitvoer Automatisch uitvoeren van de
performancetest
Laag Middel
Infrastructuur Het dynamisch maken van de
infrastructuur
Middel/Hoog Hoog
Script A Het automatiseren van scripts voor
Micro services
Hoog Zeer hoog
Script B Het automatiseren van scripts voor
(Web) applicaties
Zeer hoog Zeer Hoog
Loadmodel Het automatiseren van het
loadmodel
hoog Hoog
Zeer hoogAnalyse &
Advies
Het automatisch analyseren en
adviseren
Zeer hoog Zeer hoog

17. 17© 2018 Sogeti. All rights reserved.
Automatisering – Infrastructuur
▪ Geen schaalbare infrastructuur is geen automatische performancetest!
▪ Zowel testomgeving als performance-infra schaalbaar maken!
▪ Performance test tooling on demand
Build
Func.
test
Perf.
test
Uitvoer Analsye

18. 18© 2018 Sogeti. All rights reserved.
Automatisering – Script A
▪ Centrale opslag van scripts en load modellen.
▪ Test fragmentatie: Kleine objecten, makkelijker automatiseerbaar
▪ Neoload-as-code, Jmeter JMX manipulatie , werk met een template
Infra
Load -
model Perf.
test
Script
Python

19. 19© 2018 Sogeti. All rights reserved.
Automatisering – Script B
▪ (web) Applicaties
▪ Functionele testen vaak al (deels) geautomatiseerd
▪ full-suite tools zoals Tosca
Build
Func.
test
Perf.
test
Analyse

20. 20© 2018 Sogeti. All rights reserved.
Automatisering – Loadmodel
▪ Loadmodel: # users, TPS, pacing e.d.
▪ Productie is een goudmijn !
▪ Geeft handvatten voor error-rates en acceptatie-criteria
Infra PythonScript
Productie
Perf.
test
Uitvoer

21. 21© 2018 Sogeti. All rights reserved.
Automatisering – Analyse & Advies
▪ Geen grote, commerciële oplossing beschikbaar
▪ AI framework gebouwd op doeltechnologie of opensource Keptn
▪ Zeer Nieuwe technieken en aanpak
▪ Brede en beschikbare monitoring tools vereist
Infra AnalyseScript
Load-
model
Uitvoer Python Advies
Pitometer

22. 22© 2018 Sogeti. All rights reserved.
Automatisering – Analyse & Advies – Build scores
▪ Niet scoren a.d.h.v. harde non-functional requirement
▪ Apart behandelen diverse metrieken (resp. tijd, CPU%, MEM)
▪ Gewogen scoresysteem

23. 23© 2018 Sogeti. All rights reserved.
Automatisering – Risico’s
▪ Een zeer grote hoeveelheid tools :
▪ Nog grotere hoeveelheid kennis nodig
▪ E2E niet vervangbaar. Incidenteel nodig!
▪ Applicatie in de Keten

24. 24© 2018 Sogeti. All rights reserved.
Demo

25. 25© 2018 Sogeti. All rights reserved.
Hands-off performance
testing
Addy.Zwiebel@Sogeti.com
Twan.koot@Sogeti.com