Oplægget blev holdt ved et seminar i InfinIT-interessegruppen Softwaretest den 11. september 2013. Læs mere om interessegruppen her: http://infinit.dk/dk/interessegrupper/softwaretest/softwaretest.htm

1. Den røde tråd fra testdækning til
releasemetrikker
The art of developing software cheaper,
in good quality and at schedule
© Software-Pro

2. Software-Pro – Rådgiver, bemander og uddanner
… indenfor
test og kvalitetssikring

3. Software-Pro …
 Rådgiver vore kunder til






bedre testprocesser
højere testmodenhed (TMM)
færre fejl i produktionen
billigere test og udvikling
hurtigere projektgennemløb
større agilitet
 Uddanner vore kunder i






certificeret test og testledelse
krav og scope management
Scrum og Kanban
CMMI
process improvement
sourcing
 Bemander vore kunders
projekter med






testere
testmanager
testspecialister
QA konsulenter
releasemanager
danske og udenlandske
konsulenter

4. Founder and owner
 Torben Hoelgaard, B.Sc. in IT, Test and QA Consultant, CEO
 Founded Software-Pro in 2008
 Experience:
 4 years of consulting in ATP, Saxo Bank and 18 other companies
 4 years as VP of Corp. Quality Assurance at Saxotech
 4 years as VP of Services at Saxotech
 3 years as Nordic Sales Manager at Saxotech
 3 years as Project Chief at Saxotech
 7 years as Project Manager at Nordjyske
________
20+ years as Change Agent

5. Software-Pro - Change Cube
C
Level 3
Level 2 Maturity
Level 1
B
Organizational
level
Strategic
Tactic
Operational
© Software-Pro
Processes
People
Methods
A M+P+P

6. Customers and Projects
 Projects (not complete list)



















Test Assessment
Test Strategy – develop and implement
ISTQB Test training courses
Test Community Kick off
Test Optimization Project
Test Process Issue
Test Plans & Rapports
Test Metrics and Dashboards
Test Management
Test Design and Test Execution
Test Tool implementation: QC9.2 and ALM11 a.o.
SCRUM training and coaching
Develop and implement Resource Planning
System and Processes
Development Model
Incident Management Process
Major Planning system
CMMI introduction
LEAN Test Strategy
Use Case Driven Design implementation

7. Agenda
 Den røde tråd fra testdækning til releasemetrikker
 Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet
testdækning ikke brugt i det praktiske arbejde. Det er en skam, for
testdækning er sammen med kvalitet to vigtige elementer, når man skal
sætte mål for testen. Mål for testen er første punkt i Testing Maturity
Model, så det understreger, hvor vigtigt det er. Testdækning og mål for
testen er også væsentlige parametre når man skal opstille
releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve
at få den røde tråd gennem disse emner frem:






Testdækning (teori, dækningselementer, anvendelse i praksis)
Fejlniveau - kvalitet
Mål for testen
Testing Maturity Model (TMM)
Testplanlægning
Releasemetrikker (dashboard med trendkurver)

8. TMM
Den
røde tråd

9. Mål for testen
 Mål for testen = testdækning + fejlniveau
 Fejlniveau = fejlmængde x alvorlighed
 Alvorlighed (severity) opdeles i kategorier




Blokerende fejl
Alvorlige fejl
Mindre alvorlige fejl
Kosmetiske fejl

10. Test Coverage - Exercise
 Case:
 You have designed 50 test cases
 You planned to execute 40 test cases
 You actually managed to execute 30
 What is your test coverage?




A: 80%
B: 75%
C: 60%
D: Don’t know

11. Test Coverage - Answer
 If you planned for 40 tests and did 30, most Project Managers
would think that your test coverage is 75%
(which would be a pretty good test)
 Right answer is D: Don’t know!
 Test Coverage definition:
 The degree, in percent, to which a coverage item has been tested
 Examples of Coverage Items: User Stories, requirements, interfaces,
statements etc.
 In this case we have no information about the coverage item
and the number of tests needed to get 100% coverage
 E.g. if 200 tests were needed to get 100% coverage, and you did
30, the coverage would be 15% (which would be a pretty bad test)

12. Testdækning – øvelse 2
 Find 5 eksempler på dækningselementer

13. Testdækning - dækningselementer
 Fra artiklen: Testdækning – et vigtigt begreb








User Stories
Instruktioner (code statements)
Beslutninger (code decisions)
Grænseflader
Transaktionstyper
Menupunkter
Brugerroller
Forretningsprocesser

14. Testdækning - øvelse 3
 Kan man tale om testdækning per
testniveau?
 Find to eksempler på dækningselementer
for hvert testniveau i ISTQB

15. Testdækning – udtrykkes i procent
 Husk at testdækningen udtrykkes i procent
 “Procentdelen af dækningselementet der
er testet”
 Skal målet være 100% testdækning?

16. Testdækning – hvilke
 Hvilke dækningselementer og hvilken
dækningsgrad skal vi vælge?
 It depends…




Risici
Kommunikation
Testniveauer
Modenhed

17. Mål for testen
 Mål for testen = testdækning + fejlniveau
 Fejlniveau = fejlmængde x alvorlighed
 Alvorlighed (severity) opdeles i kategorier




Blokerende fejl
Alvorlige fejl
Mindre alvorlige fejl
Kosmetiske fejl

18. Mål for testen - fejlniveau
 Fra artiklen: Mål for testen
 - eksempel på næste side

19. Fejlniveau – kvalitet
 Målet for fejlniveauet kunne f.eks. være:
 Vi vil ikke frigive software med kendte kategori
1 fejl
 Vi vil ikke frigive software med kendte kategori
2 fejl, med mindre de er
 dokumenterede og
 der findes en workaround og
 det er besluttet, hvornår fejlen rettes
 Vi vil ikke frigive, før fejltendensen er faldende

20. Fejlniveau – øvelse 4
 Find 3 eksempler på fejlniveauer
 Kan man tale om fejlniveauer per testniveau?
 Find et eksempel på fejlniveauet for hvert
testniveau i ISTQB
 Hvorfor kendte fejl?

21. Fejltendens

22. Mål for testen
 Lad os se på to eksempler fra
virkeligheden
 Mellemstor virksomhed indenfor publicering
 Stor virksomhed indenfor pension

23. Agenda
 Den røde tråd fra testdækning til releasemetrikker
 Mange har taget ISTQB certifikat i softwaretest men ofte bliver begrebet
testdækning ikke brugt i det praktiske arbejde. Det er en skam, for
testdækning er sammen med kvalitet to vigtige elementer, når man skal
sætte mål for testen. Mål for testen er første punkt i Testing Maturity
Model, så det understreger, hvor vigtigt det er. Testdækning og mål for
testen er også væsentlige parametre når man skal opstille
releasemetrikker. I dette indlæg vil Torben, med input fra tilhørerne, prøve
at få den røde tråd gennem disse emner frem:






Testdækning (teori, dækningselementer, anvendelse i praksis)
Fejlniveau - kvalitet
Mål for testen
Testing Maturity Model (TMM)
Testplanlægning
Releasemetrikker (dashboard med trendkurver)

24. TMM
22 Key Process Areas
=
22 Projects of Change!
Pick 1 or pick many
TMM Saxotech DK
100
80
60
40
20
0
Feb 2005
June 2006
March 2008

25. Testplanlægning
 Kan vi bruge “Mål for testen” i forbindelse
med testplanlægning?

26. Release Metrics – Test Progress

27. Metrik - pyramide
Teststatus - fordeling
Teststatus - trend

Teststatus - trend
Fejl - alvorlighed

Teststatus - trend
Fejl - trend
Fejlede test iht. prio
Når ledelsen ser de centrale metrikker
for releasen, vil der helt naturligt
komme spørgsmål til de enkelte
ordninger og domæner. Det betyder, at
releasemetrikkerne i virkeligheden kan
ses som en pyramide, hvor man
starter i toppen og spørger sig hele
vejen ned fra Release -> Ordning ->
Domæne -> Leverandør (Appl.) /
Opgave
Releases
Ordninger
Domæner
Det gode er, at de centrale metrikker
kan genanvendes på underliggende
niveauer
Applikationer / Opgaver

28. Overblik - Scope
Release
Ordning
Domæne
28
X
Fælles

29. Releasemetrikker – Dashboard link

30. TMM
Den
røde tråd

31. Questions & comments?
Info@Software-Pro.dk
www.Software-Pro.dk +45 3178 0000
© Software-Pro