SQL

1. Contents
Part I
Background
1
Introduction .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.1
Software Engineering Context . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.2
Science and Software Engineering .. . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.3
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3
3
5
8
2
Empirical Strategies .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.1
Overview of Empirical Strategies . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2
Surveys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.1
Survey Characteristics . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.2
Survey Purposes . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.3
Data Collection . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3
Case Studies .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3.1
Case Study Arrangements . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3.2
Confounding Factors and Other Aspects . . . . . . . . . . . . . . .
2.4
Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.4.1
Characteristics . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.4.2
Experiment Process . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.5
Empirical Strategies Comparison . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.6
Replications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.7
Theory in Software Engineering . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.8
Aggregating Evidence from Empirical Studies .. . . . . . . . . . . . . . . . . . .
2.9
Empiricism in a Software Engineering Context .. . . . . . . . . . . . . . . . . .
2.9.1
Empirical Evaluation of Process Changes .. . . . . . . . . . . . .
2.9.2
Quality Improvement Paradigm .. . . .. . . . . . . . . . . . . . . . . . . .
2.9.3
Experience Factory . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.9.4
Goal/Question/Metric Method . . . . . .. . . . . . . . . . . . . . . . . . . .
2.10 Empirically-Based Technology Transfer . . . . . .. . . . . . . . . . . . . . . . . . . .
2.11 Ethics in Experimentation . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.12 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9
10
12
12
13
13
14
15
15
16
17
18
18
19
21
22
24
24
26
27
29
30
33
36
xix

2. xx
Contents
3
Measurement .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1
Basic Concepts .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1.1
Scale Types . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1.2
Objective and Subjective Measures .. . . . . . . . . . . . . . . . . . . .
3.1.3
Direct or Indirect Measures . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.2
Measurements in Software Engineering . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.3
Measurements in Practice . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.4
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
37
38
39
40
41
41
42
43
4
Systematic Literature Reviews . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.1
Planning the Review . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.2
Conducting the Review . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.3
Reporting the Review .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.4
Mapping Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.5
Example Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.6
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
45
45
46
51
52
52
54
5
Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.1
Case Studies in Its Context . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.1.1
Why Case Studies in Software Engineering? .. . . . . . . . . .
5.1.2
Case Study Research Process . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2
Design and Planning .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2.1
Case Study Planning .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2.2
Case Study Protocol . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3
Preparation and Collection of Data . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.1
Interviews . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.2
Observations . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.3
Archival Data . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.4
Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4
Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.1
Quantitative Data Analysis . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.2
Qualitative Data Analysis . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.3
Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5
Reporting .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5.1
Characteristics . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5.2
Structure .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.6
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
55
56
57
58
58
58
60
61
62
64
65
65
65
65
66
68
69
69
71
72
6
Experiment Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.1
Variables, Treatments, Objects and Subjects . .. . . . . . . . . . . . . . . . . . . .
6.2
Process.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.3
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.4
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
73
74
76
81
81

3. Contents
Part II
xxi
Steps in the Experiment Process
7
Scoping.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.1
Scope Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.2
Example Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.3
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
85
85
87
88
8
Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.1
Context Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.2
Hypothesis Formulation . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.3
Variables Selection .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.4
Selection of Subjects. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5
Experiment Design.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.1
Choice of Experiment Design .. . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.2
General Design Principles . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.3
Standard Design Types . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.6
Instrumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.7
Validity Evaluation.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8
Detailed Description of Validity Threats. . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.1
Conclusion Validity .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.2
Internal Validity .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.3
Construct Validity .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.4
External Validity . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.9
Priority Among Types of Validity Threats .. . . .. . . . . . . . . . . . . . . . . . . .
8.10 Example Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.11 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
89
89
91
92
92
93
93
94
95
101
102
104
104
106
108
110
111
112
116
9
Operation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1
Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1.1
Commit Participants . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1.2
Instrumentation Concerns . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2
Execution .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2.1
Data Collection . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2.2
Experimental Environment .. . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.3
Data Validation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.4
Example Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.5
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
117
117
118
119
120
120
120
121
121
122
10 Analysis and Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1 Descriptive Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.1 Measures of Central Tendency . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.2 Measures of Dispersion.. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.3 Measures of Dependency .. . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.4 Graphical Visualization .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.2 Data Set Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
123
123
124
126
127
128
131

4. xxii
Contents
10.3
10.4
10.5
Hypothesis Testing .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.1 Basic Concept .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.2 Parametric and Non-parametric Tests . . . . . . . . . . . . . . . . . . .
10.3.3 Overview of Tests . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.4 t-Test .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.5 Mann-Whitney . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.6 F-Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.7 Paired t-Test . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.8 Wilcoxon . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.9 Sign Test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.10 ANOVA (ANalysis Of VAriance) .. .. . . . . . . . . . . . . . . . . . . .
10.3.11 Kruskal-Wallis . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.12 Chi-2.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.13 Model Adequacy Checking . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.14 Drawing Conclusions .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
Example Analysis .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
132
132
135
136
138
139
140
140
141
142
143
144
145
148
149
150
151
11 Presentation and Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 153
11.1 Experiment Report Structure . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 153
11.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 157
Part III
Example Experiments
12 Experiment Process Illustration . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1 Scoping .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1.1 Goal Definition.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1.2 Summary of Scoping . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2 Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.1 Context Selection . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.2 Hypothesis Formulation . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.3 Variables Selection. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.4 Selection of Subjects. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.5 Experiment Design . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.6 Instrumentation . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.7 Validity Evaluation . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3 Operation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.1 Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.2 Execution .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.3 Data Validation.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4 Analysis and Interpretation .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.1 Descriptive Statistics. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.2 Data Reduction.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.3 Hypothesis Testing . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
161
161
161
163
163
163
163
165
165
165
166
166
167
167
168
168
169
169
172
172
173
174

5. Contents
xxiii
13 Are the Perspectives Really Different? Further
Experimentation on Scenario-Based Reading of Requirements.. . . . . .
13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.2 Related Work .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.3 Research Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4 Experiment Planning.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.1 Variables.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.2 Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.3 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.4 Threats to Validity . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.5 Experiment Operation . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.6 Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.6.1 Individual Performance for Different Perspectives.. . . .
13.6.2 Defects Found by Different Perspectives . . . . . . . . . . . . . . .
13.6.3 Is the Sample Size Large Enough? .. . . . . . . . . . . . . . . . . . . . .
13.6.4 Experience of Subjects . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.7 Interpretations of Results . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.8 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.9 Data on Individual Performance . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10 Data on Defects Found by Perspectives. . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10.1 PG document .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10.2 ATM document . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
175
176
177
181
182
182
182
184
184
186
187
187
189
192
194
194
195
197
198
198
199
Appendices
A
Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1
Training.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.1
Normally Distributed Data . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.2
Experience . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.3
Programming .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.4
Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.5
Inspections . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.2
Reviewing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3
Assignments .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.1
Unit Test and Code Reviews . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.2
Inspection Methods . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.3
Requirements Notation . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
203
203
204
204
205
209
212
212
213
214
214
215
B
Statistical Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 217
References .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 223
Index . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 233

6. http://www.springer.com/978-3-642-29043-5