多重比較的使用原則

1. 2013-3-19
實驗設計
“多重比較” 的使用原則
13年3月19⽇日星期⼆二

2. Previously in Experimental Design
✤ 前一堂課以CR-p為例，解釋變異數分析的方法和原則
✤ fixed-effects model (model I):
✤ 根據組別的平均數進行假設
✤ 根據組別的效果進行假設
13年3月19⽇日星期⼆二

3. multiple comparison 多重比較
✤ fixed-effects model (model I):
✤ 根據組別的平均數進行假設
✤ 根據組別的效果進行假設
✤ 當F分數大於臨界值，即代表treatment
之間的平均數有顯著差異。
✤ 研究者需要做進一步的分析，探討實
驗效果來自哪幾組平均數？
✤ e.g.,
三個treatments的CR-3設計，效果
可能來自：
✤ 三組平均值彼此不一樣
✤ 某兩組平均值和另一個平均值不一
樣
13年3月19⽇日星期⼆二

4. multiple comparison 多重比較
✤ 多重比較的統計方法大約有30多種。要從中選擇適當的方法得先瞭解幾
個原則：
✤ 正交/ 非正交比較 (orthogonal/ nonorthogonal contrasts)
✤ 事前/事後比較 (planned comparisons/ post hoc tests)
✤ 第一類型錯誤的風險
✤ 實際操作多重比較的時候，還要考慮 “變異數同質性” 原則，以及各個
treatment之間的樣本數是否一樣多。
13年3月19⽇日星期⼆二

5. contrast, comparison 比較
✤ 所謂的 “比較” 是指：
✤ 將一組平均值搭配 “加權值” (coefficients)
之後，以線性的方式組合在一起。為了達
到 “比較” 的目的，加權值有兩個特性：
✤ 1) 至少一個加權值不為零
✤ 2) 加權值的總和為零
13年3月19⽇日星期⼆二

6. contrast, comparison 比較
✤ 所謂的 “比較” 是指：
✤ 將一組平均值搭配 “加權值” (coefficients)
之後，以線性的方式組合在一起。為了達
到 “比較” 的目的，加權值有兩個特性：
✤ 1) 至少一個加權值不為零
✤ 2) 加權值的總和為零
13年3月19⽇日星期⼆二

7. 配對/ 非配對比較
✤ treatment 數量在 3以上的時候，如果比較的加權值其中兩個不為零，
其他的為零的時候就稱為配對比較。假設組別數量為p，配對比較的數
量有 p(p–1)/2。
✤ 有時候研究上的興趣會設計非配對比較，配對比較可以依照需求而有無
限多種可能。
13年3月19⽇日星期⼆二

8. 正交比較 orthogonal contrasts
✤ 將兩組比較的加權值的每個對應項目相成，然後將乘積加總之後，取得的總和為零的時候代表
這兩組為 “正交比較”，兩者所代表的訊息互相獨立。
✤ 正交比較可以組合出其他可能的比較
✤ 假設組別數量為p，正交比較的數量有 (p–1)組。
13年3月19⽇日星期⼆二

9. 正交比較 orthogonal contrasts
✤ 將兩組比較的加權值的每個對應項目相成，然後將乘積加總之後，取得的總和為零的時候代表
這兩組為 “正交比較”，兩者所代表的訊息互相獨立。
✤ 正交比較可以組合出其他可能的比較
✤ 假設組別數量為p，正交比較的數量有 (p–1)組。
13年3月19⽇日星期⼆二

10. 事前/事後比較
planned comparisons/ post hoc
✤ 多重比較在進行F考驗之前進行，稱為事前比較（planned / priori
comparisons）
✤ 獲得顯著的F值之後所進行的多重比較，稱為事後比較（posteriori
comparisons / post hoc tests）。
13年3月19⽇日星期⼆二

11. 多重比較之下的第一類型錯誤
✤ 假設每次統計檢定之下，發生第一類型錯誤的機率為 0.05
✤ 針對三個平均數執行三次配對比較，這時候第一類型錯誤的機率是多少？
✤ ! = 0.05, 代表 “不發生第一類型錯誤” 的機率為 (1 – !)
✤ 比較的次數 (C) 有三個，累積的 “不發生第一類型錯誤” 的機率為
✤ (1 – !)• (1 – !)• (1 – !) = (1 – !)3
✤ 這時候，執行三次配對比較承擔的第一類型錯誤為
✤ 1 – (1 – !)3 = 0.14
✤ 假設每次統計檢定之下，發生第一類型錯誤的機率為 !。執行 C 次比較所承擔的
第一類型錯誤機率為 1 – (1 – !)c
13年3月19⽇日星期⼆二

12. 三種第一類型錯誤
✤
比較錯誤率（per-contrast error rate）
✤ 將第一類型錯誤率設定於每一次的統計
考驗，均有相同的犯第一類型錯誤的機
率
✤ !PC
✤
族系誤差率（familywise error rate）
✤ 將每一個被檢驗的效果的統計考驗的型I
錯誤率維持一定，導出各次決策累積的
第一類型錯誤率
✤ !FW
✤ 實驗誤差率（per-family/ experiment-
wise error rate）
✤ 統計的決策，是以整個實驗的第一類型
錯誤率維持一定的情況下，導出各次決
策所犯的第一類型錯誤率
✤ !PF
13年3月19⽇日星期⼆二

13. 三種第一類型錯誤
✤ !PC = 0.05，5組比較
✤ [!PC = 0.05] ≤ [ !FW = 1 – (1 – .05)5 = .23 ] ≤ [ !PF = 5•.05 = .25]
✤ 如果將 !PC 設定為 0.01，同樣進行5組比較
✤ [!PC = 0.01] ≤ [ !FW = 1 – (1 – .01)5 = .049 ] ≤ [ !PF = 5•.01 = .05]
13年3月19⽇日星期⼆二

14. 三種第一類型錯誤
✤
實驗與族系誤差率
✤
為了維持整體的α水準為.05，必須降低各次考驗的α水準
✤
一般會採用 族系誤差率 來設定多重比較的顯著性臨界值
✤
如果採用正交比較就無需調整α水準
✤
複因子設計的時候，假設有兩個因子 A, B, 變異數分析包含兩個主效果、一個交互作
用。由於三組效果的比較屬於正交比較，因此ANOVA的統計考驗無需調整α水準。
13年3月19⽇日星期⼆二

15. 多重比較的統計量
(Student’s t distribution)
(Studentized range distribution)
(F distribution)
13年3月19⽇日星期⼆二

16. 多重比較的類型
依照檢定的程序來分類：
✤ 單一步驟 single-step procedure
✤ 使用一個臨界值估計所有的對比
✤ 多重步驟 multiple-step procedure
✤ two step: Fisher’s LSD methods
✤ step-up
✤ setup-down
✤ 多重步驟的 power 比較大，可以減少第
二類型錯誤的機率
✤ 單一步驟的統計量可以估計信賴區間，
多重步驟則無法提供線賴區間。
依照⽐比較的類型來分類：
✤ p – 1 a priori orthogonal contrasts
p – 1 個事前正交比較
✤ p – 1 a priori nonorthogonal contrasts
with a control-group mean
p – 1 個事前非正交比較(有控制組)
✤ C a priori nonorthogonal contrasts
C 個事前非正交比較
✤ All pairwise contrasts among p means
p 個平均值的配對比較
✤ All contrasts including nonpairwise
contrasts that from an inspection of the
data appear interesting
....基本上就是包羅萬象的狀況
13年3月19⽇日星期⼆二

17. Recommended ProceduresWhen
Assumptions AreTenable
Orthogonal
Contrasts
Nonorthogonal
Contrasts
A
Priori
Contrasts
Student’s
t
test (Tes7ng
p-­‐1
contrasts
with
a
control-­‐group
mean)
Dunne@’s
test
A
Priori
Contrasts
(Tes7ng
C
contrasts)
Dunn-­‐Sidak
test
Holm’s
test
A
Posteriori
Contrasts
(Tes7ng
all
pairwise
contrasts)
Tukey’s
test
Fisher-­‐Hayter
test
REGW
F,
FQ,
Q
tests
A
Posteriori
Contrasts
(Tes7ng
all
contrasts)
Scheffe’s
test
13年3月19⽇日星期⼆二

18. Recommended ProceduresWhen
Assumptions Are NOTTenable
Orthogonal
Contrasts
Nonorthogonal
Contrasts
A
Priori
Contrasts
Student’s
t
test
with
Welch
df
(Tes7ng
p-­‐1
contrasts
with
a
control-­‐group
mean)
Dunne@’s
test
with
modifica7on
A
Priori
Contrasts
(Tes7ng
C
contrasts)
Dunn-­‐Sidak
test
with
Welch
df
Holm’s
test
with
Welch
df
A
Posteriori
Contrasts
(Tes7ng
all
pairwise
contrasts)
Tukey
-­‐
Kramer
test
Fisher-­‐Hayter
test
Dunne@’s
T3
or
C
test
Games-­‐Howell
test
A
Posteriori
Contrasts
(Tes7ng
all
contrasts)
Brown-­‐Forsythe
test
13年3月19⽇日星期⼆二

19. Fisher’s LSD procedure
✤ 一個CP5 的實驗設計，每一組treatment 有6個觀察值
1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
13年3月19⽇日星期⼆二

20. Fisher’s LSD procedure
✤ 一個CP5 的實驗設計，每一組treatment 有6個觀察值
1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
(reject equal column MEANS)
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
13年3月19⽇日星期⼆二

21. Fisher’s LSD procedure
✤ 一個CP5 的實驗設計，每一組treatment 有6個觀察值
1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
(reject equal column MEANS)
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
LSD = t1 α/2, df x √MSerror x √ 1 + 1
njni
13年3月19⽇日星期⼆二

22. Fisher’s LSD procedure
✤ 一個CP5 的實驗設計，每一組treatment 有6個觀察值
1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
(reject equal column MEANS)
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
LSD = t1 α/2, df x √MSerror x √ 1 + 1
njni
with α=.05
LDS = 2.060 (√21.2 x √ 1 + 1 )
= 5.48
6 6
13年3月19⽇日星期⼆二

23. Fisher’s LSD procedure
✤ 一個CP5 的實驗設計，每一組treatment 有6個觀察值
1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
(reject equal column MEANS)
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
LSD = t1 α/2, df x √MSerror x √ 1 + 1
njni
with α=.05
LDS = 2.060 (√21.2 x √ 1 + 1 )
= 5.48
6 6
將各組的平均值排序，然後觀察兩配對之間的大
小有無大於LSD臨界值
13年3月19⽇日星期⼆二

24. Fisher’s LSD procedure
✤ 一個CP5 的實驗設計，每一組treatment 有6個觀察值
1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
(reject equal column MEANS)
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
LSD = t1 α/2, df x √MSerror x √ 1 + 1
njni
with α=.05
LDS = 2.060 (√21.2 x √ 1 + 1 )
= 5.48
6 6
將各組的平均值排序，然後觀察兩配對之間的大
小有無大於LSD臨界值
Group 3 1 2 4 5
5 6 12 14 17
Conclusion : 3, 1 2 4 5
13年3月19⽇日星期⼆二

25. Fisher’s LSD procedure
✤ 一個CP5 的實驗設計，每一組treatment 有6個觀察值
1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
(reject equal column MEANS)
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
LSD = t1 α/2, df x √MSerror x √ 1 + 1
njni
with α=.05
LDS = 2.060 (√21.2 x √ 1 + 1 )
= 5.48
6 6
將各組的平均值排序，然後觀察兩配對之間的大
小有無大於LSD臨界值
Group 3 1 2 4 5
5 6 12 14 17
Conclusion : 3, 1 2 4 5
Hayter (1986): 組別數量大於三的時候不要使用LSD
13年3月19⽇日星期⼆二

26. p – 1 a priori orthogonal contrasts
13年3月19⽇日星期⼆二

27. p – 1 a priori orthogonal contrasts
13年3月19⽇日星期⼆二

28. p – 1 a priori orthogonal contrasts
✤
實驗與族系誤差率
✤
為了維持整體的α水準為.05，必須降
低各次考驗的α水準
✤
一般會採用 族系誤差率 來設定多重比較
的顯著性臨界值
✤
如果採用正交比較就無需調整α水準
13年3月19⽇日星期⼆二

29. p – 1 a priori orthogonal contrasts
✤ Student’s Multiple t Test
✤ e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322
1. 估計MSE
2. 將平均值、加權值帶入下列公式，計算
每一組比較的t 分數
3. 依照!, MSE的自由度查表取得臨界
值。t分數的絕對值大於臨界值表示
該組比較俱有顯著效果
t!/2, p(n-1)
13年3月19⽇日星期⼆二

30. p – 1 a priori orthogonal contrasts
✤ Student’s Multiple t Test
✤ e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322
t .05/2, 40 = 2.021
13年3月19⽇日星期⼆二

31. p – 1 a priori orthogonal contrasts
✤ Student’s Multiple t Test
✤ 各組樣本的變異數不同質的時候，需要校正臨界值，一般建議Welch’s 方法，以 v’替換自由
度：
13年3月19⽇日星期⼆二

32. p – 1 a priori nonorthogonal
contrasts with a control-group
✤
實驗與族系誤差率
✤
為了維持整體的α水準為.05，必須降
低各次考驗的α水準
✤
一般會採用 族系誤差率 來設定多重比較
的顯著性臨界值
✤
如果採用正交比較就無需調整α水準
13年3月19⽇日星期⼆二

33. p – 1 a priori nonorthogonal
contrasts with a control-group
✤ Dunnett’s procedure
✤ e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322
依照!, 組別數量 (p), MSE的自由度查表取得tDN!/2, p, p(n-1)，然後帶入公式估計臨
界值。差值大於臨界值即表示該組比較有顯著效果。
13年3月19⽇日星期⼆二

34. C a priori nonorthogonal contrasts
✤ Dunn’s test
✤ 又稱作 Bonferroni procedure
✤
較嚴謹的控制第一類型錯誤，!值設定在 實驗誤差率 (!PF)
✤ Dunn-­‐Sidak
test
✤
程序類似 Dunn’s test， !值設定在 族系誤差率 (!FW)
✤ power 比較大
13年3月19⽇日星期⼆二

35. C a priori nonorthogonal contrasts
✤ CP5 , n = 9 (N = 45), MSE = 29.0322
13年3月19⽇日星期⼆二

36. C a priori nonorthogonal contrasts
✤ CP5 , n = 9 (N = 45), MSE = 29.0322 ✤ Dunn’s test 的臨界值：
tD!/2, p, p(n-1) = tD .05/2, 4, 40 = 2.62
✤ Dunn-­‐Sidak
test
的臨界值：
tDS!/2, p, p(n-1) = tDS .05/2, 4, 40 = 2.608
13年3月19⽇日星期⼆二

37. C a priori nonorthogonal contrasts
✤ Holm’s test (step-down)
1. 使用和 Dunn一樣的方式計算 tH
2. 將tH的絕對值由大到小排序
3. tH最大的直採用tDS!/2, p, p(n-1) 為臨界值
4.接下來的臨界值的第二項參數逐次遞減
13年3月19⽇日星期⼆二

38. All pairwise contrasts among p means
✤ Tukey’s HSD Test
✤ CP5 , n = 9 (N = 45), MSE = 29.0322
✤ 使用 qT的公式估計各配對的差值、臨界值
13年3月19⽇日星期⼆二