Recomendados
Más contenido relacionado
Similar a 第5回スキル養成講座 講義スライド
Similar a 第5回スキル養成講座 講義スライド (15)
Más de keiodig
Más de keiodig (20)
第5回スキル養成講座 講義スライド
- 1. 基礎から学ぶ回帰分析 #2: 統計的推測と検定 中島有希大 2022 年 5 月 20 日 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 1 / 101
- 2. 1 連続セミナーについて 2 統計的推定 3 仮説検定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 2 / 101
- 3. 連続セミナーについて Section 1 連続セミナーについて 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 3 / 101
- 4. 連続セミナーについて 連続セミナーの目的 2022 年 4 月から月に 1 回全 3 回で確率から回帰分析までを学ぶ ソフトの使い方や p < 0.05 だから有意！などという安易な統計と のかかわりではなく, 言葉や数式を通して, 回帰分析はどのような ことをしているのかを学ぶ 3 回しかないのでエッセンスだけを伝えていきます 最もシンプルな方法である線形回帰モデルを学ぶが，多くの発展 的なモデルに通じる重要な分析方法 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 4 / 101
- 5. 連続セミナーについて 本日のセミナーのゴール 統計的推定とは何かを理解する どういった規準でその推定値が良いといえるのかを知る 仮説検定とは何かを学ぶ p 値とは何であり、何ではないかを適切に把握する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 5 / 101
- 6. 連続セミナーについて 確率 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 6 / 101
- 7. 連続セミナーについて 統計的推測 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 7 / 101
- 8. 統計的推定 Section 2 統計的推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 8 / 101
- 9. 統計的推定 統計的推定 標本に基づいてパラメーターの値をピンポイントで推定すること を点推定 (point estimation) という 点推定は推定された値 (推定量) はパラメーターの真の値の近辺に 存在したとしても標本によって変動する 標本に基づいてパラメーターの値を一定の幅をもって推定するこ とを区間推定 (interval estimation) という 区間推定では標本を取り直した際にどの程度パラメーターの真の 値が推定量の幅の中に含まれるかを示す 後述の統計的仮説検定とも強い関係がある 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 9 / 101
- 10. 統計的推定 点推定 Subsection 1 点推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 10 / 101
- 11. 統計的推定 点推定 推定量と推定値 まず, 母集団はある確率分布に従っており, パラメーター 𝜃(平均 𝜇 や分散 𝜎2 などを抽象化して表現している) をもつ 母集団から無作為抽出を行い, 標本を得たとする 𝑋1, 𝑋2, … , 𝑋𝑛, 𝑖.𝑖.𝑑. ∼ 𝑃𝜃 𝜃 を標本の関数で推定をする この推定に用いる関数を 𝜃 の推定量 (estimator) という ̂ 𝜃(𝑋1, 𝑋2, … , 𝑋𝑛) 観測値を代入したものを推定値 (estimate) という ̂ 𝜃(𝑥1, 𝑥2, … , 𝑥𝑛) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 11 / 101
- 12. 統計的推定 点推定 不偏推定量 推定量 ̂ 𝜃 がパラメーター 𝜃 を正確に推定できるようにしたい 推定量の期待値 𝔼[ ̂ 𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] がパラメーター 𝜃 と一致す る性質を不偏性という 不偏性を持つ推定量を不偏推定量 (unbiased estimator) という 不偏性を持つ時, ̂ 𝜃 は 𝜃 の周囲に分布する 標本平均や不偏分散は不偏推定量の 1 つである 𝔼[ ̂ 𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] = 𝜃 推定量の期待値とパラメーターの差をバイアスという 𝐵𝑖𝑎𝑠( ̂ 𝜃) = 𝔼[ ̂ 𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] − 𝜃 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 12 / 101
- 13. 統計的推定 点推定 標本平均の期待値 ランダム標本 𝑋1, … , 𝑋𝑛 の算術平均の期待値 𝔼[𝑋] から母平均 𝔼[𝑋𝑖] = 𝜇 を導くことができる 統計量 (標本の特徴量) の期待値が母数 (母集団の特徴量) に一致 することを不偏性という 𝔼[𝑋] = 𝔼 [ 1 𝑛 𝑛 ∑ 𝑖=1 𝑋𝑖] = 1 𝑛 𝑛 ∑ 𝑖=1 𝔼[𝑋𝑖] = 1 𝑛 𝑛 ∑ 𝑖=1 𝜇 = 1 𝑛 𝑛𝜇 = 𝜇 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 13 / 101
- 14. 統計的推定 点推定 標本分散と母分散 各値と標本平均の差の平方和は, 各値と任意の定数との差の平方 和より小さくなる (∑ 𝑛 𝑖=1 (𝑥𝑖 − ̄ 𝑥)2 ≤ ∑ 𝑛 𝑖=1 (𝑥𝑖 − 𝑎)2 ) ため, 𝑎 に 𝜇 を代入した次のことが言える 𝑛 ∑ 𝑖=1 (𝑥𝑖 − ̄ 𝑥)2 ≤ 𝑛 ∑ 𝑖=1 (𝑥𝑖 − 𝜇)2 両辺をサンプルサイズ 𝑛 で除すと, 標本分散よりも母分散が大き くなる 𝑠2 ≤ 𝜎2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 14 / 101
- 15. 統計的推定 点推定 不偏標本分散 各値と標本平均の差の平方和をサンプルサイズから 1 を引いた値 𝑛 − 1 で除すと期待値が母分散と一致する不偏標本分散 (unibiased sample variance) ̂ 𝜎2 が得られる なお, 標本分散の期待値 𝔼[𝑠2 ] は 𝑛−1 𝑛 𝜎2 である 不偏標本分散の平方根は標準偏差の不偏推定量ではないこと に注意 𝑛 ∑ 𝑖=1 (𝑋𝑖 − 𝜇)2 = ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋 + ̄ 𝑋 − 𝜇)2 = ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 + ∑ 𝑛 𝑖=1 ( ̄ 𝑋 − 𝜇)2 + ∑ 𝑛 𝑖=1 2(𝑋𝑖 − ̄ 𝑋)( ̄ 𝑋 − 𝜇) = ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 + 𝑛( ̄ 𝑋 − 𝜇)2 + 2( ̄ 𝑋 − 𝜇) ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋) = ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 + 𝑛( ̄ 𝑋 − 𝜇)2 + 2( ̄ 𝑋 − 𝜇)0 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 15 / 101
- 16. 統計的推定 点推定 𝔼 [ 𝑛 ∑ 𝑖=1 (𝑋𝑖 − 𝜇)2 ] = 𝔼 [∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] + 𝑛𝔼[( ̄ 𝑋 − 𝜇)2 ] 𝑛𝜎2 = 𝔼 [∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] + 𝜎2 𝔼 [ 𝑛 ∑ 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] = 𝑛𝜎2 − 𝜎2 = (𝑛 − 1)𝜎2 𝔼 [ 1 𝑛 − 1 𝑛 ∑ 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] = 𝜎2 ̂ 𝜎2 = 1 𝑛−1 ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 𝔼[ ̂ 𝜎2 ] = 𝔼 [ 1 𝑛−1 ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] = 𝜎2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 16 / 101
- 17. 統計的推定 点推定 最小分散不偏推定量 不偏推定量は 1 つのパラメーターに対して複数存在しうる 中には不合理なものも含みうる 推定量のパラメーターからの分散が最も小さいものを選ぼうと 考える 不偏性を持つ推定量のうち, 分散が最も小さいものを最小分散不偏 推定量 (minimum variance unbiased estimator) という 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 17 / 101
- 18. 統計的推定 点推定 不偏性についての注意 不偏推定量は 2 乗したり, 平方根をとったりすると不偏推定量で はなくなる 例えば, 不偏分散の平方根である不偏標準偏差は不偏推定量ではな い (!) 平均の 2 乗も不偏推定量ではない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 18 / 101
- 19. 統計的推定 点推定 一致推定量 サンプルサイズ 𝑛 を大きくした時 (母集団に近づけた時), ̂ 𝜃 が 𝜃 に確率収束する性質を一致性という 一致性を持つ推定量を一致推定量 (consistent estimator) という 大数の弱法則ととても形が似ている 標本平均や不偏分散, そして標本分散も一致推定量である lim 𝑛→∞ 𝑃𝜃(| ̂ 𝜃 − 𝜃| ≤ 𝑐) = 1 やはりチェビシェフの不等式を用いることで確率収束を示すこと ができる lim𝑛→∞ 𝔼[( ̂ 𝜃 − 𝜃)2 ] = 0 なら, ̂ 𝜃 は一致性をもつ 𝑃(| ̂ 𝜃 − 𝜃| ≤ 𝑐) ≥ 1 − 𝔼[( ̂ 𝜃 − 𝜃)2 ]/𝑐2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 19 / 101
- 20. 統計的推定 点推定 最尤推定量 データが与えられたとき, そのデータを最も得る確率が高いパラメータ ーを推定する方法を最尤推定法 (method of maximum likelihood) という パラメーター 𝜃 をもつ母集団からの無作為標本 X = (𝑋1, … , 𝑋2) の実 現値 x = (𝑥1, … , 𝑥2) における同時確率関数をパラメーター 𝜃 の関数と みて, 尤度関数 (likelifood function) を得る 尤度関数とは, データを説明するのに 𝜃 の尤もらしさの度合いを表 す関数である 𝐿(𝜃; x) = 𝑛 ∏ 𝑖=1 𝑓(𝑥𝑖; 𝜃) 尤度関数を最大にする推定量が最尤推定量 (maximum likelifood estimator) であり, その実現値が最尤推定値である 𝐿( ̂ 𝜃𝑀𝐿 ; X = max 𝜃 𝐿(𝜃; X)) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 20 / 101
- 21. 統計的推定 点推定 対数尤度 尤度関数が最大となる推定量を求めるためには, 微分して 0 を置 くことで求める しかし最尤法の計算では, 尤度関数が確率関数の積であることか ら, 計算が難しい場合がある 対数変換を行うことで確率関数の和の形に変換してから微分を行 うことを考える 対数変換された尤度関数を対数尤度関数 (log-likelifood function) という ℓ(𝜃; x) = log 𝐿(𝜃; x) = log 𝑛 ∏ 𝑖=1 𝑓(𝑥𝑖; 𝜃) = 𝑛 ∑ 𝑖=1 log 𝑓(𝑥𝑖; 𝜃) 𝑑 𝑑𝜃 ℓ(𝜃; x) = 𝑛 ∑ 𝑖=1 𝑑 𝑑𝜃 log 𝑓(𝑥𝑖; 𝜃) = 0 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 21 / 101
- 22. 統計的推定 点推定 最尤推定量の性質 最尤推定量には好ましいいくつかの性質がある 1 パラメーター 𝜃 の最尤推定量 ̂ 𝜃𝑀𝐿 は 𝜃 の一致推定量である ̂ 𝜃𝑀𝐿 は 𝜃 に確率収束する 2 パラメーター 𝜃 の関数 𝑔(𝜃) の最尤推定量は 𝑔( ̂ 𝜃𝑀𝐿 ) である これを不変性 (漢字に注意!) という 3 𝑛 が十分に大きい時, ̂ 𝜃𝑀𝐿 の分布は正規分布で近似できる これを漸近正規性という 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 22 / 101
- 23. 統計的推定 点推定 0.0 0.2 0.4 0.6 -4 -2 0 2 4 X y 図 1: 最尤推定法のイメージ 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 23 / 101
- 24. 統計的推定 区間推定 Subsection 2 区間推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 24 / 101
- 25. 統計的推定 区間推定 区間推定とは 区間 [𝐿(X), 𝑈(X))] が確率 1 − 𝛼 でパラメーターを含む時, パラメ ーターに対する信頼区間 (confidence intereval) という 1 − 𝛼 のことを信頼係数 (confidence coefficient) といい, 有意水準 5% と合わせて 95% 信頼区間がよく利用される 一般にサンプルサイズが大きくなるほど, 信頼区間の幅は小さくな る 信頼係数を高くするほど信頼区間の幅は広がる 信頼区間に帰無仮説を含んだ時, 帰無仮説は受容される 信頼区間の上限を信頼上限, 下限を信頼下限といい, [信頼下限, 信頼上限] で表す 𝑃𝜃(𝜃 ∈ [𝐿(X), 𝑈(X)]) ≥ 1 − 𝛼 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 25 / 101
- 26. 統計的推定 区間推定 信頼区間の解釈 信頼区間は有意水準と同じく, 確率変数について述べているため, 観測された実現値を代入して 95% の確率でパラメーターを含む などとは言えない パラメーターの真の値は 1 つであり, 実現値を代入して求めた信 頼区間には含まれるかか含まれないかの 2 値でしか判断できず, 確率論は適用できない 100 回標本を抽出し直したら, 95 回程度 95% 信頼区間にパラメー ターが含まれると解釈する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 26 / 101
- 27. 統計的推定 区間推定 TF 0 1 図 2: 95% 信頼区間のイメージ 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 27 / 101
- 28. 統計的推定 区間推定 30 100 1000 TF 0 1 図 3: 95% 信頼区間とサンプルサイズ 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 28 / 101
- 29. 統計的推定 推定例: 平均の推定 Subsection 3 推定例: 平均の推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 29 / 101
- 30. 統計的推定 推定例: 平均の推定 母集団の分散既知の場合 平均 𝜇, 分散 𝜎2 の正規分布に従う母集団から無作為抽出し, その 標本からパラメーター 𝜇 を推定する 標本平均 𝑋 は中心極限定理より, 𝑋 ∼ 𝑁(𝜇, 𝜎2 /𝑛) に従う 標準化 (𝑍 = √ 𝑛(𝑋 − 𝜇)/𝜎) すれば, 標準正規分布 (𝑍 ∼ 𝑁(0, 1)) に従う これらを変形すると次のように信頼区間を表すことができる 標準正規分布の累積分布を振り返れば, 𝜇 ± 1.96𝜎 区間に 95% が含 まれる (両側の場合) つまり, |𝑧𝛼 2 | = |𝑧0.025| = 𝑧0.975 = 𝑧1− 𝛼 2 は 1.96 である 𝑋 − 𝜎 √ 𝑛 |𝑧𝛼 2 | ≤ 𝜇 ≤ 𝑋 + 𝜎 √ 𝑛 |𝑧𝛼 2 | 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 30 / 101
- 31. 統計的推定 推定例: 平均の推定 母集団の分散既知の例 1 男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を 求める 無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm だった 𝑋 に 175, 𝜎 に 6, 𝑛 に 9 を代入して 95% 信頼区間を計算する 95% 信頼区間は [171.08, 178.92] である 𝑋 − 𝜎 √ 𝑛 𝑧𝛼 2 = 175 − 6 √ 9 × 1.96 = 171.08 𝑋 + 𝜎 √ 𝑛 𝑧1− 𝛼 2 = 175 + 6 √ 9 × 1.96 = 178.92 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 31 / 101
- 32. 統計的推定 推定例: 平均の推定 母集団の分散既知の例 2 同様に男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼 区間を求める 無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm だった 𝑋 に 175, 𝜎 に 6, 𝑛 に 9 を代入して 99% 信頼区間を計算する 99% 信頼区間は [169.84, 180.16] である 𝑋 − 𝜎 √ 𝑛 𝑧𝛼 2 = 175 − 6 √ 9 × 2.58 = 169.84 𝑋 + 𝜎 √ 𝑛 𝑧1− 𝛼 2 = 175 + 6 √ 9 × 2.58 = 180.16 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 32 / 101
- 33. 統計的推定 推定例: 平均の推定 母集団の分散既知の例 3 同様に男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼 区間を求める 無作為にサイズ 25 の標本を抽出したところ, 平均が 175 cm だっ た 𝑋 に 175, 𝜎 に 6, 𝑛 に 25 を代入して 95% 信頼区間を計算する 95% 信頼区間は [172.648, 177.352] である 𝑋 − 𝜎 √ 𝑛 𝑧𝛼 2 = 175 − 6 √ 25 × 1.96 = 172.648 𝑋 + 𝜎 √ 𝑛 𝑧1− 𝛼 2 = 175 + 6 √ 25 × 1.96 = 177.352 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 33 / 101
- 34. 統計的推定 推定例: 平均の推定 母集団の分散未知の場合 平均 𝜇, 分散 𝜎2 の正規分布に従う母集団から無作為抽出し, その 標本からパラメーター 𝜇 を推定する 母分散 𝜎2 がわからない場合には, 不偏標本分散 ̂ 𝜎2 に置き換えて 推定を行う 標準化しても標準化正規分布には従わない 標準化した統計量は自由度 𝜈(𝜈 は 𝑛 − 1) の t 分布 𝑡𝜈 に従う 𝑋 + ̂ 𝜎 √ 𝑛 𝑡𝜈, 𝛼 2 ≤ 𝜇 ≤ 𝑋 + ̂ 𝜎 √ 𝑛 𝑡𝜈,1− 𝛼 2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 34 / 101
- 35. 統計的推定 推定例: 平均の推定 母集団の分散未知のの例 1 男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を 求める 無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm, 不偏 標本標準偏差 6 だった 𝑋 に 175, ̂ 𝜎 に 6, 𝑛 に 9 を代入して 95% 信頼区間を計算する 95% 信頼区間は [170.38, 179.62] である 分散既知の場合よりも信頼区間は広くなる 𝑋 − ̂ 𝜎 √ 𝑛 𝑡𝜈, 𝛼 2 = 175 − 6 √ 9 × 2.31 = 170.38 𝑋 + ̂ 𝜎 √ 𝑛 𝑡𝜈,1− 𝛼 2 = 175 + 6 √ 9 × 2.31 = 179.62 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 35 / 101
- 36. 統計的推定 推定例: 平均の推定 母集団の分散未知の場合 (大標本) サンプルサイズが大きい場合, たとえ母集団の分散がわからなく ても正規分布で近似できる 自由度 ∞ の t 分布は標準正規分布と一致するため 0.0 0.1 0.2 50 100 150 200 size diff 図 4: 標準正規分布と t 分布の 2.5% 点の差 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 36 / 101
- 37. 統計的推定 推定例: 平均の推定 様々な t 分布の確率密度関数のグラフ (再掲) 0.0 0.1 0.2 0.3 0.4 -5.0 -2.5 0.0 2.5 5.0 colour df=1 df=2 df=3 df=4 df=5 df=6 df=7 df=8 df=9 図 5: 様々な t 分布の確率密度関数のグラフ (点線は標準正規分布) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 37 / 101
- 38. 統計的推定 分散の推定 Subsection 4 分散の推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 38 / 101
- 39. 統計的推定 分散の推定 正規分布の母分散の推定 不偏標本分散 ̂ 𝜎2 = 1 𝑛−1 ∑ 𝑛 𝑖=1 (𝑋𝑖 − 𝑋)2 に対して, 𝑊 = (𝑛−1) ̂ 𝜎2 𝜎2 と 変換すると, 𝑊 は 𝜒2 分布に従う (𝑊 ∼ 𝜒2 𝜈) よって, 𝜎2 について解くと信頼区間は下記のように表せる (𝑛 − 1) ̂ 𝜎2 𝜒2 𝜈,1− 𝛼 2 ≤ 𝜎2 ≤ (𝑛 − 1) ̂ 𝜎2 𝜒2 𝜈, 𝛼 2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 39 / 101
- 40. 統計的推定 分散の推定 正規分布の母分散の推定の例 男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を 求める 無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm, 不偏 標本分散が 36 だった 𝑛 に 9, 𝜈 に 8, ̂ 𝜎2 に 36 を代入して 95% 信頼区間を計算する 95% 信頼区間は [16.4289789, 132.1100917] である (𝑛 − 1) ̂ 𝜎2 𝜒2 𝜈,1− 𝛼 2 = (9 − 1) × 36 17.53 = 16.4289789 (𝑛 − 1) ̂ 𝜎2 𝜒2 𝜈, 𝛼 2 = (9 − 1) × 36 2.18 = 132.1100917 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 40 / 101
- 41. 仮説検定 Section 3 仮説検定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 41 / 101
- 42. 仮説検定 仮説検定とはなにか Subsection 1 仮説検定とはなにか 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 42 / 101
- 43. 仮説検定 仮説検定とはなにか 仮説検定 仮説検定 (hypothesis testing) とは母集団の確率分布に対して, な んらかの仮説を立て, その妥当性を標本から検証する方法 帰無仮説 (null hypothesis) と対立仮説 (alternative hypothesis) の 2 つの排反な仮説を設定する 帰無仮説は一般に 𝐻0 と表され, 対立仮説は 𝐻1 と表される 帰無仮説が否定され, 無に帰すことで対立仮説の妥当性を検証 帰無仮説 𝐻0 が否定されることを帰無仮説 𝐻0 を棄却する (reject the hypothesis) といい, 否定できない場合は帰無仮説 𝐻0 を受容す る (accept the hypothesis) という 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 43 / 101
- 44. 仮説検定 仮説検定とはなにか 帰無仮説検定の手続き 1 帰無仮説 𝐻0 と対立仮説 𝐻1 を設定する 2 検定を行う検定統計量 𝑇 とその分布を決める 3 有意水準 𝛼 を決め, 棄却域を決める 4 データを収集し, 検定統計量 𝑇 を求める 5-1. 検定統計量 𝑇 が棄却域内にあれば帰無仮説 𝐻0 を棄却し, 対立仮 説 𝐻1 を採択する. 5-2 検定統計量 𝑇 が棄却域内になければ, 帰無仮説 𝐻0 は棄却できず, 帰無仮説 𝐻0 を受容する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 44 / 101
- 45. 仮説検定 仮説検定とはなにか 帰無仮説と対立仮説の設定 対立仮説 𝐻1 は自身の考えている仮説であり, 検証をしたい仮説 対立仮説は基本的に特殊な場合を念頭に置く あるコインの表を向く確率は 80% である etc… 実証研究の場合にはある原因と考えられる変数 (説明変数) を操作 した場合に結果と考えている変数 (結果変数) に差があるのか 対立仮説は不等号 (>, <), 否定等号 (≠) を用いて表される 帰無仮説 𝐻0 は誤解を恐れずに説明すると, 自身が考える仮説が 正しくないという仮説 帰無仮説は一般的な場合を想定 あるコインの表を向く確率が 50% である etc… 帰無仮説は等号記号 (=) を用いて表す 仮説検定は基本的に一般的である (つまり特殊でない・差がない) かどうかを検証するには向かない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 45 / 101
- 46. 仮説検定 仮説検定とはなにか コインと帰無仮説 まず, コインの表が出る確率 𝑝 は 1/2 と考えるのが一般的であり, 帰無仮説 𝐻0 になる 𝐻0 ∶ 𝑝 = 1 2 今知りたいのは, 目の前のこのコインが歪んでいる (特殊な状況) か否かであるため, このコインの表の出る確率 𝑝 は 1/2 でないと する仮説が対立仮説 𝐻1 になる さらに, コインが歪みは, 表が出やすい場合と出にくい場合がある 𝐻1 ∶ 𝑝 ≠ 1 2 , 𝐻1 ∶ 𝑝 > 1 2 , 𝐻1 ∶ 𝑝 < 1 2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 46 / 101
- 47. 仮説検定 仮説検定とはなにか 両側検定片側検定 対立仮説が否定記号 (≠) で表される (対立仮説と帰無仮説と一致 しないことを検討する) 際には, 両側検定 (two-sided test) という コインで言えば, コインが歪んでいることを検定する場合 両側検定は 2 つの対立仮説 (コインの表の出る確率が 1/2 より大き い場合と小さい場合) を内包している 対立仮説が不等号記号 (>, <) で表される際には, 片側検定 (one-sided test) という 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 47 / 101
- 48. 仮説検定 仮説検定とはなにか 検定統計量 𝑇 と分布の決定 帰無仮説 𝐻0 が正しい場合に従う検定統計量 (test statistic)𝑇 とそ の分布を決定 帰無仮説が 1 つの値として設定されている (等号記号 = で表され ている) ため, 検定統計量の従う分布も一意に定まる 帰無仮説が幅を持つ連続値であるとすると, 連続値は無限に表現で きることから, 検定統計量の分布も無限に求めなければならない 具体的にどのような検定統計量とその分布はどのような検定を行 うのかによって異なる 検定によく利用されるのが t 統計量・t 分布や F 統計量・F 分布, 𝜒2 統計量・𝜒2 分布など 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 48 / 101
- 49. 仮説検定 仮説検定とはなにか 有意水準 𝛼 と棄却域の決定 帰無仮説が正しいという前提で算出された検定統計量 𝑇 とその分 布から, どの程度の値を取れば帰無仮説を棄却するかを決める 帰無仮説を棄却する範囲を棄却域 (rejection region) という 棄却域の基準を有意水準 (significance level)𝛼 という 有意水準 𝛼 はめったに起こらない (偶然ではない) のは何% くらい だろうかという主観から決めて良い 棄却域と有意水準から求められた検定統計量を受容するのか棄却 するのかを分ける値を臨界値 (critical value) という { |𝑇| > 𝑐 ⇒ 𝐻0を棄却 |𝑇| ≤ 𝑐 ⇒ 𝐻0を受容 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 49 / 101
- 50. 仮説検定 仮説検定とはなにか 有意水準の目安 社会科学では慣習的に有意水準 5% が用いられてきた 正規分布の 2𝜎 区間の外にある確率が約 5% であることなどから用 いられてきた慣習で深い意味はない 20 回に 1 回起こるというのは偶然の範囲内ではないかとの批判も 強く, 1% 基準や 0.5% 基準が利用されることも多い 有意水準 5% よりも下回るか否かという 2 値的な判断が重要であ るが, 5.1% と 4.9% に何か本質的な違いはない 有意水準 𝛼 は分析の前に決定するものであり, 標本から算出され た値によって変更するものではないことに注意! 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 50 / 101
- 51. 仮説検定 仮説検定とはなにか t 分布と棄却域のイメージ (両側) 0.0 0.1 0.2 0.3 0.4 -4 -2 0 2 4 図 6: t 分布 (自由度 20) と有意水準 5%(両側) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 51 / 101
- 52. 仮説検定 仮説検定とはなにか t 分布と棄却域のイメージ (片側) 0.0 0.1 0.2 0.3 0.4 -4 -2 0 2 4 図 7: t 分布 (自由度 20) と有意水準 5%(片側) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 52 / 101
- 53. 仮説検定 仮説検定とはなにか データの取得と検定統計量 𝑇 の算出, 仮説の採否 データを取得し, 予め用いることを決めていた検定統計量 𝑇 を算 出する 標本から求めた検定統計量 𝑇 が棄却域の外にあれば, 帰無仮説が 正しく, 偶然その値を算出する標本を得たのかもしれないと考え, 帰無仮説を受容する 標本から求めた検定統計量 𝑇 が棄却域の内にあれば, 帰無仮説が 正しい場合にはめったに得られない値であり, 帰無仮説は正しく ないと考え, 帰無仮説を棄却し, 対立仮説を採択する 対立仮説が採択された場合, 統計的に有意である (statistical significance) という 有意水準 𝛼 と棄却域に従って, 対立仮説は採択するか採択されな いかしか選択肢はなく, 有意水準何% の確率で対立仮説は正しい などとは言えない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 53 / 101
- 54. 仮説検定 仮説検定とはなにか p 値 統計検定量 𝑇 はどの分布に従うと考えるかによって, 統計量の取 りうる範囲が大きく変わる t 分布であれば [−∞, ∞], 𝜒2 分布であれば 0 以上 帰無仮説が正しいと仮定した場合に標本から算出された検定統計 量がその値 (より極端な値 / より帰無仮説から外れた値) を取る 確率を p 値という 事前に決めた分布の確率密度 (累積分布) から算出する 確率であるため, どの分布を利用しても取りうる範囲は同じ 検定統計量 𝑇 が大きくなればなるほど p 値は小さくなる 一般的に有意水準 𝛼 と p 値を比較して帰無仮説を受容するか, 棄 却して対立仮説を採択するかを検討する 帰無仮説はあくまで帰無仮説に基づいたときにデータが得られる 確率 (𝑃(𝐷|𝐻0)) であり, 得られたデータに基づいて帰無仮説が正 しい確率 (𝑃(𝐻0|𝐷)) ではない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 54 / 101
- 55. 仮説検定 仮説検定とはなにか 仮説検定の論理 仮説検定は背理法で命題と矛盾する仮説 (帰無仮説に相当) を立て て, それを棄却するのと似た論理 背理法と同じく帰無仮説を棄却できない場合, 対立仮説については 何も言えない ラーメン二郎を食べたらお腹いっぱいになるという命題を考えた 時, ラーメン二郎を食べたのにお腹が空いているというのはありえ ないが, おなかがいっぱいであるという情報だけではラーメン二郎 を食べる以外にもインスパイア系ラーメンを食べたのかもしれな い ただし, 仮説検定は確率的な考え方を導入しているため, 厳密な背 理法ではない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 55 / 101
- 56. 仮説検定 仮説検定とはなにか 裁判と仮説検定 ある事件が発生し, 犯行は A さんが行った 警察 (検察) は A さんが容疑者であるとして逮捕した A さんが犯人であるという対立仮説 ただし, 罪が確定するまで推定無罪の原則から A さんは無罪であ ると推定される A さんは犯人ではないという帰無仮説 検事は裁判で証拠品に A さんの指紋がついている, 犯行時刻にア リバイがないなどの証拠から A さんが無罪であると説明できず A さんが犯人だと主張する しかし裁判の結果, 証拠不十分により A さんが無罪となった 帰無仮説が有意水準を下回らなかった 証拠は不足していたが実際の犯人は A さんなので, A さんは無罪 だが, 無実ではない 帰無仮説を棄却できないことは帰無仮説が正しいことを保証 しない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 56 / 101
- 57. 仮説検定 効果量 Subsection 2 効果量 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 57 / 101
- 58. 仮説検定 効果量 統計的有意と社会的意義 帰無仮説は厳密に言えば常に間違っている 全数調査を行った際に, 小数点以下まで全ての値が一致するという ことはない とても小さな値まで考慮すれば等号記号 (=) で表現される帰無仮 説は常に間違っている サンプルサイズを母集団に近づければ (サンプルサイズを大きくす れば), 小さな差も統計的に有意になる 統計的に有意であることと社会的に意義がある (social significance) ことは本質的に異なる とても小さな差が検定によって肯定されたとしてそれに社会的な 意味はあるのか あるダイエットに効く薬の効果が統計的に有意であったとしても 体重を 5g 減らす効果しかない場合, この薬は有用だろうか 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 58 / 101
- 59. 仮説検定 効果量 効果量 説明変数が応答変数に与える影響 (効果) の大きさを効果量 (effect size) という 変数間に説明変数, 応答変数という区別がない場合には, 変数間の 関係の大きさを表す 帰無仮説が正しい場合には, 効果量は 0 となる 効果量が 0 でなくても, 帰無仮説が受容されることがある (偽陰性) 厳密な統制が社会科学の場合は難しいため, 理系に分類される研究 よりも文系に分類される研究のほうが効果量が 0 でないのに, 帰無 仮説が受容されやすい 群間の差についての効果量は d 族の効果量 (d family effect size), 変数間の関係を表す (連続値同士の) 効果量は r 族の効果量 (r family effect size) という 基本的には標準化されて算出される 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 59 / 101
- 60. 仮説検定 効果量 効果量の目安 標準化された効果量は標準偏差がどれくらい変動するかを示す d 族の効果量場合目安として, 0.2 だと小さな効果量, 0.5 だと中程 度の効果量, 0.8 以上だと大きな効果量だと言われている 上記はあくまで目安であり, 絶対的なものではない 分野や慣習的にどの程度なのかを把握しておくことも重要 仮説検定を行った場合, 効果量を載せることが義務化されている論 文誌も多い 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 60 / 101
- 61. 仮説検定 効果量 効果量と検定統計量の関係 検定統計量 𝑇 はサンプルサイズ 𝑁 の関数と効果量 𝐸𝑆 の関数の 積で表すことができる |𝑇| = 𝑓(𝑁) × 𝑔(|𝐸𝑆|) サンプルサイズが同じであれば, 効果量が大きくなるほど検定統 計量は大きくなり, p 値は小さくなる 効果量が 0 でなく, 分析方法も適切なのに帰無仮説が受容されるの はサンプルサイズが小さすぎるため 効果量が同じであれば, サンプルサイズが多くなるほど検定統計 量は大きくなり, p 値は小さくなる サンプルサイズが大きいと意味のない差が有意になるのはこ のため 効果量はサンプルサイズに依存しない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 61 / 101
- 62. 仮説検定 2 つの過誤 Subsection 3 2 つの過誤 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 62 / 101
- 63. 仮説検定 2 つの過誤 2 つの過誤 帰無仮説は 2 種類の誤りを犯している可能性がある 第 1 種の過誤 (Type I error), 第 2 種の過誤 (Type II eror) という 第 1 種の過誤とは帰無仮説が正しいのにも関わらず, たまたま得 られた標本が少し偏っていて帰無仮説を棄却してしまう誤り 差がないのに差があると判断してしまう誤り 偽陽性 (false positive) ともいう 有意水準 𝛼 が第 1 種の過誤の確率 第 2 種の過誤とは帰無仮説が正しくないのにも関わらず, 帰無仮 説を受容する誤り 差があるのに差がないと判断してしまう誤り 偽陰性 (false negative) という 第 2 種の過誤の確率は 𝛽 で表す 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 63 / 101
- 64. 仮説検定 2 つの過誤 検定における 4 種類の結果 𝐻0 が正しい 𝐻1 が正しい 𝐻0 を受容 正しい判断 第 2 種の過誤 𝛽 𝐻1 を採択 第 1 種の過誤 有意水準: 𝛼 正しい判断 検定力: 1 − 𝛽 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 64 / 101
- 65. 仮説検定 2 つの過誤 検定力 検定力 (検出力; power) とは帰無仮説が正しくない場合に, 正しく 帰無仮説を棄却する確率 差があるときに差があると正しく判断できる確率 1 − 𝛽 で求める 第 4 回のコロナウイルスの例に沿って説明すると感度 有意水準と検定力は相補的ではなく, 𝛼 + 𝛽 = 1 ではない 有意水準は 𝑃(𝐷|𝐻0) であるのに対して, 検定力は 𝑃(𝐷|𝐻1) 検定力は一般的に 80% 前後が利用される 検定力 50% はコイン投げと同じなので, 最低でも 50% より大きい ことは必須 検定力は差がない (有意差がない) ときに帰無仮説が正しくないの に検出できていないだけではないかという検証やサンプルサイズ の決定などに利用される 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 65 / 101
- 66. 仮説検定 2 つの過誤 検定力・効果量・サンプルサイズ・有意水準 検定力・効果量・サンプルサイズ・有意水準はお互いに関連して いる 効果量が小さく, サンプルサイズが小さく, 有意水準も低ければ (小さければ), 検定力も低くなる 小さな効果量では検出するのが難しい サンプルサイズが小さければノイズが大きくやはり検出が難しい 有意水準が低いと第 1 種の過誤を犯す可能性は下げられるが, その 分本当に差があっても差を検出できない可能性は上がる 効果量とサンプルサイズが同じなら, 有意水準が高くなる (大きく なる) と検定力も高くなる サンプルサイズと有意水準が同じなら, 効果量が大きいと検定力 も高くなる 効果量と有意水準が同じなら, サンプルサイズが大きいと検定力 も高い 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 66 / 101
- 67. 仮説検定 2 つの過誤 歪められたコインと仮説検定の例 (サンプルサイズ 4) あるコインに仕掛け (削ったり, 重みのバランスを変えたり) をし て, 表が出る確率を 0.75 にまで引き上げたとする コインを投げて表を向く回数は二項分布に従う 有意水準は 5%(片側) に設定する コインを 4 回投げた場合, 改造したコインは 3 回表を向いたとす る 普通のコインを 4 回投げて 3 回以上表を向く確率は二項分布より 31.25% よって, たまたま 3 回表を向いただけであると考えられ, 帰無仮説 を受容する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 67 / 101
- 68. 仮説検定 2 つの過誤 コインと仮説検定のイメージ (サンプルサイズ 4) 0.0 0.1 0.2 0.3 0.4 0 1 2 3 4 prob 50% 75% 図 8: コインと仮説検定のイメージ (サンプルサイズ 4) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 68 / 101
- 69. 仮説検定 2 つの過誤 歪められたコインと仮説検定の例 (サンプルサイズ 20) 同じ改造したコインを 20 回投げて, 15 回表を向いたとする 普通のコインを 20 回投げて 15 回以上表を向く確率は二項分布よ り 2.0694733% よって, 普通のコインを投げて 15 回以上表が出るのには, 偶然と は言い難い (5% 以下) ため帰無仮説は棄却され, 表が出やすいよ うに歪められていると考えられる 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 69 / 101
- 70. 仮説検定 2 つの過誤 コインと仮説検定のイメージ (サンプルサイズ 20) 0.00 0.05 0.10 0.15 0.20 0 5 10 15 20 prob 50% 75% 図 9: コインと仮説検定のイメージ (サンプルサイズ 20) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 70 / 101
- 71. 仮説検定 2 つの過誤 歪められたコインと効果量の例 Glass の Δ1 という効果量の計算を例にする 4 回コインを投げて普通のコインは表を 2 回, 改造されたコインは 3 回表を向いたとする 20 回コインを投げて普通のコインは表を 10 回, 改造されたコイ ンは表を 15 回向いたとする 効果量はともに 1 であり, サンプルサイズに依存しない Δ = 3 − 2 1 = 1 Δ = 15 − 10 5 = 1 1 Glass の Δ は Δ = 𝑥1−𝑥2 ̂ 𝜎2 で定義される 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 71 / 101
- 72. 仮説検定 母平均と比較値との比較 Subsection 4 母平均と比較値との比較 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 72 / 101
- 73. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑧 検定 (𝜎 既知)1 標本から推定される母平均 𝜇 が比較値 𝜇0 と異なるのかを検定 適用条件 母標準偏差 𝜎 が既知 検定統計量 𝑇 𝑇 = 𝑥 − 𝜇0 𝜎 √ 𝑛 検定統計量の従う分布: 𝑧 分布 (標準正規分布) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 73 / 101
- 74. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑧 検定 (𝜎 既知)2 信頼区間 𝑥 ± 𝑧𝛼 2 𝜎 √ 𝑛 信頼区間に比較値が含まれれば帰無仮説を受容し, 含まれなけれ ば帰無仮説を棄却して対立仮説を採択する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 74 / 101
- 75. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑧 検定 (𝜎 既知) の例 ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間 伸びた 母標準偏差 𝜎 は 2 であるとする この結果は 0 より大きいかを検定する (𝛼 = 0.05, 両側) 𝑇 = 𝑥 − 𝜇0 𝜎 √ 𝑛 = 2.33 − 0 2 √ 10 = 3.68 有意水準 5% の場合, 𝑧0.975 は 1.96 であり, 標本検定統計量は 1.96 を超えている 信頼区間は次の通り 𝑥 ± 𝑧𝛼 2 𝜎 √ 𝑛 = 2.33 ± 𝑧0.975 2 √ 10 = 2.33 ± (1.96 × 0.63) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 75 / 101
- 76. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑡 検定 (𝜎 未知)1 標本から推定される母平均 𝜇 が比較値 𝜇0 と異なるのかを検定 適用条件 母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時 検定統計量 𝑇 𝑇 = 𝑥 − 𝜇0 ̂ 𝜎 √ 𝑛 検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は 𝑛 − 1) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 76 / 101
- 77. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑡 検定 (𝜎 未知)2 信頼区間 𝑥 ± 𝑡𝜈, 𝛼 2 ̂ 𝜎 √ 𝑛 信頼区間に比較値が含まれれば帰無仮説を受容し, 含まれなけれ ば帰無仮説を棄却して対立仮説を採択する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 77 / 101
- 78. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑡 検定 (𝜎 未知) の例 ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間 伸びた 不偏標本分散の平方根 ̂ 𝜎 は 2 であるとする この結果は 0 より大きいかを検定する (𝛼 = 0.05, 両側) 𝑇 = 𝑥 − 𝜇0 ̂ 𝜎 √ 𝑛 = 2.33 − 0 2 √ 10 = 3.68 有意水準 5% の場合, 𝑡9,0.975 は 2.26 であり, 標本検定統計量は 2.26 を超えている 信頼区間は次の通り 𝑥 ± 𝑡𝜈, 𝛼 2 ̂ 𝜎 √ 𝑛 = 2.33 ± 𝑡9,0.975 2 √ 10 = 2.33 ± (2.26 × 0.63) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 78 / 101
- 79. 仮説検定 対応のない 2 群の母平均の差の検定 Subsection 5 対応のない 2 群の母平均の差の検定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 79 / 101
- 80. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差の 𝑡 検定 (𝜎 未知, 等分散)1 2 つの標本 x, y から推定される母平均 𝜇𝑥, 𝜇𝑦 に差があるかを検定 適用条件 母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時 2 つの母分散 𝜎2 𝑥, 𝜎2 𝑦 が等しくないとは言えない時 検定統計量 𝑇 𝑇 = 𝑥 − 𝑦 √ 1 𝑛𝑥 + 1 𝑛𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は 𝑛𝑥 + 𝑛𝑦 − 2) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 80 / 101
- 81. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差の 𝑡 検定 (𝜎 未知, 等分散)2 信頼区間 (𝑥 − 𝑦) ± 𝑡(𝜈, 𝛼 2 )√ 1 𝑛𝑥 + 1 𝑛𝑦 √ (𝑛𝑥 − 1) ̂ 𝜎2 𝑥 + (𝑛𝑦 − 1) ̂ 𝜎2 𝑦 𝑛𝑥 + 𝑛𝑦 − 2 信頼区間に 0 が含まれれば帰無仮説を受容し, 含まれなければ帰 無仮説を棄却して対立仮説を採択する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 81 / 101
- 82. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差の 𝑡 検定 (𝜎 未知, 等分散) の例 1 次の平均に差はあるか ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間伸 びた (不偏標本分散の平方根は 2) 偽薬を別の 10 人が飲んだ場合には, 平均 0.75 時間伸びた (不偏標 本分散の平方根は 1.79) 𝑇 = 𝑥−𝑦 √ 1 𝑛𝑥 + 1 𝑛𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 = 2.33−0.75 √ 1 10 + 1 10 √ (10−1)22+(10−1)1.792 10+10−2 = 1.86 有意水準 5% の場合, 𝑡18,0.975 は 2.1 であり, 標本検定統計量は 2.1 を超えていない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 82 / 101
- 83. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差の 𝑡 検定 (𝜎 未知, 小標本, 等分散) の例 2 信頼区間は次の通り (𝑥 − 𝑦)± 𝑡(𝜈, 𝛼 2 )√ 1 𝑛𝑥 + 1 𝑛𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 = (2.33 − 0.75)± 2.1 × √ 1 10 + 1 10 × √(10−1)22+(10−1)1.792 10+10−2 = 1.58± 2.1 × 0.85 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 83 / 101
- 84. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差のウェルチの 𝑡 検定 (𝜎 未知)1 2 つの標本 x, y から推定される母平均 𝜇𝑥, 𝜇𝑦 に差があるのかを検 定 適用条件 母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時 2 つの母分散 𝜎2 𝑥, 𝜎2 𝑦 が等しいという仮定を置かない時 検定統計量 𝑇 𝑇 = 𝑥 − 𝑦 √ ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 84 / 101
- 85. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差のウェルチの 𝑡 検定 (𝜎 未知)2 検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は下記) 𝐶 = ̂ 𝜎2 𝑥 𝑛𝑥 ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 𝜈 = 1 𝐶2 𝑛𝑥−1 + (1−𝐶)2 𝑛𝑦−1 信頼区間 (𝑥 − 𝑦) ± 𝑡𝜈, 𝛼 2 √ ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 85 / 101
- 86. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差のウェルチの 𝑡 検定 (𝜎 未知) の例 1 次の平均に差はあるか ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間伸 びた (不偏標本分散の平方根は 2) 偽薬を別の 10 人が飲んだ場合には, 平均 0.75 時間伸びた (不偏標 本分散の平方根は 1.79) 𝑇 = 𝑥−𝑦 √ ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 = 2.33−0.75 √ 22 10 + 1.792 10 = 1.86 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 86 / 101
- 87. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差のウェルチの 𝑡 検定 (𝜎 未知) の例 2 𝑡 分布の自由度を求める 𝐶 = ̂ 𝜎2 𝑥 𝑛𝑥 ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 = 22 10 22 10 + 1.792 10 = 0.56 𝜈 = 1 𝐶2 𝑛𝑥−1 + (1−𝐶)2 𝑛𝑦−1 = 1 0.562 10−1 + (1−0.56)2 10−1 = 17.74 有意水準 5% の場合, 𝑡17.74,0.975 は 2.1 であり, 標本検定統計量は 2.1 を超えていない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 87 / 101
- 88. 仮説検定 分散についての検定 Subsection 6 分散についての検定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 88 / 101
- 89. 仮説検定 分散についての検定 母分散と比較値との差の 𝜒2 検定 標本から推定される不偏標本分散 ̂ 𝜎2 が比較値 𝜎2 0 と異なるのかを 検定する 検定統計量 𝑇 𝑇 = (𝑛 − 1) ̂ 𝜎2 𝜎2 0 検定統計量の従う分布: 𝜒2 分布 (自由度 𝜈 は 𝑛 − 1) 信頼区間 ∑ 𝑛 𝑖=1 𝑥2 𝑖 − 𝑛𝑥2 𝜒2 𝜈,1−𝛼 ≤ 𝜎2 ≤ ∑ 𝑛 𝑖=1 𝑥2 𝑖 − 𝑛𝑥2 𝜒2 𝜈,𝛼 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 89 / 101
- 90. 仮説検定 分散についての検定 母分散の比の 𝐹 検定 2 つの不偏標本分散 ̂ 𝜎2 1, ̂ 𝜎2 2 から推定される母分散 𝜎2 1, 𝜎2 2 に差があ るのかを検定する 検定統計量 𝑇 𝑇 = ̂ 𝜎2 1 ̂ 𝜎2 2 検定統計量の従う分布: 𝐹 分布 信頼区間 𝐹𝜈1,𝜈2, 𝛼 2 ̂ 𝜎2 1 ̂ 𝜎2 2 ≤ 𝜎2 1 𝜎2 2 ≤ 𝐹𝜈2,𝜈1,1− 𝛼 2 ̂ 𝜎2 1 ̂ 𝜎2 2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 90 / 101
- 91. 仮説検定 分散についての検定 母分散の比の 𝐹 検定の例 1 次の分散に差はあるか ある薬を 10 人の被験者が飲んだところ睡眠時間の不偏標本標準偏 差は 2 であった 偽薬を別の 10 人の患者が飲んだ場合には, 不偏標本標準偏差は 1.79 であった 𝑇 = ̂ 𝜎2 1 ̂ 𝜎2 2 = 22 1.792 = 1.25 有意水準 5% の場合, 𝐹9,9,0.025 は 0.25 であり, 𝐹9,9,0.975 は 4.03 で ある 標本検定統計量は帰無仮説を棄却できないため, 分散に差がある とは言えない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 91 / 101
- 92. 仮説検定 分散についての検定 母分散の比の 𝐹 検定の例 2 信頼区間は次の通り 𝐹𝜈1,𝜈2, 𝛼 2 ̂ 𝜎2 1 ̂ 𝜎2 2 ≤ 𝜎2 1 𝜎2 2 ≤ 𝐹𝜈2,𝜈1,1− 𝛼 2 ̂ 𝜎2 1 ̂ 𝜎2 2 𝐹9,9,0.025 22 1.792 ≤ 𝜎2 1 𝜎2 2 ≤ 𝐹9,9,0.975 22 1.792 0.25 × 1.25 ≤ 𝜎2 1 𝜎2 2 ≤ 4.03 × 1.25 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 92 / 101
- 93. 仮説検定 効果量の計算 Subsection 7 効果量の計算 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 93 / 101
- 94. 仮説検定 効果量の計算 効果量 母平均の差の効果量は群間の差についての効果量である 𝑑 族の効 果量 母効果量 𝛿 は次のように求められる 𝛿 = 𝜇𝑥 − 𝜇𝑦 𝜎 標本効果量については, 標準偏差のバイアスについての考え方な どによっていくつか存在する Cohen の 𝑑, Hedges の 𝑔, Glass の Δ などがある2 2 効果量の名称は論者によって異なることがあるため, 数式を見てどのように定義 しているのかを確認すること 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 94 / 101
- 95. 仮説検定 効果量の計算 Cohen の 𝑑 Cohen の 𝑑 では, 標準偏差に 2 つの標本標準偏差 𝑠𝑥, 𝑠𝑦 をプール して次のように求める 等分散であることを仮定する 𝑑𝐶𝑜ℎ𝑒𝑛 = 𝑥 − 𝑦 √ 𝑛𝑥𝑠2 𝑥+𝑛𝑦𝑠2 𝑦 𝑛𝑥+𝑛𝑦 = 𝑥 − 𝑦 √∑(𝑥𝑖−𝑥)2+∑(𝑦𝑖−𝑦)2 𝑛𝑥+𝑛𝑦 Cohen の 𝑑 は標本分散と不偏標本分散の関係における標本分散の ように, 母効果量を推定するものであるというよりは, 得られた標 本についての記述的な効果量となる 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 95 / 101
- 96. 仮説検定 効果量の計算 Hedges の 𝑑 Hedges の 𝑑 では, 標準偏差に 2 つの不偏標本分散の平方根 ̂ 𝜎𝑥, ̂ 𝜎𝑦 をプールして次のように求める 等分散であることを仮定する Cohen の 𝑑 と呼ばれる場合も多いので注意 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = 𝑥 − 𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 = 𝑥 − 𝑦 √∑(𝑥𝑖−𝑥)2+∑(𝑦𝑖−𝑦)2 𝑛𝑥+𝑛𝑦−2 不偏標本分散の平方根を利用しているため, Cohen の 𝑑 よりもバ イアス (推定量の期待値とパラメーターの差) は小さくなっている しかし, 不偏分散は不偏推定量であるが, 不偏標本分散の平方根は 不偏推定量ではないので, わずかにバイアスが残る 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 96 / 101
- 97. 仮説検定 効果量の計算 Hedges の 𝑑 と 𝑡 値の関係 𝑡 検定統計量は, Hedges の 𝑑 から次のように求めることができる 𝑡 = √ 𝑛𝑥𝑛𝑦 𝑛𝑥 + 𝑛𝑦 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = √ 𝑛𝑥𝑛𝑦 𝑛𝑥 + 𝑛𝑦 𝑥 − 𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 97 / 101
- 98. 仮説検定 効果量の計算 Cohen の 𝑑 と Hedges の 𝑑 の関係 標準偏差に代入する値が 𝑑 と 𝑔 で異なる 平方根の中の分子は同じ (𝑛𝑥𝑠2 𝑥 + 𝑛𝑦𝑠2 𝑦 = (𝑛 − 1) ̂ 𝜎𝑥 + (𝑛 − 1) ̂ 𝜎𝑦) た め, 分母のみが異なる Cohen の 𝑑 より Hedges の 𝑑 の方が算出された効果量は若干小さく なる サンプルサイズが大きくなればこの差はほとんど無視できる 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = 𝑑𝐶𝑜ℎ𝑒𝑛√ 𝑛𝑥 + 𝑛𝑦 − 2 𝑛𝑥 + 𝑛𝑦 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 98 / 101
- 99. 仮説検定 効果量の計算 バイアスを補正した Hedges の 𝑔 Hedges の 𝑑 からさらにバイアスを補正することができる ただし, サンプルサイズ 𝑛𝑥, 𝑛𝑦 が等しい場合に限る サンプルサイズが大きい場合にはバイアスはほとんど無視できる Γ 関数の性質上サンプルサイズが大きいと桁数の問題から計算でき ないことがある3 𝑔 = Γ( 𝑛𝑥+𝑛𝑦−2 2 ) √ 𝑛𝑥+𝑛𝑦−2 2 Γ( 𝑛𝑥+𝑛𝑦−2−1 2 ) 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = Γ( 𝑛𝑥+𝑛𝑦−2 2 ) √ 𝑛𝑥+𝑛𝑦−2 2 Γ( 𝑛𝑥+𝑛𝑦−3 2 ) 𝑥−𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 3 R で Γ 関数を計算する gamma() 関数は, 引数に 172 より大きな値を取ると計算結 果は無限大となってしまう. なお Γ(171) は約 7 × 10306 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 99 / 101
- 100. 仮説検定 効果量の計算 Hedges の 𝑔 Γ 関数を利用した補正は少し複雑なため, 近似値を利用して補正 される場合が多い 𝑔 = (1 − 3 4(𝑛𝑥 + 𝑛𝑦) − 9 ) 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 100 / 101
- 101. 仮説検定 効果量の計算 Glass の Δ トリートメント (介入) 群 (xt) とコントロール (統制) 群 (xc) に分 類できる 2 群の場合は, コントロール群の不偏標本分散の平方根 ̂ 𝜎𝑐 のみを利用して効果量を推定することもできる これを Glass の Δ という Glass の Δ はサンプルサイズの影響を受けない 等分散でなくても利用できる Δ = 𝑥𝑡 − 𝑥𝑐 ̂ 𝜎𝑐 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 101 / 101