多重代入法（Multiple Imputation）の発表資料
•
13 likes•6,787 views
An Introduction to Multiple Imputation Method for Missing data Analysis, and Its Application. ※修士1年課題研究発表の一部を削除したものです。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 多重代入法（Multiple Imputation）の発表資料
Similar to 多重代入法（Multiple Imputation）の発表資料 (13)
More from Tomoshige Nakamura
More from Tomoshige Nakamura (20)
多重代入法（Multiple Imputation）の発表資料
- 2. 目次 2 1. 研究課題とモチベーション 2. 多重代入法とその結果 3. 具体例：多重代入法を用いた相関係数の推定 4. 今後の研究課
- 3. 導入にかえて 3 • 調査や観察から得られたデータには、「欠測」が存在する • 欠測とは、本来得られるはずのデータが、様々な理由により観測され ないことを指す．(本人の意思、機械の故障) • データ内に欠測が存在すると、得られたデータから、母集団のパラメー タ（ex. 母集団平均など）を推定する際、推定結果にバイアスを生じ ることがある。 ：欠測（Missing） 個体 変数 ：観測（Observed） 具体例
- 4. 例 : 入試成績と卒業試験成績の相関係数について 4 観測(1328個) 欠測(1672個) 回帰係数 0.633 回帰係数の 標準偏差 0.015 標本相関係数 0.621 回帰係数 0.619 回帰係数の 標準偏差 0.038 標本相関係数 0.408 *母相関係数は0.625の 2変量正規分布から 乱数を3000個生成した 合格点 入学試験の成績 入学試験の成績 卒業試験の成績 卒業試験の成績
- 5. 欠測があるデータを解析する際の対応策 5 • データに欠測がある場合には、欠測データを取り除くと問題が生じる場合がある。 • そこで、対応策として大きく分けて以下の3つの方法を用いて解析する *行えない場合もあるので注意 ⑴．欠測部分を調整し結果を推定する* • 傾向スコアなど ⑵．個体の平均や別の個体のデータで、欠測を埋めたあとで、解析する • 平均値代入法 • Hot Deck法（マッチングの一種）など ⑶．観測されたデータからモデルを構築し、欠測を埋めたあとに、解析する* • （確率的）回帰代入法 • 多重代入法
- 6. 6 1. 研究課題とモチベーション 2. 多重代入法とその結果 3. 具体例：多重代入法を用いた相関係数の推定 4. 今後の研究課題
- 9. 補完を行う際の仮定 9 サンプリングメカニズムが無視可能なもとで、 レスポンスメカニズムが無視可能である(SIRI) • 欠測データの分布は、観測データによって説明できる • 未観測データが観測データによってモデリングできることを意味する • この仮定のもとでの多重代入法を考える ! 注意）一般的に成立する仮定ではないが、仮定がないもとでの欠測データの解析は非 常に困難なものとなるため、この仮定を認めることとする。 【仮定】
- 11. 事後分布からの乱数生成 11 ここで、 欠測データの事後分布から乱数を発生させ、それらを とすると、（＊）を次のように計算できる。 (モンテカルロ法) 補完データが与えられた もとでのQの事後分布
- 16. 16 1. 研究課題とモチベーション 2. 多重代入法とその結果 3. 具体例：多重代入法を用いた相関係数の推定 4. 今後の研究課題
- 17. 例 : 入試成績と卒業試験成績の相関係数について（再掲） 17 観測(1328個) 欠測(1672個) 回帰係数 0.633 回帰係数の 標準偏差 0.015 標本相関係数 0.621 回帰係数 0.619 回帰係数の 標準偏差 0.038 標本相関係数 0.408 *母相関係数は0.625の 2変量正規分布から 乱数を3000個生成した 合格点 入学試験の成績 入学試験の成績 卒業試験の成績 卒業試験の成績 全てのデータが観測された場合 一部のデータが欠測した場合
- 18. 例 : 入試成績と卒業試験成績の相関係数について 18 観測(1328個) 欠測(1672個) 回帰係数 0.619 回帰係数の 標準偏差 0.038 標本相関係数 0.408 *母相関係数は0.625の 2変量正規分布から 乱数を3000個生成した 合格点 入学試験の成績 入学試験の成績 卒業試験の成績 卒業試験の成績 欠測をモデル化することで 補完データを作成する
- 20. 多重代入法との結果の比較 20 0.621 0.598 0.642 0.622 0.571 0.668 0.622 0.572 0.667 0.408 0.362 0.452 • 結果として、多重代入法によっ て得られた信頼区間は、完全で タによって得られる信頼区間よ りも広く推定され、その区間を 含んでいる。 • 多重代入法の結果をもとに検定 などを行っても、有意性は厳し く評価される。 • 一方で、欠測値を取り除いた結 果は、右図の通り適切に推定で きていない。 • 次に代入回数に対する、区間幅 の安定性を確認する 完 全 デ ー タ 100回 の 多 重 代 入 1000回 の 多 重 代 入 欠 測 デ ー タ を 取 り 除 い た 相関係数 相関係数の95%信頼区間
- 21. 100回のシュミレーションによる推定区間幅の平均と分散 21 回数m 区間幅平均 区間幅中央値 区間幅標準偏差 2 0.30687 0.19641 0.303257 3 0.15221 0.12617 0.089134 5 0.11242 0.11099 0.039159 10 0.10827 0.10827 0.022518 15 0.10251 0.10207 0.015197 30 0.10048 0.09969 0.011620 50 0.09948 0.09900 0.007994 100 0.09850 0.09824 0.005612 200 0.09843 0.09794 0.003661 500 0.09915 0.09892 0.002494 1000 0.09887 0.09895 0.001860 • 右の表は、各代入回数mに対して 100回ずつ、95%信頼区間を計算 し、区間幅の平均・中央値・標 準偏差を計算した。 • また、区間幅の標準偏差が小さ いほど、区間幅が安定することを 示している。 • 実際、代入回数が増加すれば、 区間幅が安定することがわかる。 ただ、代入回数が30回を超えた あとでは、区間幅の平均と中央 値が安定し、標準偏差も無視で きる程度に小さくなっている。 区間幅のばらつきが安定する
- 22. 22 1. 研究課題とモチベーション 2. 多重代入法とその結果 3. 具体例：多重代入法を用いた相関係数の推定 4. 今後の研究課題
- 23. 略 23
- 24. 参考文献など 24 • Rubin, D. (1987). Multiple imputation for nonresponse in surveys. New York: Wiley. • Little, R., & Rubin, D. (2002). Statistical analysis with missing data 2nd Edition. New York: Wiley. • Buuren, S. (2012). Flexible imputation of missing data. Boca Raton, FL: CRC Press. • Box, G., & Tiao, G. (1973). Bayesian inference in statistical analysis. Reading, Mass.: Addison-Wesley Pub. • Rubin, D. (1976). Inference and Missing Data. Biometrika, 63(3), 581-592. • Rubin, D. (1978). Multiple imputation in sample survey - a phenomenological Bayesian approach to nonresponse. Proceeding of the Survey Research Method Section of the American Statistical Association, 20-34. • Tsiatis, A. (2006). Semiparametric theory and missing data. New York: Springer. • *Gelman, A., Carlin, J., Stern, H., Dunson, D., Vehtari, A., & Rubin, D. (2014). Bayesian data analysis (3rd ed.). Boca Raton, Fla.: Chapman & Hall/CRC. • **Mitra, S., & Pathak, P. (1984). The Nature of Simple Random Sampling. The Annals of Statistics, 1536-1542. • 南 (2014) 大気汚染データの解析と 健康影響調査との連携, 共研集会「環境・生態データと統計解析」
- 26. 補足資料
- 27. location-scale t分布 27 ここで、 はlocationとscaleを変化させたt分布である。具体的 には以下で定義される。 ：自由度 のt分布に従う確率変数 t location scale distributionは、以下のような確率変数である。
- 28. 補完データの作成方法 28 • データの欠測は、観測値に依存しているので、「補完を行う際の仮定」が満たされ る。よって、以下の式から、欠測値の事後分布をモデリングする。 • ここで、 の事後分布は以下のように書き直すことができる。 ：パラメータ • 次に、標本は互いに独立同一に以下のモデルに従うことを仮定する。 • さらに、事前分布に以下の仮定をおく。 ただし