統計学の基礎Iより，第１部§1～3の資料．

1. 統計学の基礎 I第 I 部 多変量解析入門1. 多変量解析の考え方2. 多変量解析の記法3. 回帰分析と最小2乗法 秋山研究室 D1 大上 雅史 2011/04/13 統計輪講

2. 本について 統計学の基礎 I ~線形モデルからの出発~ 岩波，統計科学のフロンティアシリーズ 1 著者：竹村彰通(第 I 部)，谷口正信(第 II 部) 輪講 2011/04/13 2

3. 多変量解析 (統計的)多変量解析 多変量データに関する分析手法および手法による解析 多変量解析の種類 回帰分析 分散分析 主成分分析 判別分析 因子分析 分割表 グラフィカルモデル 輪講 2011/04/13 3

4. §2 多変量解析の記法 輪講 2011/04/13 4

5. 多変量解析の記法 ベクトル・・・列ベクトル p: 次元 hoge‘ : hogeの転置 データ行列 n : 標本数 個体(標本)の添字 t変数(次元)の添字 i k×k単位行列 kを省略することもある 輪講 2011/04/13 5 ・・・ 一般に

6. 標本平均 標本平均ベクトル 平均偏差行列 輪講 2011/04/13 6 ※ × ・・・

7. 標本分散 標本共分散（第i変数と第j変数，i=jの場合は標本分散） 標本分散行列 対称行列で，半正定値行列（後に示す） を一般化分散と呼ぶ 輪講 2011/04/13 7

8. 相関係数 相関係数（第i変数と第j変数） 標本相関係数行列 対称行列，対角要素は1. 対角行列 を用いて， と定義すると， 輪講 2011/04/13 8

9. 相関係数 基準化（標準化，z-score） 平均偏差を標準偏差で割ったもの 基準化データ行列 を用いると，と書ける． 「基準化したデータに基づく標本分散行列」と， 「生データの標本相関係数行列」は等しい． 輪講 2011/04/13 9

10. 相関係数 証明 輪講 2011/04/13 10 に を代入

11. 変数の1次結合 多変量解析では次元を縮約して解析することが多い 1次結合 zを合成変数または総合得点と呼ぶことがある 輪講 2011/04/13 11

12. 1次結合の平均・分散 個体ごとの総合得点 の標本平均 総合得点の標本分散 分散は非負値なので， は半正定値行列である． 通常は正定値行列と仮定する 輪講 2011/04/13 12

13. 1次結合の分散 証明 輪講 2011/04/13 13

14. 総合得点の一般化 係数行列 総合得点からなるデータ行列 標本平均ベクトル 標本分散行列 輪講 2011/04/13 14

15. 変数群の分割 データ行列を縦に分割 標本平均ベクトル 標本分散行列 輪講 2011/04/13 15

16. 以下のようにブロック対角化可能 ：変数群2を変数群1に回帰したときの回帰係数行列 ： 変数群2を変数群1に回帰したときの残差分散行列 とおくと 分散行列のブロック対角化 輪講 2011/04/13 16 ※

17. 偏相関係数行列 輪講 2011/04/13 17 なので， はの分散行列． を変数群2を変数群1に回帰した残差行列と呼ぶ を相関行列に変換した行列を，変数群2を変数群1に回帰したときの偏相関係数行列という．

18. 行列式と逆行列 一般化分散の行列式 両辺の行列式をとると， 両辺の逆行列をとると， 輪講 2011/04/13 18

19. 高次モーメント 平均・・・1次モーメント 分散・・・2次モーメント 3次の平均まわりの標本モーメント を3元の多重配列またはテンソルと呼ぶ （平均まわりの）高次モーメント 輪講 2011/04/13 19 重複添字記法 べき添字記法

20. 分割表 量的変数->行列記法 質的変数->分割表による記述 分割表の例 輪講 2011/04/13 20 I×J分割表 周辺頻度 総頻度 同時頻度 ※ “・” (ドット) は+と書くこともある

21. 輪講 2011/04/13 21 §3 回帰分析と最小二乗法

22. （線形重）回帰分析 輪講 2011/04/13 22 目的変数ベクトル 回帰係数ベクトル 計画行列 最小二乗法 と の二乗誤差を最小にする を見つける 定数項b0を表す

23. 最小二乗法 輪講 2011/04/13 23 最小二乗解の導出 目的関数を微分 正規方程式 最小二乗解

24. 最小二乗法 予測値ベクトル 残差ベクトル yを実測値ベクトルという eは予測値ベクトルが実測値ベクトルを近似しきれなかった部分 輪講 2011/04/13 24

25. PXについて 輪講 2011/04/13 25 べき等性と対称性から，PXは直交射影子である べき等性 対称性

26. 幾何的な意味 輪講 2011/04/13 26

27. bの分割 輪講 2011/04/13 27 定数項を掃き出す（分散行列の結果(p.15)を流用，番号は-1．） とおく

28. bの分割 輪講 2011/04/13 28 ただし，SxxはX1の分散行列， はX1の平均偏差行列 また， である．

29. bの分割 輪講 2011/04/13 29

30. bの分割 輪講 2011/04/13 30 の中身

31. bの分割 輪講 2011/04/13 31 定数項を除いた説明変数の回帰係数の部分 を用いて と求められる．

32. 平方和の分解 予測値ベクトル の標本平均を求める 輪講 2011/04/13 32 よって， （第0行について） の左から をかけると， 標本平均は等しい

33. 平方和の分解 平均偏差をとる 輪講 2011/04/13 33 右辺について であるから， と は直交する．よって，次を得る． 平方和の分解

34. 平方和の分解 輪講 2011/04/13 34 残差平方和 全平方和 回帰平方和 ここで，以下を用いて回帰平方和を変形する．

35. 平方和の分解 回帰平方和 残差平方和 輪講 2011/04/13 35

36. 決定係数 輪講 2011/04/13 36 R2を決定係数，Rを重相関係数という [0, 1] R2が1に近いほど回帰式の当てはまりが良い 回帰平方和 残差平方和 全平方和 全平方和

37. 変数群の掃き出し 定数項だけでなく，任意の説明変数群を掃き出す X1の平均偏差行列は，X1をX0に回帰した残差行列 定数項の掃き出しのときと同様にして， 輪講 2011/04/13 37

38. 変数群の掃き出し 輪講 2011/04/13 38

39. 変数群の掃き出し 輪講 2011/04/13 39 ここで，yをX0に回帰したときの残差ベクトルを とおく （対称性） （べき等性） （対称性）

40. 変数群の掃き出し よって以下の分割を得る X1にかかる回帰係数ベクトルの求め方 yとX1をX0に回帰し，残差 を求める を に回帰する 輪講 2011/04/13 40

41. に左から をかける 直交射影の分解 輪講 2011/04/13 41

42. 直交射影の分解 続き 輪講 2011/04/13 42

43. 偏相関係数の計算 p=3で変数2,3を1に回帰したときの偏相関係数 一般のpについて考える とおく．また，が2×2行列の場合を考え，とする． 輪講 2011/04/13 43

44. 偏相関係数の計算 S-1の右下(2,2)ブロック 次を得る 輪講 2011/04/13 44 第p-1変数と第p変数を変数1,・・・,p-2に回帰した残差間の偏相関係数 ．

45. 偏相関係数の計算 一般にS-1の(i, i), (i,j), (j,i), (j, j)要素からなる2×2の部分行列を考えると，は第i変数と第j変数を他の全ての変数に回帰したときの偏相関係数に一致する． グラフィカルモデルによる分析に使われる 輪講 2011/04/13 45