12月16日開催の第9回スキル養成講座の講義スライド

1. データビジネス創造コンソーシアム
スキル養成講座
早稲田大学高等研究所 講師 社本陽太
応用と学ぶ線形代数 (第3回)

2. 前回のアンケート結果について
スライドの最後の分散共分散行列を変換するというお話が少し難しかったです。分散共分散
行列は実測値から求められた分散共分散であって、値が決まっているものと考えました。
線形代数は現在学習途中で、ディープラーニングや統計など様々なところで使用されている
のだなと感じています。どれも自分でイメージに落とし込むまでに時間がかかるため、今回
の講義も難しそうだなと思っていました。しかし、ノルムや重みについて座標と言葉でのイ
メージを使って説明をしてくださり理解ができました。考え方の基礎を教えていただけたた
め、今回得た知識は自分のおもちゃにできそうです。
が
ー 七
ー
ー
正 しい
。

3. 3回のプラン
1. イントロと準備
2. 復習と3回への導入.
3. 主成分分析の考え方と線形代数.

4. 前回の復習: 講座を通して考える問題
都市の比較分析
都市項目 生活の利便性 安心・安全 医療・介護 教育
都市1 6.0 2.7 2.1 6.5
都市２ 6.7 2.2 2.5 6.4
都市３ 5.9 3.0 1.9 6.5
都市４ 6.6 5.0 2.4 6.8
都市５ 7.0 2.6 2.5 6.0
都市６ 8.1 4.2 4.5 6.3
都市７ 7.2 2.8 2.5 6.2
都市8 7.0 3.1 2.5 5.9
都市９ 7.2 2.5 2.1 5.4
都市１０ 5.6 2.2 1.8 4.5
都市１〜10に対して, 以下の４項目を10点満点で評価した結果,
以下の表のようになった. このデータから, 何を読み取れるか?

5. 考え方: このデータの「特徴」をよく表した新しい評価値を与える.
: 都市 i の生活の利便性の評価値
evw(xi) = w1xi1 + w2xi2 + w3xi3 + w4xi4
evw(xi) = w1xi1 + w2xi2 + w3xi3 + w4xi4
vw(xi) = w1xi1 + w2xi2 + w3xi3 + w4xi4
w1xi1 + w2xi2 + w3xi3 + w4xi4
: 都市 i の 安心・安全 の評価値
: 都市 i の 医療・介護 の評価値
: 都市 i の 教育 の評価値
新しい評価値
各評価値に与える
重み(weight).
evw(xi) = w1xi1 + w2xi2 + w3xi3 + w4xi4
前回の復習: 講座を通して考える問題
都市の比較分析

6. 問. 評価値の分散をどうすれば最大化できるか?
重さを与えたときに, その重さを使ってできた評価値の分散を返す関数
の最大値を求めよ.
重み 評価値 評価値の分散
t
wSw =
m
X
j=1
X
k
evw(xi) = w1xi1 + w2xi2 + w3xi3 + w4x
w
直接的な表示
2
(evw(x))
=
6

7. 行列の積
2つの行列に対して, その「積」が定義できる場合があります.
(l m行列) (m n行列)=(l n行列)
0
B
@
a11 · · · a1m
.
.
.
...
.
.
.
a`1 · · · a`m
1
C
A
0
B
@
b11 · · · b1n
.
.
.
...
.
.
.
bm1 · · · bmn
1
C
A =
0
B
@
c11 · · · c1n
.
.
.
...
.
.
.
c`1 · · · c`n
1
C
A
cij =
m
X
k=1
aikbkj = ai1b1j + ai2b2j + · · · + aimbmj

8. 補足1. 標本分散共分散行列は対称行列
S =
0
B
@
s11 · · · s1m
.
.
.
...
.
.
.
sm1 · · · smm
1
C
A , skj =
1
n
n
X
i=1
(xij xj)(xik xk), xj =
1
n
n
X
i=1
定義(転置)
対称行列
A =
0
B
@
a11 · · · a1n
.
.
.
...
.
.
.
am1 · · · amn
1
C
A の転置
t
A =
0
B
@
a11 · · · an1
.
.
.
...
.
.
.
a1m · · · amn
1
C
A
A =
0
B
@
a11 · · · a1n
.
.
.
...
.
.
.
am1 · · · amn
1
C
A
t
A =
0
B
@
a11 · · · an1
.
.
.
...
.
.
.
a1m · · · amn
1
C
A
kとjを入れ替えても,
同じ式が得られる.
光
光

9. 補足2. 転置と行列の積の関係
t
(AB) = (t
B)(t
A)
転置と行列の積の間には, 次のような関係がある:
これを, 2つのn次元ベクトル x,y と, 対称行列 S に適用すると, 次の公式を得る:
t
ySx = t
xSy
t
ySx = t
(t
ySx) = t
x(t
S)y = t
xSy
証明: □

10. 今回の内容: 対称行列の固有値問題と主成分分析
• 前半: 固有値問題をおもちゃの例で考える.
• 後半: 主成分分析と固有値問題について説明.

11. 前回の復習:
行列と変換
f : X ! Y
✓
a b
c d
◆
✓
a b
c d
◆ ✓
x
y
◆
=
✓
ax + by
cx + dy
◆
2 2行列の行列のベクトルへの積
0 0
は, 平面から平面への変換と見做せる(右図).
例. 回転 拡大/縮小
θ
0
0 0
✓
cos ✓ sin ✓
sin ✓ cos ✓
◆ ✓
3 0
0 2
◆
対角行列
回転行列
(

12. 固有値問題
Idea 全部の行列が, 対角行列みたいだったらいいのに.
n n行列 とn次元ベクトル 0, 定数 に対して, 関係式
が成り立つとき, を の固有値, を( に対する) の固有ベクトルと呼ぶ.
固有値問題: 与えられた行列に対して, その固有値と固有ベクトルを求める問題.
Ax = x Ax = x
Ax = x
Ax = x
Ax = xAx = x
Ax = x
Ax = x Ax = x
定義
例.
A =
✓
3 0
0 2
◆
のとき, A
✓
1
0
◆
= 3
✓
1
0
◆
, A
✓
0
1
◆
= 2
✓
0
1
◆
: 理想的な状態.
固有値
固有ベクトル
ラムダ
注.
固有ベクトルの定数倍は, 固有ベクトル.
ゼロでないものだけを固有ベクトルと呼ぶ.

13. 固有値問題の例
2つの固有値と固有ベクトルの組を得る:
のとき,
A
✓
1
0
◆
= 3
✓
1
0
◆
A
✓
1
1
◆
= 2
✓
1
1
◆
,
A =
✓
3 1
0 2
◆
変換 の様子は, この二つのベクトル
を基準とした方がよく理解できる(右図).
A =
✓
3 1
0 2
◆
( 沿) (;) =
(;)
:
ー
ー ー ー
ー
ー

14. 固有値問題の解き方
Step1. 固有方程式を作る.
Step2. 固有方程式を解く.
A =
✓
a b
c d
◆
の固有方程式は,
'A(t) = (t a)(t d) bc
= t2
(a + d)t + ad bc
'A(t) = 0 () t =
a + d ±
p
(a d)2 + 4bc
2
これが, 固有値.
Step3. 固有ベクトルを求める.
各固有値λに対して, 次の連立方程式のゼロでない解が固有ベクトル:
(
(a )x + by = 0
cx + (d )y = 0

15. 固有値問題3パターン
'A(t) = 0 () t =
a + d ±
p
(a d)2 + 4bc
2
この方程式の解が, どのようなものかによって, 次の３パターンに分かれる:
解が相異なる実数 解が相異なる複素数
固有値問題は
完全にとける.
複素数を導入すれば
固有値問題はとける.
A =
✓
3 1
0 2
◆
例. 例.
✓
cos ✓ sin ✓
sin ✓ cos ✓
◆
解が重根
固有値問題はとけたり
解けなかったりする.
例.
✓
2 0
0 2
◆ ✓
0 1
0 0
◆
,
不十分にしか
解けない

16. 対称行列の固有値問題
対称行列 A =
0
B
@
a11 · · · a1n
.
.
.
...
.
.
.
am1 · · · amn
1
C
A
t
A =
0
B
@
a11 · · · an1
.
.
.
...
.
.
.
a1m · · · amn
1
C
A
A =
✓
a b
c d
◆
のとき, b=c.
,
'A(t) = 0 () t =
a + d ±
p
(a d)2 + 4bc
2
b=c.
異なる二つの実数か, 重根.
重根になるのは, 対角行列のときに限る.
2 2対称行列の固有値問題は, 常に完全にとける!
ー

17. 対称行列の固有値問題と直交分解
0
2つの異なる固有値に対する
固有ベクトルは, 互いに直交する.
対称行列の定める変換は, 右上図のように, 単位円を回転した楕円へと送り,
長軸と短軸の長さが固有値(の絶対値)になる(負の固有値でひっくり返る).
証明: Sx = x, Sy = µy, 6= µ
とすると,
Sは対称行列なので, . したがって, □
t
ySx = t
xSy ( µ)x · y = 0.
t
ySx = y · x, t
xSy = µx · y.
S
→≈ ^
へ

18. 5分休憩/質問コーナー
コラム: n n行列の固有値問題
線形代数の第1ステップは, 固有値問題をn n行列で定式化することを
一つのゴールとして, 進んでいくことが多い.
Step1. 固有方程式を作る.
'A(t) = (t a)(t d) bc
= t2
(a + d)t + ad bc
を一般の行列に定義するため, 「行列式」が必要!
Step3. 固有ベクトルを求める.
固有ベクトルの連立方程式を解くため, 「掃き出し法」が必要!

19. 講座後半: 対称行列の一般論と主成分分析
• おもちゃの例を念頭に, 対称行列の一般論を説明します.
• 予告通り, 証明はほとんどしません.
• その後, 主成分分析への応用を述べます.
• テキストではラグランジュ乗数の理論を用いて議論をしていますが, この
講座では対称行列の一般論をもう少し深く紹介してそれでゴリ押しします.

20. 対称行列の一般論
m次対称行列 の固有値は全て実数である. それらを とする.
このとき, 任意のn次元ベクトル に対して, 次の２つの条件をみたすベクトルの列
がただ一組存在する:
1. 次の等式が成り立つ.
.
2. 各i=1,2,...,mに対して, 次が成り立つ.
.
Spi = ipi 1 > 2 > · · · > k (k  m)
x
p1, p2, . . . , pk
x = p1 + p2 + · · · + pk
Spi = ipi
定理A
互いに異なる
と仮定する.
ここまでで
一つの定理.
ベクトルが和に分解する.
0か固有ベクトルである.
2つの異なる固有値に対する
固有ベクトルは, 互いに直交する.
pi · pj = 0 (i 6= j)
「対称行列の直交分解」で検索

21. おもちゃを使った説明
0
x
p1
p2
2次の対称行列
S =
✓
a b
b d
◆
右図のように, 単位円を楕円に移すとする.
が,
このとき, 前スライドの定理Aは, 次のことを意味している:
2次元の例
図左側のベクトル は, 右側の楕円の長軸, 短軸に対応する点線へ射影したベクトル
, の和に分かれる: . 二つのベクトル , は, 等式
をみたす( は長軸の長さ, は短軸の長さ).
x
p1 p2 x = p1 + p2 p1 p2
Sp1 = 1p1, Sp2 = 2p2
1 2
S

22. Q. どんな重みをつけた新しい評価値が, 「良い評価値」なのか?
主成分分析の考え方: 「結果に差が出る指標」が良い指標.
今回の評価は, 4項目もあるので, 比較が大変.
→ より結果の特徴を捉えた, 2つの指標を選んで, 分析.
「分散」が大きい.
復習: 講座を通して考える問題
都市の比較分析

23. 分散と標本分散共分散行列との関係
重みベクトル
n個のm次元ベクトル x1 =
0
B
@
x11
.
.
.
x1m
1
C
A , · · · , xn =
0
B
@
xn1
.
.
.
xnm
1
C
A と w =
0
B
@
w1
.
.
.
wm
1
C
A
に対して, 評価値 の分散は,
evw(xi) = t
wxi = w1xi1 + · · · + wmxim
S =
0
B
@
s11 · · · s1m
.
.
.
...
.
.
.
sm1 · · · smm
1
C
A , skj =
1
n
n
X
i=1
(xij xj)(xik xk), xj =
1
n
n
X
i=1
標本分散共分散行列
を用いて,
で与えられる.
t
wSw =
m
X
j=1
m
X
k=1
wjwksjk
証明は, テキストの 6.3

24. 分散と重みベクトルについての観察.
w0
= kw のとき,
t
w0
Sw0
= k2
(t
wSw)
定数倍すれば, いくらでも分散を大きくできる.
あくまで, 「ウェイト」をどう配分するかなので, その長さを固定する:
kwk = 1.
問. という条件の下で, 分散 を最大にする
ベクトル を求めよ. この を第一主成分と呼ぶ.
kwk = 1.
t
w0
Sw0
= k2
(t
wSw)
kwk = 1. kwk = 1.
G

25. 固有値と最大値
定理B
m次対称行列 の固有値のうち, 最大のものを とする.
このとき, 任意のm次元ベクトル に対して, 次の不等式が成り立つ:
.
等号成立は, が に対する の固有ベクトルであるとき, そのときに限る.
Spi = ipi 1, 2, . . . , m (m  n)
kwk = 1.
t
wSw  1kwk2
kwk = 1.
1, 2, . . . , m (m  n)
Spi = ipi
0
p1
p2
標語的に言えば, のとき,
「Sの最大固有値に対する固有ベクトルが, を最大にする」
さらに, このときの固有値=最大値!
2次元の場合では,
wとSwの内積として, 幾何学的に理解できる(右図).
kwk = 1.
t
wSw  1kwk2
⑦= .
S

26. 定理Bの証明
ベクトル に対して定理Aを適用すると, ベクトル であって,
kwk = 1. p1, p2, . . . , pk
m次対称行列 の固有値を, とする.
Spi = ipi 1 > 2 > · · · > k (k  m)
w = p1 + p2 + · · · + pk
Spj = jpj をみたすものがただ一組存在する.
に注意すると, .
pi · pj = 0 (i 6= j) kwk2
= kp1k2
+ · · · + kpkk2
t
wSw = t
(p1 + · · · + pk)S(p1 + · · · + pk)
=
X
1i,jk
t
piSpj =
X
1i,jk
t
pi jpj
= 1kp1k2
+ · · · + kkpkk2
 1(kp1k2
+ · · · + kpkk2
) = 1kwk
,
2
□

27. 第２主成分について
定理Bと同様にして, 次がわかる(第３主成分以降についても, 同様.):
定理C
m次対称行列 の固有値のうち, 最大のものを , 次に大きいものを とする.
このとき, m次元ベクトル が に対する の全ての固有ベクトルと直交する
ならば, 不等式が成り立つ:
.
等号成立は, が に対する の固有ベクトルであるとき, そのときに限る.
Spi = ipi 1, 2, . . . , m (m  n)
2
kwk = 1.
1, 2, . . . , m (m  n)
Spi = ipi
t
wSw  1kwk2
kwk = 1.
2 Spi = ipi
2
直交条件について:
幾何学的には, 右図の短軸にあたる部分を考えている.
データ分析的には, 第1主成分とは, 「独立した」情報を取り出す条件.

28. まとめと
都市の比較分析への応用
コンピュータで固有値を計算
→4つの固有値 1.3146, 0.5178, 0.2277, 0.0842.
1 = 1.3146
w1 =
0
B
B
@
0.4733
0.6156
0.5387
0.3270
1
C
C
A
まとめ
w2 =
0
B
B
@
0.5579
0.5566
0.4194
0.4506
1
C
C
A
都市の比較分析
第1主成分 第2主成分 2 = 0.5178
第k主成分=k番目に大きいい固有値の(ノルム1の)固有ベクトル
第1主成分は, 最も分散の大きい評価値であると言える.
第２主成分は, 第1主成分と直交する, 最も分散の大きい評価値.
固有値=分散
S =
0
B
B
@
0.4981 0.2121 0.4146 0.0995
0.2121 0.7261 0.3086 0.2925
0.4146 0.3086 0.5176 0.1320
0.0995 0.2925 0.1320 0.4025
1
C
C
A

29. 講座を通して考える問題
都市の比較分析
Q. この二つの評価は, どういう根拠で出てきた?
Q. この二つの評価で, どの程度の情報が拾えている?
理論を見ることで, より正確に理解できる問い
第１主成分
第２主成分
w1 =
0
B
B
@
0.4733
0.6156
0.5387
0.3270
1
C
C
A
w2 =
0
B
B
@
0.5579
0.5566
0.4194
0.4506
1
C
C
A
総合評価
子育て環境
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
5 7 9 10 12
都市１ 都市２ 都市３ 都市４ 都市５
都市６ 都市７ 都市８ 都市９ 都市10
都市10
都市9
都市2
都市5
都市7
都市8
都市1
都市3
都市4
都市6
第１主成分
第
２
主
成
分
w1 =
0
B
B
@
0.4733
0.6156
0.5387
0.3270
1
C
C
A
w1 =
0
B
B
@
0.4733
0.6156
0.5387
0.3270
1
C
C
A
生活の利便性
安心・安全
医療・介護
教育
evw1
(xi)
evw2
(xi)
次のスライドで
説明します.

30. 情報損失の基準: 寄与率と累積寄与率
1, . . . , m : 標本分散共分散行列の固有値. 1 2 · · · m
k
1 + 2 + · · · + m
1 + · · · + k
1 + 2 + · · · + m
都市の比較分析の場合, 第２主成分までの累積寄与率は, 約85%:
寄与率
累積寄与率
第k主成分に含まれる情報の量
第1~第k主成分に含まれる情報の量
1.3146 + 0.5178
1.3146 + 0.5178 + 0.2277 + 0.0842
⇡ 0.8545

31. ご清聴ありがとうございました.
お元気で!