MLPシリーズ深層学習輪講会「オートエンコーダー」後半のスライド

1. MLP深層学習
自己符号化器 後半
曽和 修平

2. 前提知識
[対角行列]
対角成分以外が0の正方行列
[対称行列]
自身の転置行列と一致するような正方行列
[共分散行列]
対角成分に分散、それ以外の部分に共分散が並ぶ行列

3. 前提知識(2)
[直交行列]
転置行列と逆行列が等しくなる正方行列
AT
A = AAT
= I が成り立つ
[固有値,固有ベクトル]
正方行列Aに対して
が成り立つ時xを固有ベクトル,λを固有値という
固有ベクトルはあるベクトルAの方向は変えず大きさだけ変
えるような線形変換を施すベクトル
固有値はその変換倍率を表している

4. 白色化

5. 白色化とは
• 成分間の相関をなくす処理
• 自己符号化器が良い特徴を学習できるかどうかに大き
く影響する可能性

6. 成分間の相関をなくすとは？(1)
• 特徴量としてテストの点数
（国語,算数,理科,社会,英語）をとるとする
国語の点数が高い人は英語の点数も高い傾向がある
相関あり
白色化は任意の2成分間で相関をなくす処理

7. 成分間の相関をなくすとは？(2)
• 任意の2成分間で相関を0に
• 共分散行列の非対角成分を全て0にする
1成分と3成分間の分散

8. 具体的な考え方
• 考え方
データに対してある線形変換Pを施す
施した後のデータの共分散行列の非対角成分が0に
なっている
このような変換行列Pを見つけ出せば良い

9. 線形変換Pの導出(1)
• ここまでを数式化する
・データXの共分散行列
（データは各成分の平均値を引いた状態）
・線形変換Pを施した後のデータu
・線形変換Pを施した後のデータの共分散行列

10. 線形変換Pの導出(2)
• ΦU が対角行列に成ることが目標
• ここで、目標とする対角行列をI(=単位行列）にする
変換には
を用いている

11. 線形変換Pの導出(3)
• ΦXは固有ベクトルの定義に従って下記に分解できる
固有ベクトルの定義
E・・固有ベクトルを列ベクトルに持つ行列
D・・固有値を対角に並べた対角行列
E−1
AE = D
Aが対称行列,エルミート行列の時Eは直交行列
になることが知られている
Φxは対称行列なので、Eは直交行列

12. 線形変換Pの導出(4)
PT
P = Φ−1
XΦ−1
X = ED−1
ET
と を用いて
の逆行列を求める
Qは任意のPと同じサイズの直交行列
Qの任意性の分だけPは無数に存在
対称行列の逆行列も対称行列
よって、Pは対称行列なので
P P^t = P^2
Pt
P = ED−1
ET
, P2
= ED−1
ET
, P = ED−1/2
ET

13. 線形変換Pの例
・PCA白色化
共分散行列の固有ベクトルを用いる事から
主成分分析と似ているためこう呼ばれる
Q = I
・ZCA白色化
Pが対称行列になっていることから、
ゼロ位相白色化（ZCA白色化）とよぶ。
Q = E

14. PCA白色化とZCA白色化の違い
・以下はPCA白色化とZCA白色化のPの行ベクトルを画像化し
たもの
（引用）http://stats.stackexchange.com/questions/117427/what-is-the-difference-between-zca-whitening-and-pca-whitening
（ZCA）
フィルタ部分とその他の部分の画素の
差を強調するようになっている
（オンセンタと呼ばれる）
（PCA）
高周波成分を強調するようになっている。
元画像とは全く違う見た目になる。

15. PCA白色化とZCA白色化の違い
PCA白色化 ZCA白色化
元画像

16. ディープネットの事前学習

17. 概要
• 勾配消失問題のため多層の順伝搬型ネットワークは学
習が難しい
• 順伝搬型ネットワークでは学習開始時の重みはランダム
で初期化
• 学習開始時の重みをもっと良い値で初期化してやれば
学習がうまくいく（経験則）
＝積層自己符号化器

18. 積層型自己符号化器の構築
W
2
W
3
W
4
この多層順伝播型ネットワークの重みを事前学習する

19. 積層型自己符号化器の構築（２）
(1)１層ずつに分割し、それぞれを自己符号化器とみなして
教師なし学習を行う
W
2
W
3
W
4
Z
2
Z
3
Z
4
ここで得られる重みW2~4とバイアスb2~4が初期値となる

20. 積層型自己符号化器の構築（３）
W
2
in
(補足)
out
この層が次のネットワークの
入力
自己符号化器に分割した状態
W’
2

21. 積層型自己符号化器の構築（４）
(2)学習した重みW2~W4とバイアスb2~b4に初期化した
ネットワークを構築する
ただし、最後にランダムに初期化した層を1層追加する
W
2
W
3
W
4
W
5

22. その他の自己符号化器

23. その他の自己符号化器
• 多層自己符号化器
これまでの自己符号化器は単層であったが、それを
多層にしたもの
勾配消失問題のリスクが伴う
• デノイジング自己符号化器
学習に確率的な要素を取り入れ性能を向上したもの

24. 多層自己符号化器
W W’
単層
W
2
W
3
W’
3
W’
2
多層

25. デノイジング自己符号化器
・ノイズを除去する能力を備えた特徴を得る事が期待できる
・ネットワークの構築方法は全く同じ
・入力と出力（教師）のデータにノイズを加える
・誤差関数を復号化したx’と元のサンプルxの差にする

26. デノイジング自己符号化器
（出力）
・活性化関数が恒等写像なら
（誤差関数）
・シグモイド関数なら
ˆx(ˆx) = ˆf( ˆWf(W ˆx + b) + ˆb)
二乗誤差
交差エントロピー
||ˆx(ˆx) − x||2
C(ˆx(ˆx), x)

27. ノイズの例
・ガウシアンノイズ
平均x,分散σ^2のガウス分布に従う値を加算する
・マスク状のノイズ
適当な割合で要素をランダムに選出し,0にする
・ソルト＆ペッパーノイズ
適当な割合で要素をランダムに選出し,上限値or下限値
どちらかにランダムでする