Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Destacado
Destacado (20)
Similar a Deeplearning4.4 takmin
Similar a Deeplearning4.4 takmin (20)
Más de Takuya Minagawa
Más de Takuya Minagawa (20)
Último
Último (9)
Deeplearning4.4 takmin
- 2. 発表内容 4.3 Deep Belief Network 4.4 Deep Boltzmann Machine 4.5 Convolutional DBM 5. ソフトウェア 6. おわりに
- 5. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 𝑝 𝒉2 , 𝒉3 Restricted Boltzmann Machine
- 6. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃)
- 7. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝑝 𝒉1 𝒉2
- 8. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝑝 𝒗 𝒉1 𝑝 𝒉1 𝒉2
- 9. 𝑝 𝒉𝑙 𝒉𝑙+1 Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0
- 10. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1
- 11. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
- 12. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 𝒗, 𝒉; 𝜃 = 𝑙=0 𝐿−2 𝑝 𝒉𝑙 𝒉𝑙+1 𝑝 𝒉 𝐿−1, 𝒉 𝐿 (52) ネットワーク全体の同時確率 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
- 13. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 𝒗, 𝒉; 𝜃 = 𝑙=0 𝐿−2 𝑝 𝒉𝑙 𝒉𝑙+1 𝑝 𝒉 𝐿−1, 𝒉 𝐿 (52) ネットワーク全体の同時確率 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
- 14. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 ここが与えられた時の この各ユニットの分布 (1になる確率) (リンクの重み𝑾は学習済み)
- 15. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 観測データ 下の層から順に推論 教師ありの場合、この値を 更にロジスティック回帰や SVMに使用
- 16. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 注： この式は解析的に求まらない。 あくまで近似。
- 17. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 通常のRestricted Boltzmann Machineとして 最上位のユニットの確率 分布を計算
- 18. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙
- 19. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 q 1 0
- 24. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 無視 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 から学習データを生成
- 25. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 から学習データを生成
- 27. Deep Boltzmann Machine 𝒉3 𝒉2 𝒉1 𝒗 𝒉3 𝒉2 𝒉1 𝒗 Deep Boltzmann Machine Deep Belief Network 無向グラフ 有向グラフ
- 28. Deep Boltzmann Machine 𝒉2 𝒉1 𝒗 𝐸 𝒗, 𝒉; 𝜃 = − 𝑖=1 𝑁 𝑉 𝑏𝑖 𝑣𝑖 − 𝑗=1 𝑁 𝐻 1 𝑐𝑗 1 ℎ𝑗 1 − 𝑖,𝑗 𝑣𝑖 𝑊𝑖𝑗 1 ℎ𝑗 1 − 𝑗=1 𝑁 𝐻 2 𝑐𝑗 2 ℎ𝑗 2 − 𝑗,𝑘 ℎ𝑗 1 𝑊𝑗𝑘 2 ℎ 𝑘 2 隠れ層が２層の場合 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 （55）
- 29. Deep Boltzmann Machine 𝒉2 𝒉1 𝒗 𝐸 𝒗, 𝒉; 𝜃 = − 𝑖=1 𝑁 𝑉 𝑏𝑖 𝑣𝑖 − 𝑗=1 𝑁 𝐻 1 𝑐𝑗 1 ℎ𝑗 1 − 𝑖,𝑗 𝑣𝑖 𝑊𝑖𝑗 1 ℎ𝑗 1 − 𝑗=1 𝑁 𝐻 2 𝑐𝑗 2 ℎ𝑗 2 − 𝑗,𝑘 ℎ𝑗 1 𝑊𝑗𝑘 2 ℎ 𝑘 2 隠れ層が２層の場合 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 （55）
- 30. Deep Boltzmann Machine 𝐸 𝒗, 𝒉; 𝜃 = − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 ℎ𝑗 𝑙 − 𝑙=1 𝐿 𝑖,𝑘 ℎ𝑖 𝑙−1 𝑊𝑖𝑘 𝑙 ℎ 𝑘 𝑙 一般化 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 （55）’ 𝒉 𝐿 𝒉𝑙 𝒉1 𝒉0
- 31. 推論 𝒉2 𝒉1 𝒗 分布𝑝 𝒉 𝒗 を求めたい。 ここが与えられた時の この各ユニットの分布 (1になる確率) (リンクの重み𝑾は学習済み)
- 32. 推論 𝒉2 𝒉1 𝒗 分布𝑝 𝒉 𝒗 を求めたい。 (リンクの重み𝑾は学習済み) 観測データ 平均場近似で求める
- 33. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （56） （57） 𝑞 𝒉 𝒗 を𝑝 𝒉 𝒗; 𝜃 と近い関数形にしたい。 → 𝑞と𝑝のKLダイバージェンス最小化
- 34. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （56） （57） 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃)
- 35. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （56） （57） 𝐸 𝒗, 𝒉; 𝜃 = − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 ℎ𝑗 𝑙 − 𝑙=1 𝐿 𝑖,𝑘 ℎ𝑖 𝑙−1 𝑊𝑖𝑘 𝑙 ℎ 𝑘 𝑙 （55）’
- 36. 平均場近似による推論 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （57） 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 = 𝑙=1 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝜇 𝑗 𝑙 ln 𝜇 𝑗 𝑙 + 1 − 𝜇 𝑗 𝑙 ln 1 − 𝜇 𝑗 𝑙 − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 𝜇 𝑗 𝑙 − 𝑙=1 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝜇 𝑗 𝑙−1 𝑊𝑗 𝑙 𝜇 𝑗 𝑙 μ 𝑗 𝑙 ≡ 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 = 1 𝒗 とすると
- 37. 平均場近似による推論 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （57） μ 𝑗 𝑙 ≡ 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 = 1 𝒗 𝜕 𝜕μ 𝑗 𝑙 𝒟 𝑞 𝑝 =0 を解くと、μ 𝑗 𝑙 の停留点は μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58）
- 38. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 観測データ 適当な初期値
- 39. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 40. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 41. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 42. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 43. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 44. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 45. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 46. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットのμ 𝑗 𝑙 が、推論結果 （1となる確率）
- 47. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 𝑝 ℎ𝑗 1 = 1 𝒗 = σ 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 𝑝 𝑣𝑖 = 1 𝒉1 = σ 𝑗 𝑊𝑖𝑗 1 ℎ𝑗 1 RBMの場合（簡単のためバイアス項は除いている） (41) (42) パラメータ𝑾1の 更新に使う
- 48. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 Deep Boltzmann Machineの場合（簡単のためバイアス項は除いている） (60) (59) 上下の層から影響あるので、２倍 𝑝 ℎ𝑗 1 = 1 𝒗 = σ 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 + 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 𝑝 𝑣𝑖 = 1 𝒉1 = σ 𝑗 𝑊𝑖𝑗 1 ℎ𝑗 1
- 49. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 Deep Boltzmann Machineの場合（簡単のためバイアス項は除いている） 𝑝 ℎ 𝑘 2 = 1 𝒉1 = σ 𝑗 ℎ𝑗 1 𝑊𝑖𝑗 2 𝑝 ℎ𝑗 1 = 1 𝒉2 = σ 𝑘 𝑊𝑖𝑘 2 ℎ 𝑘 2 + 𝑘 𝑊𝑖𝑘 2 ℎ 𝑘 2 (62) (61) 上下の層から影響あるので、２倍
- 53. Convolutional DBM ・・・ ・・・ 𝒉 𝒗 𝑾1 𝑾2 𝑾3 𝐵 𝛼 畳込みとMax Pooling を生成モデル（RBM）に組込む 𝐸 𝒗, 𝒉 = − 𝑘 𝑖,𝑗 ℎ𝑖,𝑗 𝑘 𝑾 𝑘 ∗ 𝑣 𝑖,𝑗 + 𝑐 𝑘ℎ𝑖,𝑗 𝑘 − 𝑏 𝑖,𝑗 𝑣𝑖,𝑗 (66) (67)subject to 入力への畳み込み 𝐵 𝛼内の出力はどれか１つだけ１，または全て０ (𝑖,𝑗)∈𝐵 𝛼 ℎ𝑖,𝑗 𝑘 ≤ 1, ∀𝑘, 𝛼 バイアス
- 54. ソフトウェア
- 55. ソフトウェア Deep Learningのソフトウェアへのリンクまとめサイト http://deeplearning.net/software_links/
- 56. ソフトウェア 名前 言語 URL 高速化 開発元 アルゴリズム Theano Python http://deeplearning. net/software/thean o • CUDA • BLAS モントリ オール大 学LISA • CNN • DBN • DBM EBlearn C++ http://eblearn.cs.ny u.edu:21991/ • IPP • SSE • OpenMP ニューヨー ク大学 CBLL • CNN cuda- convnet Python C++ http://code.google.c om/p/cuda-convnet • CUDA A.Krizhevs ky＠トロン ト大 • CNN Caffe C++ http://caffe.berkele yvision.org/index.ht ml • CUDA カリフォル ニア大 バーク レー校 BVLC • CNN ConvNet JS JavaScr ipt http://cs.stanford.e du/people/karpathy /convnetjs/ A.Karpath y＠スタン フォード大 • CNN
- 57. おわりに ディープラーニングは各種のベンチマークや コンテストで著しい成果を挙げている。 なぜ、そんなに性能が良いのか？ プレトレーニングが重要であるという説 過完備な特徴セットによるスパース表現が本質で あるという説