![今回取り上げるのはこれ
[1]John Flynn, Ivan Neulander, James Philbin, NoahSnavely.
“DeepStereo: Learning to Predict New Views from the
World’s Imagery” arXiv:1506. 06825, 2015.
ディープラーニングを使って、新たな視点における画像を
作り出す！](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Más contenido relacionado
Más de WEBFARMER. ltd.
Más de WEBFARMER. ltd. (20)
３次元タスクにおけるディープラーニングの最新動向１DeepStereo
- 2. 今回取り上げるのはこれ [1]John Flynn, Ivan Neulander, James Philbin, NoahSnavely. “DeepStereo: Learning to Predict New Views from the World’s Imagery” arXiv:1506. 06825, 2015. ディープラーニングを使って、新たな視点における画像を 作り出す！
- 9. どのように学習するの？ これらを全てディープラーニングに放り込み、 C視点から見えるであろう、もっともらしい画像を出力させる V1視点 からのD枚 V2視点 からのD枚 ディープ ラーニング 出力画像
- 14. モデルの詳細（１） 全体の構造 モデルを２つに分ける。 ①物体までの距離を推定する部分（Selection Tower） ②物体の色を推定する部分（Color Tower） [1]のFigure 4より 各物体までの 距離を推定 する 距離ごとに 各物体の色を 推定する
- 15. モデルの詳細（２） Selection Towerの入力 ・Selection Towerでは、まず各距離ごとに複数の視点からの 画像を入力する [1]のFigure 5より 距離d1 距離dk 距離dD 視点V1 視点V2
- 16. モデルの詳細（３） Selection TowerのStage 1 ・Selection TowerのStage 1では、距離ごとに畳み込み、Reluにかける ・重みは距離に渡って共有する [1]のFigure 5より 重みを共有 距離ごとに畳み込み、 Reluで活性化
- 17. モデルの詳細（４） Selection TowerのStage ２ ・Selection TowerのStage 2では、全ての距離に渡って畳み込む ・これにより、オクルージョンのような各距離間の相互作用を考慮する 全ての距離に渡って畳み 込み、tanhで活性化 [1]のFigure 5より
- 18. モデルの詳細（５） Selection Towerの出力 ・Selection TowerのStage 2ではさらに、softmaxで正規化する ・正規化はピクセルごとに、距離に渡って行う softmaxでピクセルごとに正規化することで、 ある距離における各ピクセルの存在確率を求める si, j,z z=1 D ∑ =1 i, j( ) z ：ピクセル ：距離 この辺は遠い 距離に判定さ れている この辺は浅い 距離に判定さ れている [1]のFigure 5より
- 19. モデルの詳細（６） Color Towerの入力 ・Color TowerではSelection Towerと同じく、各距離ごとに複数の視点 からの画像を入力する [1]のFigure 6より 距離d1 距離dk 距離dD 視点V1 視点V2
- 20. モデルの詳細（７） Color Towerの畳み込み ・Color Towerでは各距離ごとに畳み込み、Reluで活性化する ・重みは共有する [1]のFigure 6より 重みを共有 距離ごとに畳み込み、 Reluで活性化
- 22. モデルの詳細（９） Selection TowerとColor Towerとの統合 ①それぞれの距離において、ピクセルごとにSelection TowerとColor Towerの出力をかけあわせる ②それを距離に渡って足し合わせる [1]のFigure 4より ci, j f = si, j,z∑ ×ci, j,z ci, j f si, j,z ci, j,z i, j( ) z ：ピクセル ：距離 ：統合した出力 ：Selection Towerからの出力 ：Color Towerからの出力 ②足す ①かける
- 23. モデルの詳細（１０） 誤差を求める ・統合した出力画像と実際に撮影したC視点の画像から誤差を求める ・ピクセルごとに差をとり、画像全体に渡って足し合わせる [1]のFigure 4より L ci, j f ci, j t i, j( ) ：ピクセル ：統合した出力 ：実際に撮影したC視点の画像 L = ci, j t −ci, j f i, j ∑ ：誤差