This model classifies human actions without using any prior knowledge. It adds RNN part to 3D-CNN.

1. 動作認識におけるディープラーニングの
最新動向② Sequential DL for HAR
2016/3/15
株式会社ウェブファーマー
大政 孝充

2. 今回取り上げるのはこれ
[1]M.Baccouche, F.Mamalet, C.Wolf, C.Garcia, A.Baskurt.
“Sequential deep learning for human action recognition.” In
Human Behavior Understanding, page 29-39. Apringer, 2011.
3D-CNNとRNNを組み合わせることで、認識率を向上させ
た！

3. まず基本
3D-CNNとは？
[1]のFigure 1, Figure2より
2DのCNN
3D-CNN
vij
wy
= tanh bij + wijm
pq
v(i−1)m
(x+p)(y+q)
q=0
Qi−1
∑
p=0
Pi−1
∑
m
∑
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟ vij
wyz
= tanh bij + wijm
pq
v(i−1)m
(x+p)(y+q)(z+r)
r=0
Ri−1
∑
q=0
Qi−1
∑
p=0
Pi−1
∑
m
∑
⎛
⎝
⎜⎜
⎞
⎠
⎟⎟
時間軸方向
に展開
詳細はこちら→http://www.slideshare.net/ssuser07aa33

4. もうひとつ基本
RNNとは？
入力層 出力層 中間層
ある時刻の出力が次の時刻の入力へと回帰する
→つまり情報が次の時刻に記憶される！

5. これが全体の構造！
[1]のFigure 3より

6. これが全体の構造！
3D-CNNで特徴をもとめ

7. これが全体の構造！
それをさらにRNNにかける

8. 3D-CNNの部分はこうだ！
[1]のFigure 1より

9. 3D-CNNな部分の詳細（１）
input画像を3Dで畳み込む
連続する9シーンのうち
5シーンで畳み込む

10. 3D-CNNな部分の詳細（2）
あとは通常の2D-CNNで畳み込み、
プーリング、全結合し、クラスごとに出力

11. 3D-CNNな部分の詳細（3）
これをどんどん学習させると・・・

12. 3D-CNNな部分の詳細（4）
C3層に3×8×5=120次元の
特徴ベクトルが形成される
→これをRNNに入力する

13. RNNな部分の詳細（1）
一連のシーンのうち
最初の9シーンを切り出し
3D-CNNへ入力
特徴ベクトルをt=1のデー
タとしてRNNへ入力
t=1におけるRNN
からの出力

14. RNNな部分の詳細（2）
次の9シーンを切り出し
3D-CNNへ入力
t=2におけるRNN
からの出力
特徴ベクトルをt=2のデー
タとしてRNNへ入力

15. RNNな部分の詳細（3）
最後の9シーンを切り出し
3D-CNNへ入力
出力をt=nのデータと
してRNNへ入力
t=nにおけるRNN
からの出力

16. RNNな部分の詳細（4）
これをどんどん学習させる

17. RNNな部分の詳細（5）
テスト時には、t=nの出力結果を
もって判断する！