第37回 CV勉強会＠関東 ECCV2016読み会 Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera

1. 第37回 CV勉強会@関東
ECCV2016読み会
Real-Time 3D Reconstruction and 6-DoF Tracking with
an Event Camera
2016年12月3日 @OZ_Z_C
2016/12/3 CV勉強会@関東 ECCV2016読み会 1

2. 自己紹介
@OZ_Z_C (twitter)
 某企業研究所所属
経歴
学生時代～2014/3
画像符号化方式の研究、H.264 encoderの開発、など
2014/4～2016/3
Ethernet switchの開発
2016/4～
CV的な研究テーマ（広く浅く・・・）に従事
よろしくお願いします！
2016/12/3 CV勉強会@関東 ECCV2016読み会 2

3. まとめ
今回読んだ論文
Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera
ECCV 2016 Best Paper Award (!)
ざっくりいうと？
Event-Based Camera でカメラ運動追跡＆3次元再構成 (そのまんま・・・)
拡張カルマンフィルタで3種類のパラメータを交互に推定
カメラ運動
シーンの輝度勾配強度
シーンのデプス
デモ優先で、研究の余地はまだまだあり
Contribution
Event-Based Camera のみでカメラ運動追跡と3次元再構成を実現した
初めて(※)の手法 (※“To the best of our knowledge”)
2016/12/3 CV勉強会@関東 ECCV2016読み会 3

4. 前置き
2016/12/3 CV勉強会@関東 ECCV2016読み会 4

5. Event-Based Camera
一般的なカメラ
固定のフレームレートで全画素の画素値を出力
Event-Based Camera
「輝度変化量が閾値を超えた」という情報(=イベント)を出力
イベントは各画素独立かつ非同期 (w/ μsオーダーのタイムスタンプ) に出力
2016/12/3 CV勉強会@関東 ECCV2016読み会 5

6. Event-Based Camera
下記動画35秒あたり～ https://youtu.be/LauQ6LWTkxM
2016/12/3 CV勉強会@関東 ECCV2016読み会 6

7. カルマンフィルタ
カルマンフィルタ
下記のような形の線形システムを考える
ある時刻tの状態x 𝑡 について、直前の状態x 𝑡−1と観測𝑦𝑡 から、平均二乗誤差
を最小とする推定値 𝑥𝑡を求める手法
拡張カルマンフィルタ (EKF : Extended Kalman Filter)
下記のような非線形システムにも適用できるように拡張したもの
2016/12/3 CV勉強会@関東 ECCV2016読み会 7
𝑥 𝑡 = 𝐹𝑡−1 𝑥 𝑡−1 + 𝐺𝑡−1 𝑤𝑡−1
𝑦𝑡 = 𝐻𝑡 𝑥 𝑡 + 𝑣 𝑡
（状態方程式）
（観測方程式）ノイズ
𝑥 𝑡 = 𝑓𝑡−1(𝑥 𝑡−1) + 𝑔𝑡−1(𝑥 𝑡−1)𝑤𝑡−1
𝑦𝑡 = ℎ 𝑡(𝑥 𝑡) + 𝑣 𝑡

8. 提案手法
2016/12/3 CV勉強会@関東 ECCV2016読み会 8

9. 概要
関連技術：Visual SLAM (LSD-SLAMなど)
自己位置推定とマップ推定を交互に実行
片方の推定を行う際、もう片方の推定値は正しい前提
特徴点マッチングや輝度値を直接使ったマッチングにより推定
提案手法 w/ Event-Based camera
下記3つの推定を交互に実行
カメラ運動
シーンの輝度勾配強度
シーンのデプス
ある一つの推定を行う際、ほかの2つの推定値は正しい前提
拡張カルマンフィルタを用いて推定
2016/12/3 CV勉強会@関東 ECCV2016読み会 9
自己位置推定
マップ推定

10. 予備知識
イベント
ある画素の勾配強度の変化が予め定めた閾値𝐶を超えたときに出力
例：4画素しかないイベントカメラ
変数の意味
τ：（画素位置を問わず）直前のイベントが発生した時刻との時間差
τ 𝑐 ：同一の画素で直前の（以下同文）
2016/12/3 CV勉強会@関東 ECCV2016読み会 10
文献[12] (Kim, H.+ 2014) より
𝐶

11. Method ‐ カメラ運動追跡
推定するもの
6自由度（並進、回転）のカメラ運動𝐱
基本アイディア
ある画素でのイベント発生時(時刻𝑡)に推定実行
同一画素の直前イベント発生時(時刻𝑡 − 𝜏 𝑐)のカメラ位置と、勾配強度(の推
定結果)を用いる
カルマンフィルタ的には？
観測
モデル
2016/12/3 CV勉強会@関東 ECCV2016読み会 11
𝑧 𝑥 = ±𝐶
ℎ 𝐱 𝐱 𝑡 𝑡 − 1 = I𝑙 𝐩 𝑤
𝑡
− I𝑙 𝐩 𝑤
𝑡−τ 𝑐
(4)
(5)
勾配強度の推定値

12. Method ‐ カメラ運動追跡
カルマンフィルタ的には？(続き)
事後推定𝐱 𝑡 𝑡 (求めたい値), 事後共分散行列𝐏𝐱
𝑡 𝑡
事前推定𝐱 𝑡 𝑡 − τ , 事前共分散行列𝐏𝐱
𝑡 𝑡 − τ
カルマンゲイン𝐖𝐱 , イノベーション𝒗 𝐱 (多分こんな感じになるはず)
2016/12/3 CV勉強会@関東 ECCV2016読み会 12
𝐱 𝑡 𝑡 = 𝐱 𝑡 𝑡 − τ − 𝐖𝐱 𝒗 𝐱
𝐏𝐱
𝑡 𝑡
= 𝐈6×6 − 𝐖𝐱
𝝏ℎ 𝐱
𝝏𝐱 𝑡 𝑡 − τ 𝐏𝐱
𝑡 𝑡 − τ
(7)
(8)
𝐱 𝑡 𝑡 − τ = 𝐱 𝑡 − τ 𝑡 − τ + 𝐧
𝐏𝐱
𝑡 𝑡 − τ
= 𝐏𝐱
𝑡 − τ 𝑡 − τ
+ 𝐏𝐱
(2)
(3)
𝐖𝐱 = 𝐏𝐱
𝑡 𝑡 − τ 𝝏ℎ 𝐱
𝝏𝐱 𝑡 𝑡 − τ
T
𝝏ℎ 𝐱
𝝏𝐱 𝑡 𝑡 − τ 𝐏𝐱
𝑡 𝑡 − τ 𝝏ℎ 𝐱
𝝏𝐱 𝑡 𝑡 − τ
T
−1
𝒗 𝐱 = 𝑧 𝑥 − ℎ 𝐱 𝐱 𝑡 𝑡 − 1
ガウシアン
ノイズ
単位行列

13. Method - 勾配強度
推定するもの
あるカメラ位置（キーフレーム）の勾配𝐠
基本アイディア
ある画素でのイベント発生時(時刻t)に推定実行
同一画素の時刻𝑡, 𝑡 − 𝜏 𝑐に対応する画素位置(𝐩 𝑘
(𝑡)
, 𝐩 𝑘
(𝑡−τ 𝑐)
)の中点 𝐩 𝑘の勾配
を推定（更新）
2016/12/3 CV勉強会@関東 ECCV2016読み会 13

14. Method - 勾配強度
カルマンフィルタ的には？
観測
モデル
勾配強度の再構成
勾配の推定値𝐠(𝐩 𝑘)から下記(13)式で勾配強度I𝑙(𝐩 𝑘)を再構成
凸最小化問題になっており、凸共役の形にして解く
2016/12/3 CV勉強会@関東 ECCV2016読み会 14
𝑧 𝐠 = ±
𝐶
τ 𝑐
(9)
ℎ 𝐠 = 𝐠 𝐩 𝑘 ∙ 𝐦 (10) ここで 𝐦 =
𝐩 𝑘
(𝑡)
− 𝐩 𝑘
(𝑡−τ 𝑐)
τ 𝑐
(11)
(13)
データ項
（推定結果にFitさせる）
平滑化項
（滑らかにする）

15. Method - デプス
推定するもの
あるカメラ位置（キーフレーム）のデプスρ
基本アイディア
同一画素の直前イベント発生時(時刻𝑡 − 𝜏 𝑐)のカメラ位置と、勾配強度(の推
定結果)を用いる (Trackingと基本的に同じ)
カルマンフィルタ的には？
観測
モデル
正則化 (バックグラウンド処理)
周囲画素のデプス値の重みづけ平均
重みには各推定値の分散を使用[9]
2016/12/3 CV勉強会@関東 ECCV2016読み会 15
𝑧ρ = ±𝐶
ℎρ 𝐱 𝑡 𝑡 − 1 = I𝑙 𝐩 𝑤
𝑡
− I𝑙 𝐩 𝑤
𝑡−τ 𝑐
(18)
(19)

16. Experiments
2016/12/3 CV勉強会@関東 ECCV2016読み会 16
下記動画1分14秒あたり～ https://youtu.be/yHLyhdMSw7w

17. まとめ
今回読んだ論文
Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera
ECCV 2016 Best Paper Award (!)
ざっくりいうと？
Event-Based Camera でカメラ運動追跡＆3次元再構成 (そのまんま・・・)
拡張カルマンフィルタで3種類のパラメータを交互に推定
カメラ運動
シーンの輝度勾配強度
シーンのデプス
デモ優先で、研究の余地はまだまだあり
Contribution
Event-Based Camera のみでカメラ運動追跡と3次元再構成を実現した
初めて(※)の手法 (※“To the best of our knowledge”)
2016/12/3 CV勉強会@関東 ECCV2016読み会 17

18. 参考文献
シンプルなモデルとイラストでカルマンフィルタを直感的に理解し
てみる
http://qiita.com/MoriKen/items/0c80ef75749977767b43
6章 カルマンフィルタ - 電子情報通信学会知識ベース
http://www.ieice-hbkb.org/files/01/01gun_05hen_06m.pdf
文献[9] Engel, J., et.al : Semi-Dense Visual Odometry for a
Monocular Camera
文献[12] Kim, H., et.al : Simultaneous Mosaicing and Tracking with
an Event Camera
文献[14] Lichtsteiner, P., et.al : A 128×128 120 dB 15μs Latency
Asynchronous Temporal Contrast Vision Sensor
2016/12/3 CV勉強会@関東 ECCV2016読み会 18

19. fin.
2016年12月3日 @OZ_Z_C
2016/12/3 CV勉強会@関東 ECCV2016読み会 19