第20回名古屋CV・PRML勉強会で発表した内容です。 自分の研究に関連するところをざっくりと話しました。

1. 背景モデリングに
関する研究紹介 など
第20回名古屋CV・PRML勉強会
2012/10/20
川西康友 ( @yasutomo57jp )
1
12年10月21日日曜日

2. 今日話す内容
自分の研究に関して
背景画像推定
背景モデリング
宣伝：次週関西CVPRML勉強会
ICIP2012の参加報告をします
2
12年10月21日日曜日

3. 私の研究内容
屋外の固定カメラ映像を対象
背景画像推定
背景差分
人物検出・追跡・照合
3
12年10月21日日曜日

4. Foreground / Background
画像処理では前景／背景のどちらかを対象
この分離は様々な画像処理の前処理
前景 背景
人物追跡 シーン理解
人物照合 天候推定
プライバシ配慮映像
4
12年10月21日日曜日

5. Foreground / Background
画像処理では前景／背景のどちらかを対象
この分離は様々な画像処理の前処理
前景 背景
人物追跡 シーン理解
人物照合 天候推定
プライバシ配慮映像
4
12年10月21日日曜日

6. プライバシに配慮した映像の前に
センシングWeb
世の中のセンサデータをWebに公開
防犯カメラ映像
Application Servers
人感センサ
World wide
気象データ Sensor Network
etc.
プライバシの問題がある
5
特に防犯カメラ映像
12年10月21日日曜日

7. 映像に対するプライバシ保護
人物検出→モザイク
人物検出が完璧でないと…
観測画像 モザイク
観測画像 モザイク
6
12年10月21日日曜日

8. 映像に対するプライバシ保護
人物検出→モザイク
人物検出が完璧でないと…
違う位置にモザイク
観測画像 モザイク
観測画像 モザイク
6
12年10月21日日曜日

9. 映像に対するプライバシ保護
人物検出→モザイク
人物検出が完璧でないと…
違う位置にモザイク
観測画像 モザイク
人物が丸見え
観測画像 モザイク
6
12年10月21日日曜日

10. 映像に対するプライバシ保護
人物検出→モザイク
人物検出が完璧でないと…
違う位置にモザイク
失敗
観測画像 モザイク
人物が丸見え
失敗
観測画像 モザイク
6
12年10月21日日曜日

11. 変身カメラ
人物１
(x,y): (150, 200 )
シーンに適応する頑健な 人物２
Width: 30px
人物検出 Height: 100px 160 )
(x,y): (120,
人物３
Width: 30px
(x,y): (200, 180 )
Height: 100px
Width: 30px
Height: 100px
観測した映像 変身カメラの映像
長時間の観測画像解析に基づく
背景画像推定
7
12年10月21日日曜日

12. 人物検出の失敗時
人物検出位置がずれても
違う位置に
モザイク
失敗
観測画像 モザイク 変身カメラ
人物検出が全くできなくても
人物が丸見え
失敗
観測画像 モザイク 変身カメラ
12年10月21日日曜日

13. 人物検出の失敗時
人物検出位置がずれても 位置が
違う位置に ずれるだけ
モザイク
失敗
観測画像 モザイク 変身カメラ
人物検出が全くできなくても
人物が丸見え
失敗
観測画像 モザイク 変身カメラ
12年10月21日日曜日

14. 人物検出の失敗時
人物検出位置がずれても 位置が
違う位置に ずれるだけ
モザイク
失敗
観測画像 モザイク 変身カメラ
人物検出が全くできなくても
何も表示
人物が丸見え されないだけ
失敗
観測画像 モザイク 変身カメラ
12年10月21日日曜日

15. 人物検出の失敗時
人物検出位置がずれても 位置が
違う位置に ずれるだけ
モザイク
失敗 安心
観測画像 モザイク 変身カメラ
人物検出が全くできなくても
何も表示
人物が丸見え されないだけ
失敗 安心
観測画像 モザイク 変身カメラ
12年10月21日日曜日

16. 人物検出の失敗時
人物検出位置がずれても 位置が
違う位置に ずれるだけ
モザイク
失敗 安心
観測画像 モザイク 変身カメラ
人物検出が全くできなくても
何も表示
人物が丸見え されないだけ
失敗 安心
観測画像 モザイク 変身カメラ
人物検出結果が悪くてもプライバシ漏洩は起こりえない
12年10月21日日曜日

17. 変身カメラ
人物１
(x,y): (150, 200 )
シーンに適応する頑健な 人物２
Width: 30px
人物検出 Height: 100px 160 )
(x,y): (120,
人物３
Width: 30px
(x,y): (200, 180 )
Height: 100px
Width: 30px
Height: 100px
観測した映像 変身カメラの映像
長時間の観測画像解析に基づく
背景画像推定
9
12年10月21日日曜日

18. 背景画像推定の目的
元の観測画像 推定した背景画像
違和感がない映像
プライバシを侵害しない
12年10月21日日曜日

19. 屋外固定カメラの映像
映像中には何が存在？
変化しないもの
地面，床，壁
変化するもの
見えの変化
o 日照変化，木や旗の揺れ
存在の変化
o 物体の侵入，消滅
11
12年10月21日日曜日

20. 屋外固定カメラの映像
映像中には何が存在？
変化しないもの
地面，床，壁
変化するもの
見えの変化
o 日照変化，木や旗の揺れ
存在の変化
o 物体の侵入，消滅
11
12年10月21日日曜日

21. 屋外固定カメラの映像
映像中には何が存在？
変化しないもの
地面，床，壁
変化するもの 背景
見えの変化
o 日照変化，木や旗の揺れ
存在の変化
o 物体の侵入，消滅
11
12年10月21日日曜日

22. 屋外固定カメラの映像
映像中には何が存在？
変化しないもの
地面，床，壁
変化するもの 背景
見えの変化
o 日照変化，木や旗の揺れ
存在の変化
o 物体の侵入，消滅
前景
11
12年10月21日日曜日

23. 背景画像の推定
背景は変化している
1枚の画像から推定するのは無理
複数枚の画像から背景モデルを構築
背景モデルを用いて背景画像推定
背景画像推定
画像の全ての画素の（背景を観測した時の）値
を決めること
12
12年10月21日日曜日

24. ちなみに… 背景差分法（前景領域の抽出）
背景モデルと観測画像の比較
背景ではない領域を抽出する
全ての画素に対して背景らしさを決定する問題
背景らしさに対して閾値処理→背景 or notを決定
背景らしさに対する閾値処理
背景モデル
13
12年10月21日日曜日

25. 背景差分と背景画像推定
観測→背景モデル→背景画像
背景画像推定：画素ごとに画素値を与えられればよい
背景差分
背景モデル
背景差分：結果的に画素ごとに2クラス分類ができればよい
14
12年10月21日日曜日

26. 背景モデル
背景とはこうだという定義を与えるもの
背景差分に使える背景モデル
背景画像推定に使える背景モデル
表現方法
画素ごと／画像ごと
確率分布／固有空間／時系列予測
15
12年10月21日日曜日

27. 様々な背景モデル化法
画素ごとの統計モデル
平均，最頻値
正規分布，混合分布
画像の低次元近似に基づくモデル
EigenBackground, Local PCA, Robust PCA
時系列の変化を表すモデル
Kalman Filterによる輝度推定
時系列のテクスチャ変化推定
16
12年10月21日日曜日

28. 画素ごとの統計モデル
time
現在の観測画像
統計量の推定
統計量を推定する
時間方向の平均値，最頻値
確率分布の極大値を推定
弱点：急激な変化，空間的な変化に弱い
（背景差分の場合）特徴量の工夫，識別の工夫
画素値→LBP，ST-Patchなど 閾値処理→1class SVMなど
特徴量，識別方法で様々な組み合わせ 17
12年10月21日日曜日

29. 画素ごとの統計モデル
time
現在の観測画像
統計量の推定
統計量を推定する
時間方向の平均値，最頻値
確率分布の極大値を推定
弱点：急激な変化，空間的な変化に弱い
（背景差分の場合）特徴量の工夫，識別の工夫
画素値→LBP，ST-Patchなど 閾値処理→1class SVMなど
特徴量，識別方法で様々な組み合わせ 17
12年10月21日日曜日

30. 様々な背景モデル化法
画素ごとの統計モデル
平均，最頻値
正規分布，混合分布
画像の低次元近似に基づくモデル
EigenBackground, Local PCA, Robust PCA
時系列の変化を表すモデル
Kalman Filterによる輝度推定
時系列のテクスチャ変化推定
18
12年10月21日日曜日

31. 低次元近似の背景モデリング
画像1枚を1つのベクトルと考える
非常に高次元（100万画素＝300万次元）
実際の変化パターンはそんなに高次元じゃない
画像をいくつかの基底の重み付き和で表現
うまく基底を取れば，背景変化を再現可能
19
12年10月21日日曜日

32. EigenBackground
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

33. EigenBackground
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

34. EigenBackground
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

35. EigenBackground
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

36. EigenBackground
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

37. EigenBackground
PCA
背景固有空間
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

38. EigenBackground
入力画像
PCA
背景固有空間
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

39. EigenBackground
入力画像
PCA
背景固有空間
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

40. EigenBackground
入力画像
PCA
背景固有空間
推定した背景画像
・・・
time
N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for
Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999.
12年10月21日日曜日

41. EigenBackgroundの弱点
学習時，前景領域などのノイズ（外れ値）に弱い
外れ値に強い手法：Robust PCAなどを利用
空間的に徐々に変化する変化を再現できない
学習データをうまく限定する
Local PCAなどを利用
局所的な変化を再現できない
画像を分割して各領域ごとに処理
Segmented PCAなどを利用
21
12年10月21日日曜日

42. 前景領域などのノイズへの対応
できるだけ前景領域を無視してPCAしたい
前景領域を除いた上で背景の誤差を最小化
どこを前景領域として除けばよいか？
Robust PCA, GoDecなどのロバストな手法
前景領域(ノイズ)は画像中でSparse
画素数が少ない（L0ノルムが小さいという条件）
組合せ最適化になるので簡単には解けない
L1ノルムで近似して繰り返し計算
Tianyi Zhou, Dacheng Tao, GoDec: Randomized Low-rank & Sparse Matrix
Decomposition in Noisy Case, ICML, 2011. 22
12年10月21日日曜日

43. Subsampleによる高速化・頑健化
例えば100万次元の画像を10次元で表現するとき
100万次元すべてを使わなくても10次元の部分空間を推定できる
画像からランダムに画素を選択し，その画素の情報だけを使って
画像を低次元近似
基底 のうち，Subsamplingした画素に対応する
画素 を選択 列のみ( )を利用して画像を復元
Subsampling 復元
30%くらいの画素からでも十分背景を推定できる
L. Balzano, A.Szlam, J.He, Incremental Gradient on the Grassmannian for Online Foreground and
Background Separation in Subsampled Video , CVPR 2012.
12年10月21日日曜日

44. 空間的に連続した変化への対応
入力画像 推定した背景画像
背景固有空間
影の移動などは数枚の画像の和では表現できない
24
12年10月21日日曜日

45. 空間的に連続した変化への対応 (Kawanishi2009)
時刻
異なる日の同じ時刻
・・・ 影の出る位置は同じ
この画像集合だけを使って
背景固有空間を構築
日
日照の強弱だけの問題になる→再現が容易
複数日で看板などの配置が異なるとうまく再現
できない→(川西2011ではこの問題に対処) 25
12年10月21日日曜日

46. 局所的な変化への対応
画像全体を低次元で近似
画像中の細かな変化は失われる
画像をブロックへ分割し，ブロックごとに処理
Segmented PCA
26
12年10月21日日曜日

47. Segmented EigenBackground
time
12年10月21日日曜日

48. Segmented EigenBackground
time
12年10月21日日曜日

49. Segmented EigenBackground
各ブロックに
対してPCA
Eigen Eigen Eigen Eigen
Background Background
Background Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
time
12年10月21日日曜日

50. Segmented EigenBackground
各ブロックに
対してPCA
Eigen Eigen Eigen Eigen
Background Background
Background Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
time
ブロックごとの背景画像推定
12年10月21日日曜日

51. Segmented EigenBackground
各ブロックに
対してPCA
Eigen Eigen Eigen
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
time
ブロックごとの背景画像推定
Eigen
Background
12年10月21日日曜日

52. Segmented EigenBackground
各ブロックに
対してPCA
Eigen Eigen Eigen
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
time
ブロックごとの背景画像推定
入力画像
Eigen
Background
12年10月21日日曜日

53. Segmented EigenBackground
各ブロックに
対してPCA
Eigen Eigen Eigen
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
time
ブロックごとの背景画像推定
入力画像
Eigen
Background
12年10月21日日曜日

54. Segmented EigenBackground
各ブロックに
対してPCA
Eigen Eigen Eigen
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
Eigen Eigen Eigen Eigen
Background
Background Background
Background
time
ブロックごとの背景画像推定
入力画像 推定した背景画像
Eigen
Background
12年10月21日日曜日

55. Segmented EigenBackgroundの問題点
ブロックに分割することで
局所的な変化をうまく再現可能
前景領域の影響を大きく受ける
前景領域がブロックの大部分を占めるため
12年10月21日日曜日

56. Segmented EigenBackgroundの問題点
ブロックに分割することで
局所的な変化をうまく再現可能
前景領域の影響を大きく受ける
前景領域がブロックの大部分を占めるため
12年10月21日日曜日

57. Segmented EigenBackgroundの問題点
ブロックに分割することで
局所的な変化をうまく再現可能
前景領域の影響を大きく受ける
前景領域がブロックの大部分を占めるため
12年10月21日日曜日

58. Segmented EigenBackgroundの問題点
ブロックに分割することで
局所的な変化をうまく再現可能
前景領域の影響を大きく受ける →川西2012で対処
（時系列の推定）
前景領域がブロックの大部分を占めるため
12年10月21日日曜日

59. 様々な背景モデル化法
画素ごとの統計モデル
平均，最頻値
正規分布，混合分布
画像の低次元近似に基づくモデル
EigenBackground, Local PCA, Robust PCA
時系列の変化を表すモデル
Kalman Filterによる輝度推定
時系列のテクスチャ変化推定
29
12年10月21日日曜日

60. 時系列の変化を表すモデル
時刻
時系列に沿った画像が得られている
これを背景画像推定に使う
従来手法：画素ごとに日照変化に対処
カルマンフィルタによって輝度変化を予測
前景領域によるオクルージョンにロバスト
変化の連続性を仮定
屋外環境における明るさ可変背景とMSCを用いた移動物体検出, 信学論 vol. J90-D, no. 8, pp. 1987-1997, Aug. 2007.
12年10月21日日曜日

61. 時系列の変化を表すモデル
時刻
時系列に沿った画像が得られている
これを背景画像推定に使う
従来手法：画素ごとに日照変化に対処
カルマンフィルタによって輝度変化を予測
前景領域によるオクルージョンにロバスト
変化の連続性を仮定
→川西2012ではこの手法を拡張
（Segmented PCAと統合）
屋外環境における明るさ可変背景とMSCを用いた移動物体検出, 信学論 vol. J90-D, no. 8, pp. 1987-1997, Aug. 2007.
12年10月21日日曜日

62. Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱い
SegmentedEigenBackground
時系列での推定を入れることで頑健に
背景が変化
EigenBackground
時間
31
12年10月21日日曜日

63. Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱い
SegmentedEigenBackground
時系列での推定を入れることで頑健に
背景が変化
EigenBackground
時間
31
12年10月21日日曜日

64. Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱い
SegmentedEigenBackground
時系列での推定を入れることで頑健に
背景が変化
EigenBackground
時間
31
12年10月21日日曜日

65. Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱い
SegmentedEigenBackground
時系列での推定を入れることで頑健に
背景が変化
EigenBackground
時間
31
12年10月21日日曜日

66. Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱い
SegmentedEigenBackground
時系列での推定を入れることで頑健に
背景が変化
EigenBackground
時間
31
12年10月21日日曜日

67. Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱い
SegmentedEigenBackground
時系列での推定を入れることで頑健に
背景が変化
EigenBackground
時間
31
12年10月21日日曜日

68. Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱い
SegmentedEigenBackground
時系列での推定を入れることで頑健に
背景のパラメータがどのよう 背景が変化
に変化するのかを学習
EigenBackground
時間
31
12年10月21日日曜日

69. Segmented Eigenbackgroundの時系列推定(川西2012)
前景領域のオクルージョンに弱い
SegmentedEigenBackground
時系列での推定を入れることで頑健に
背景のパラメータがどのよう 背景が変化
に変化するのかを学習
？
次にどう変化する
のかを予測
EigenBackground
時間
31
12年10月21日日曜日

70. 実験結果
入力画像 比較手法A：EigenBackground
比較手法B：
Segmented EigenBackground 提案手法
12年10月21日日曜日

71. 実験結果
入力画像 比較手法A：EigenBackground
比較手法B：
Segmented EigenBackground 提案手法
12年10月21日日曜日

72. 実験結果
入力画像 比較手法A：EigenBackground
比較手法B：
Segmented EigenBackground 提案手法
12年10月21日日曜日

73. 実験結果
入力画像 比較手法A：EigenBackground
比較手法B：
提案手法
Segmented EigenBackground
12年10月21日日曜日

74. 実験結果
入力画像 比較手法A：EigenBackground
比較手法B：
提案手法
Segmented EigenBackground
12年10月21日日曜日

75. 実験結果
入力画像 比較手法A：EigenBackground
比較手法B：
提案手法
Segmented EigenBackground
12年10月21日日曜日

76. まとめ
背景画像推定と背景差分
背景差分：背景らしさを推定→閾値処理
背景画像推定：画素値を推定
背景画像推定手法
統計量の計算
部分空間の利用
時系列推定
34
12年10月21日日曜日