More Related Content Similar to 統計的学習手法による物体検出の高精度化と効率化 -人検出の実用化に向けて- (17) More from Hironobu Fujiyoshi (6) 統計的学習手法による物体検出の高精度化と効率化 -人検出の実用化に向けて-5. 特徴量間の共起を捉える特徴量の生成
• どのように特徴量間の共起を表現するか?
– Joint Haar-like [Mita et al., PAMI 08]
– 共起確率特徴 [山内, 山下, 藤吉 MIRU 08]
• どのように特徴量間の関連性を捉えるか?
– Shapelet [G.Mori CVPR 07]
– Joint-HOG [三井, 山内, 藤吉 SSII 08]
顔 人 顔/人/車
Joint Haar-like Shapelet Joint HOG
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
6. Joint-HOG特徴による人検出 [三井, 山内, 藤吉 SSII 08]
• 異なる二つの領域のHOG特徴量をAdaBoostにより組み合わせる
AdaBoost
弱識別器h 重みα
h1( , ) α1
+ 判定結果
h2( , ) α2 人: H (x) > λ
+
非人: otherwise
・
・
・
未知入力パターン HOG特徴量 x +
hT( , ) αT
H (x) = Σ ht(x)・αt
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
7. 2段階AdaBoostによるJoint-HOG特徴の自動生成
セルの 1段階目のAdaBoostで
全組み合わせ 生成した特徴量
H1,2(C1, C2)
C1とC2のHOG 最終識別器
C1:
C1[v1, v2, ...v9] AdaBoost ・・・
C2[v1, v2, ...v9] C2: 弱識別器h
・ ・
・ ・ h1( , )
AdaBoost
・ ・
H7,11(C7, C11)
C7とC11のHOG h2( , )
C7:
C7[v1, v2, ...v9] AdaBoost ・・・
C11[v1, v2, ...v9] C11: ・
・ ・ ・
・ ・ ・
・ ・
Hi,j(Ci, Cj)
CiとCjのHOG
Ci:
hT( , )
Cj[v1, v2, ...v9] AdaBoost ・・・
Cj[v1, v2, ...v9] Cj:
Low-level: Mid-level:
HOG特徴POOL Joint HOG特徴POOL
→ 局所領域間での勾配方向の対称性、連続性を自動的に捉える
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
8. や上半身から下半身
2段階AdaBoostによる最終識別器
形状
• 最終識別器による判定
向のエッジ特徴を 図 2 Joint 特徴量による 2 段階 Real AdaBoost.
t 特徴量 [5] が提案
st の弱識別器が複
り,共起性を表現す 多重解像度の HOG 特徴量も利用できる [9].次に,2 つの 化結果
ている.両手法は, セル {m,n} の HOG 特徴量から共起確率特徴量を生成す により
ングにより組み合 る.その際に,共起確率特徴量は HOG 特徴量の全ての組 徴量を
図 4
2段階目のAdaBoostの出力: Joint 特徴量による物体検出例.
ることができ,高精 み合わせに対して求め,Real AdaBoost により最も良い組 で表現
み合わせを弱識別器として自動的に選択する.この処理を 弱識別
H 2nd (v) = h2nd Ht (v, {m, n})
1st
(2)
いて図 1(b) に示す T 回繰り返し,1 段階目の Real AdaBoost により次式で表 を表す
{m,n}∈F
動的に捉える Joint される 2 つのセル {m,n} の Joint 特徴量である強識別器
T 図5
.本章では,1段階目のAdaBoostの出力: を学習する. ht (v, {m, n})
H 1st (v, {m, n})
= h2nd (3)
1st
Joint ても人
2 段階
t=1
ついて述べる.
{m,n}∈F
T
2 段階目の弱識別器 h2nd () は,2 つのセルの関係を捉えた
H 1st (v, {m, n}) = h1st (v, {m, n})
t (1) 効では
ング 1 段階目の H 1st () の出力となっていることから,異なるセ る.2
t=1
築の流れを図 2 に 上記の処理を全てのセルの組み合わせに対して行い,組
ルの low-level の特徴量から mid-level の特徴量を生成して 徴量は
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
9. 評価用データベース
• 人検出用画像データベース
- 学習用画像データ Positive : 2,053枚 Negative : 6,253枚
- 評価用画像データ Positive : 1,023枚 Negative : 1,233枚
• 車両検出用画像データベース
- 学習用画像データ Positive : 2,464枚 Negative : 2,415枚
- 評価用画像データ Positive : 1,899枚 Negative : 2,413枚
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
12. 自動生成されたJoint HOG特徴 (人検出)
• 人の輪郭に沿った勾配方向の特徴量を自動選択
‒ 識別に有効なmid-levelな特徴量を自動生成
最終識別器
全学習用サンプルの 1段目のAdaBoostにより 2段目のAdaBoostにより
平均勾配画像 選択されたHOG特徴 選択されたHOG特徴
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
13. 自動生成されたJoint HOG特徴(車両検出)
全学習用サンプルの 1段目のAdaBoostにより 2段目のAdaBoostにより
平均勾配画像 選択されたHOG特徴 選択されたHOG特徴
物体形状の対称性, 連続性, 異なる領域間の関係性を自動生成
1ラウンド 2ラウンド 3ラウンド 15ラウンド
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
14. 誤検出の解析
• 検出失敗例における各弱識別器の応答
2.0
1.0
弱識別器の応答
弱識別器の応答:
0
-1.0
入力画像
-2.0
1 10 20 30 40 50
弱識別器
ポジティブサンプルの分布
ネガティブサンプルの分布
ポジティブサンプルの頻度が高い ネガティブサンプルの分布が不自然
特徴量の限界 学習サンプルの分布を再構築
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
18. 検出対象をリコンフィグ可能な汎用物体検出ビジョンセンサ
[矢澤, 藤吉 SSII 11]
• 学習ソフトウェアとFPGAハードウェアの連動
– Joint-HOGによる物体検出
連携
検出対象:人 ソフトウェアAPI 物体検出ハードウェア
学習結果
ODEN-API ver.2
特徴量
による学習
パラメータ
学習データ
人検出を実現
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
19. 検出対象をリコンフィグ可能な汎用物体検出ビジョンセンサ
[矢澤, 藤吉 SSII 11]
• 学習ソフトウェアとFPGAハードウェアの連動
– Joint-HOGによる物体検出
連携
検出対象:車両 ソフトウェアAPI 物体検出ハードウェア
学習結果
ODEN-API ver.2
特徴量
による学習
パラメータ
学習データ
車両検出を実現
→汎用性の高い物体検出ハードウェアを実現
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
23. 学習サンプルの作成
10 hours later...
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
25. 学習サンプルの自動生成:生成型学習 [草富, 山内, 藤吉 SSII 11]
• 特定シーンを考慮した生成型学習
– 学習サンプルを自動生成
– ポジティブサンプル:三次元人体モデルより生成
– ネガティブサンプル:ランダムに切り出して生成
生成モデル
ポジティブサンプル
撮影した映像
各フレームからランダムに選択
ネガティブサンプル
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
26. ポジティブサンプルの生成
• 人体シルエットの生成モデル
カメラパラメータ
・カメラ位置
x = 0.0m
y = 6.2m
z = 0.0m
・カメラ角度
θ = 21.0
・・
人クラスの画像生成
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
28. MILBoostの導入 [Viola et al., NIPS 06]
• Multiple Instance LearningをBoostingに導入した学習アルゴリズム
- 誤って付与されたラベルを持つ学習サンプルの影響を抑制
ポジティブクラス
・・
Pos-‐Bag1 Pos-‐Bag2 Pos-‐Bag3 Pos-‐BagN
ネガティブクラス 改良型MILBoost
Neg-‐Bag1
Neg-‐BagM
Neg-‐Bag2
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
29. 実験:学習データセットの組み合わせ
ポジティブサンプル ネガティブサンプル
INRIA-Pos
実環境-Neg
INRIA-Pos(手動) 実環境-Neg(ランダム)
実環境-Pos
実環境-Neg
実環境-Pos(手動) 実環境-Neg(ランダム)
生成-Pos
INRIA-Neg
CG生成-Pos(自動) 実環境-Neg(ランダム)
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
30. 実験結果:学習サンプルの自動生成の効果
INRIA-Pos+実環境-Neg
実環境-Pos+実環境-Neg
CG生成-Pos+実環境-Neg
→CG生成によるポジティブサンプルは実環境の画像サンプルと同等以上
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
32. 誤サンプルの影響の評価
Real Adaboost
改良型 MILBoost
ポジティブサンプルの含有率 [%]
→ネガティブサンプル中に人画像が含まれていても、識別器の学習に及ぼす悪影響を低減
含有率0%時においても少数の外れ値の影響を除去
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
38. Feature Shift:特徴の転移
• 事前学習で選択された特徴量の目標シーンへの転移
1. 転移候補特徴の元データにおける確率密度関数と、目標データの周辺における確率密度関数
を作成
2. 確率密度関数間のBhattacharyya距離を算出し、最大のものを転移特徴とする
3. 事前学習で選択された全ての特徴について、1. 2.より転移特徴プールを作成
尤度
勾配強度 0.7
尤度 0.9 MAX
勾配強度 転移特徴
転移候補 0.6
尤度
勾配強度
尤度
元データ 目標データ Bhattacharyya距離
勾配強度
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
39. CovBoostの学習
学習ラウンド:1
CovBoost
弱識別器h 重みα
評価値
共変量 評価 ε
h1( ), α1
共変量 評価 ε
元データ
h2( ), α2
共変量 評価 ε MIN
・ ・
共変量 ・ ・
・ ・
評価 ε
hT( ), αT
目標データ
・ 転移特徴量pool
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
40. CovBoostの学習
学習ラウンド:2
CovBoost
弱識別器h 重みα
評価値
共変量 評価 ε MIN
h1( ), α1
共変量 評価 ε
元データ
h2( ), α2
共変量 評価 ε
・ ・
共変量 ・ ・
・ ・
評価 ε
hT( ), αT
目標データ
・ 転移特徴量pool
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
41. CovBoostの学習
学習ラウンド:T
CovBoost
弱識別器h 重みα
評価値
共変量 評価 ε
h1( ), α1
共変量 評価 ε MIN
元データ
h2( ), α2
共変量 評価 ε
・ ・
共変量 ・ ・
・ ・
評価 ε
hT( ), αT
目標データ
・ 転移特徴量pool
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
43. 実験:転移学習の効果
学習手法 学習サンプル数 ポジティブサンプル例
事前学習 AdaBoost 2014枚
INRIA Person Dataset(俯角0度)
再学習 AdaBoost 2014枚
CG生成-Pos(俯角20度)
転移学習 CovBoost 800枚
CG生成-Pos(俯角20度)
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
44. 実験結果:転移学習の効果
未検出率 [%]
事前学習(AdaBoost)
再学習 (AdaBoost)
転移学習(CovBoost)
誤検出率 [%]
学習時間の比較
再学習 :60分 →約1/10の時間で同等性能の識別器を構築
転移学習: 6分
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
46. 見えの変化が大きくなっても転移可能か?
未検出率 [%]
転移学習だけでは適応できない!新たな特徴を探索する必要あり!
目標ドメインの俯角:
50度
事前学習(AdaBoost)
40度
再学習 (AdaBoost)
30度
転移学習(CovBoost)
20度
誤検出率 [%]
元データ 目標データ
0度 20度 30度 40度 50度
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
47. ハイブリッド型転移学習
• 転移学習と全探索学習を切り替えながら識別器を構築
事前シーン 事前学習結果
強識別器
元データ
Ha
学習効率
Feature Shift 強識別器
Ht
ス h1( )
共変量
イ
h2( )
転移特徴pool ッ
目標データ
チ h3( )
共変量 ン ・
全探索 グ ht( )
特徴pool
特定シーン ハイブリッド型
転移学習結果
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
49. 実験結果:ハイブリッド型転移学習の効果
18 90
16 転移学習 80
再学習
14 ハイブリッド型転移学習 70
12 60
学習時間 [ 分 ]
50
EER[%]
10
8 40
未検出率 [%]
6 30
4 20
2 10
0 事前学習(AdaBoost) 0
20 30
再学習 (AdaBoost) 40 50
転移学習(CovBoost)
誤検出率 [%]
Equal Error Rate(EER):誤検出率と未検出率が同値になった際の値
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
51. 統計的学習手法による物体検出の高精度化と効率化
• 物体検出の高精度化
– 特徴量を自動生成する生成型学習
– Joint特徴量:識別に有効な特徴量を自動生成
→新しい生成型学習のアプローチ
• 物体検出の効率化
– 学習サンプルを自動生成する生成型学習
– 人体三次元モデルからの学習サンプルの自動生成
– MILBoostによる誤ラベルの影響を抑制
→特定シーンに特化した生成型学習による高精度化と効率化を実現
– ハイブリッド型転移学習
– 特徴の転移と全探索のハイブリッドによる学習の高速化
→現場環境へ適応するための時間的コストを1/4に削減
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
53. 今後の課題
• HOG(特徴抽出過程)の限界
– 能動学習によるオンラインチューニング
– Deep Learningの結果を用いた特徴量の再設計
DPM (state-of-the-art)による誤検出例
(Real-time Pedestrian Detection with Deformable Part Models, IV2012)
edestrian detections in testset. The first and second row shows correct pedestrian detections in Qualitative detection results on the Caltech t
results on the Caltech various scenarios. The third Fig. 6. various scenarios. The third
es. row shows typical false positives.
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
54. 参考文献
• [Mita et al., PAMI 08] T. Mita, T. Kaneko, B. Stenger, and O. Hori: "Discriminative Feature Co-
occurrence Selection for Object Detection", Pattern Analysis and Machine Intelligence, Vol.30, no.7,
pp.1257-1269(2008)
• [山内, 藤吉, 山下 MIRU 08] 山内悠嗣, 藤吉弘亘, 山下隆義: "Boostingに基づく共起表現による人検出", 画像
の認識・理解シンポジウム(MIRU), pp.180-187(2008)
• [G.Mori, CVPR 07] P. Sabzmeydani, and G. Mori: "Detecting Pedestrians by Learning Shapelet
Features",' Computer Vision and Pattern Recognition, pp.1-8(2007)
• [三井, 山内, 藤吉 SSII 08] 三井相和, 山内悠嗣, 藤吉弘亘: "Joint HOG特徴を用いた2段階AdaBoostによる人
検出", 画像センシングシンポジウム(SSII)(2008)
• [矢澤, 藤吉 SSII 11] 矢澤芳文, 吉見勤, 都筑輝泰, 土肥智美, 藤吉弘亘: "検出対象をリコンフィグ可能なJoint-
HOGによるFPGAハードウェア検出器", 画像センシングシンポジウム(SSII)(2011)
• [草富, 山内, 藤吉 SSII 11] 草富省吾, 山内悠嗣, 藤吉弘亘: "人検出のための学習サンプルの自動生成と
MILBoostを用いた人検出", 画像センシングシンポジウム(SSII)(2011)
• [Viola et al., NIPS 06] P. Viola, J. Platt, C. Zhang: "Multiple instance boosting for object detection",
Neural Information Processing Systems(2006)
• [Pang et al., IP 11] J. Pang, Q. Huang, S. Yan, S. Jiang, L. Qin: "Transferring Boosted Detectors
Towards Viewpoint and Scene Adaptiveness". Image Processing 20(5): pp.1388 -1400 (2011)
• [土屋, 藤吉 PRMU 13] 土屋成光, 山内悠嗣, 下隆義, 藤吉弘亘: "ハイブリッド型転移学習による物体検出にお
ける学習の効率化", 電子情報通信学会PRMU研究会技報(2013)
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘
55. お問い合わせ先
藤吉研究室 Fujiyoshi Laboratory
藤吉弘亘(Hironobu Fujiyoshi)
中部大学工学部情報工学科
E-Mail: hf@cs.cchubu.ac.jp
URL: http://www.vision.cs.chubu.ac.jp/
TEL:0568-51-9096
FAX:0568-51-1540
〒487-8501 愛知県春日井市松本町1200
統計的学習手法による物体認識の高精度化と効率化 / 中部大学工学部情報工学科 藤吉弘亘