Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (13)
Similar to ICCV2011 report
Similar to ICCV2011 report (20)
More from Hironobu Fujiyoshi
Recently uploaded
Recently uploaded (9)
ICCV2011 report
- 1. 独断と偏見に満ちたICCV2011報告 2011年12月17日 名古屋CV・PRML勉強会 藤吉弘亘 中部大学工学部情報工学科
- 3. 藤吉研究室の最新研究成果紹介 ゆかいな仲間を募集中です！
- 4. International Conference on Computer Vision • 日時：2011年11月6-13日 ‒ 6, 7日 チュートリアル、ワークショップ ‒ 8, 9, 10, 11日 メインカンファレンス ‒ 12, 13日 ワークショップ ‒ 場所：バルセロナ（スペイン） ワークショップ メインカンファレンス
- 6. ICCV Awards Azriel Rosenfeld Lifetime Achievement Award Prof. Thomas Huang Significant Researchers Award Prof. Richard Hartley Prof. Katsushi Ikeuchi Test-of-time award SIFT! David Lowe Object Recognition from Local Scale-Invariant Features, ICCV1999 Yuri Boykov, Olga Veksler, and Ramin Zabih GraphCuts! Fast Approximate Energy Minimization via Graph Cuts, ICCV1999 Vincent Caselles, Ron Kimmel, and Guillermo Sapiro Geodesic Active Contours, ICCV1995
- 7. Advice on writing a book from Prof. Richard Hartley
- 8. ICCV Awards Best Student Paper Haichao Zhang, Jianchao Yang, Yanning Zhang, Nasser M. Nasrabadi and Thomas S. Huang Close the Loop: Joint Blind Image Restoration and Recognition with Sparse Representation Prior David Marr Prize Devi Parikh and Kristen Grauman Relative Attributes Demo Award DTAM: dense tracking and mapping in real time (R.Newcombe, S.Lovegrove, A.Davison)
- 9. Orals & Psoters オーラルの会場 ポスターの会場
- 10. SIFT以降のアプローチ ICCV2011
- 11. バイナリコードの利点 • バイナリコードで特徴記述 ‒ SIFT：128次元 8bit (unsigned char) ‒ 数十∼数百個程度の0と1の列から成る短いバイナリコードで表現 • メリット ‒ 大幅な省メモリ化が可能 ‒ ハミング距離による高速な距離計算 010010000 XOR 010010101 000000101 ハミング距離: 2 →SSE拡張命令で高速に演算可能
- 12. 復習：BRIEF（ECCV2010） • アルゴリズム ‒ パッチをガウシアンフィルタにより平滑化 ‒ ランダムに選択されたペア(2点)の画素値の大小関係からバイナリ列 を生成 キーポイント パッチ
- 13. 復習：BRIEF（ECCV2010） • ペアの選び方 GI GⅡ GⅢ GⅣ GⅤ GI x, y : 一様分布 GII x, y : ガウシアン分布 G III x : ガウシアン分布, y : ガウシアン分布（xiが中心） GIV x, y : 同心円状のグリッドからランダムに選択 GV x : 中心点 y : 同心円状のグリッドからバイナリテストの数だけ選択 →評価実験よりGIIが一番良い精度
- 14. 直接的にバイナリ化：BRISK, ORB • ペアの選び方 BRISK ORB 規則的に配置 学習により決定 • キーポイント検出 ‒ 階層型のFASTコーナー検出器を利用→スケール ‒ パッチのオリエンテーションはそれぞれの工夫あり
- 15. 相当し，Q LPQ L1P}QQ が量子化レベルの変換に相当 M 間接的にバイナリ化：CARD （10）式は複雑に見えるが，qP2, 3Q と a がそれぞ りの値しか取りえないことに着目すると，図 10 に • 勾配情報からバイナリコードを生成 うに，M-M のテーブルで表現できることが分か ‒ LUTによる勾配特徴の高速計算 たがって，図 9，10 に示した 2 種類のテーブルを用 とで，高速に勾配特徴量を算出できるようになる． （b）バイナリコード化 特徴ベクトルをバイナリコードに変換するという ーチは，機械学習や web，大規模検索の分野で活 究されている．これまでの研究により，多くのバイ ‒ 特徴ベクトルのバイナリ変換を高速化 ード化手法は次の形で書けることが分かっている． b/sgn PfPW Td+cQQ d は D 次元の特徴ベクトル，b は長さ B ビットの 1. バイナリコードに変換前の距離(ベクトル間角度) と変換後の距離(ハミング距離) がなるべく一致するように W を最適化 リコード，c はオフセットベクトル，W は D 行 B 2. 各要素が,+1, 0, -1 のうちいずれかの値のみを取るという制約のもとでWを最適化 →和演算 換行列，fP}Q は任意の関数である（d の平均がゼロ
- 16. ソースコード＆アプリの公開 • BRISK：Binary Robust Invariant Scalable Keypoints ‒ http://www.asl.ethz.ch/people/lestefan/personal/BRISK • ORB：Oriented FAST and Rotated BRIEF ‒ OepnCV ver2.3 • CARD：Compact And Real-time Descriptors ‒ http://cvlab.jp/ ‒ iOSアプリ：CARDesc
- 17. 解説記事：局所勾配特徴抽出技術-SIFT以降のアプローチ- 画像技術の最前線 局所勾配特徴抽出技術* ―SIFT 以降のアプローチ― Gradient-based Image Local Features 藤吉弘亘 ** 安倍 満 *** Hironobu FUJIYOSHI and Mitsuru AMBAI Key words image local feature, SIFT, SURF, FAST, RIFF, BRIEF, BRISK, ORB, CARD トが高いという問題がある．この問題を解決する高速化の 1．は じ め に 手法として，2006 年に SURF 2) が提案された．SURF で 画像のスケール変化や回転に不変な特徴量を抽出する は，各処理において積分画像を利用した Box フィルタを 1) Scale Invariant Feature Transform（SIFT) は，特定物体 用いることで，SIFT と比較して約 10 倍の高速化を実現 認識だけではなく画像合成や画像分類など多くのアプリケ した．近年では，高性能な PC だけではなく携帯端末等の ーションに利用されている．SIFT の処理過程は，キーポ 小型デバイスでの利用を考慮し，キーポイント検出と特徴 イント検出と特徴量記述の二段階からなり，各処理は以下 量記述の各処理を高速化および省メモリ化した手法が提案 の流れとなる． されている．図 1 に，キーポイント検出と特徴量記述に ] 1．スケールとキーポイント検出 おける SIFT 以降の変遷を示す．キーポイント検出処理で キーポイント検出 2．キーポイントのローカライズ は，コーナーに特化することで高速かつ省メモリを実現し た FAST 3)が提案された．FAST は，後述の特徴量記述手 ] 3．オリエンテーションの算出 特徴量記述 4．特徴量の記述 法と組み合わせて使用される．特徴量記述の処理において キーポイント検出処理では，Difference-of-Gaussian は，SIFT や SURF と同様に勾配特徴量に基づく RIFF 4) （DoG）処理によりキーポイントのスケールと位置を検出 が 2010 年に提案された．SIFT では 128 次元，SURF で する．特徴量記述では，スケール内の勾配情報からオリエ は 64 次元，RIFF では 100 次元のベクトルが抽出される． ンテーションを求め，キーポイント周辺領域（パッチ）を 高次元のベクトル特徴量は，高い識別能力をもつ反面，メ オリエンテーション方向に回転させて特徴量を記述するこ モリ消費量が多く，2010 年以降ではベクトル特徴量の代 とで，回転に対して不変な特徴量を抽出する．SIFT で わりにバイナリコードで特徴量を記述する手法が提案され は，キーポイント検出処理における DoG 画像の生成や， ている．パッチからバイナリコードを直接生成する手法と 特徴量記述処理における勾配ヒストグラム算出の計算コス して BRIEF 5)，BRISK 6)，ORB 7)が，間接的にバイナリコ ードを生成する手法として CARD 8)が提案された．このよ * うに，SIFT と SURF 以降では，キーポイント検出および 原稿受付 平成 23 年 10 月 3 日 ** 中部大学工学部情報工学科（愛知県春日井市松 特徴量記述において，高速化と省メモリ化を同時に実現す 本町 1200） *** (株)デンソーアイティーラボラトリ（東京都渋 る手法が展開されている． 谷区二丁目 15 番 1 号渋谷クロスタワー 25 階） 本稿では，SIFT や SURF 以降のアプローチが，キーポ 藤吉弘亘 1997 年中部大学大学院博士後期課程修了．博士 イント検出と特徴量記述の各処理おいて，どのように展開 （工学） ．1997∼2000 年米カーネギーメロン大学 されてきたかを各手法のアルゴリズムとともに解説する． ロボット工学研究所 Postdoctoral Fellow．2000 年 中 部 大 学 講 師，2004 年 同 大 准 教 授 を 経 て 2010 年 よ り 同 大 教 授． 2005∼2006 年米カーネギーメロン大学ロボット工学研究所客員研究員． 2．キーポイント検出 2010 年計算機視覚，動画像処理，パターン認識・理解の研究に従事．2005 年度ロボカップ研究賞．2009 年度情報処理学会論文誌コンピュータビジョ SIFT では，複数の DoG 画像からキーポイントを検出 ンとイメージメディア優秀論文賞．2009 年度山下記念研究賞．情報処理学 するのと同時に，キーポイントを中心とした特徴量記述を 会，電子情報通信学会，電気学会，IEEE 各会員． 安倍 満 行う範囲を表すスケールも検出する．DoG 画像の作成は 2007 年慶應義塾大学大学院博士後期課程修了．博士（工学） ．2007 年株式 計算コストが高い上，複数の DoG 画像を保持するための 会社デンソーアイティーラボラトリシニアエンジニア．2011 年画像センシ ングシンポジウム（SSII）オーディエンス賞．2011 年画像の認識・理解シ メモリを要するという問題点がある．キーポイント検出の ンポジウム（MIRU）インタラクティブセッション賞．パターン認識・理 高速化として，SURF では積分画像を利用した Box フィ 解，コンピュータビジョンの研究に従事．電子情報通信学会，IEEE 各 会員． ルタを用い高速化を実現した．Edward らが提案した 藤吉, 安倍： 局所勾配特徴抽出 -SIFT以降のアプローチ- 精密工学会誌 Vol.77, No.12, 2011 1109 精密工学会誌 2011年12月 77巻12号 pp.1109-1116
- 18. 参加したチュートリアル1：PCL • Point Cloud Library（PCL) PCL : Point Cloud Library PCL is: I a large scale, open project1 for 3D point cloud processing I ...split into a collection of smaller, modular C++ libraries: filters features keypoints registration kdtree octree segmentation sample_consensus surface range_image io visualization 1 source code is BSD licensed, management process is completely open ‒ http://pointclouds.org/media/iccv2011.html
- 19. 参加したチュートリアル2：Decision Forests • Decision Forests ‒ Classification, Regression, Density Estimation, Manifold Learning and Semi-Supervised Learning ‒ http://research.microsoft.com/en-us/groups/vision/decisionforests.aspx
- 20. 参加したワークショップ：CDC4CV • 1st IEEE Workshop on Consumer Depth Cameras for Computer Vision ‒ Invited talk ‒ Jamie Shotton, Microsoft Research, UK 「Kinect: Classification, Regression, and Beyond」 ‒ Gary Bradski, Willow Garage, US 「Tools for 2D+3D Robot Object Recognition」 ‒ 第１回目のWorkshopなのに32%の採択率
- 21. 参加したワークショップ：CDC4CV • Kinect: Classification, Regression, and Beyond 1. Decision ForestsによるKINECTの姿勢推定 [CVPR2011] 2. Regression Forestsによる姿勢推定の高精度化 [ICCV2011] 3. KNECT Fusion 三次元情報の獲得 [SIGGRAPH2011] [ICCV2011]
- 22. 最後に • トップカンファレンスはメインカンファレンスだけでなく、チュートリアル やワークショップも面白い • 研究のスピード BREIFはECCV2010、それを受けたORBやBRISKがICCV2011で発表 発表された研究は既に古い！？