3DFeat-Net
•
3 recomendaciones•2,316 vistas
2018/10/20コンピュータビジョン勉強会＠関東「ECCV読み会2018」発表資料 Yew, Z. J., & Lee, G. H. (2018). 3DFeat-Net: Weakly Supervised Local 3D Features for Point Cloud Registration. European Conference on Computer Vision.
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a 3DFeat-Net
Similar a 3DFeat-Net (20)
Más de Takuya Minagawa
Más de Takuya Minagawa (17)
Último
Último (8)
3DFeat-Net
- 2. 自己紹介 2 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 「コンピュータビジョン勉強会＠関東」主催 博士（工学） 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp
- 3. 紹介する論文 6 Yew, Z. J., & Lee, G. H. (2018). 3DFeat-Net:Weakly Supervised Local 3D Features for Point Cloud Registration. European Conference on ComputerVision. 点群の位置合わせ(Registration)を行うためのキーポイント検 出器（Detector）および特徴量（Descriptor）を学習 画像のマッチングだと天候や時間変化に弱いが、点群のマッチングだと同じ ロケーションでロバスト
- 4. 関連研究：Hand-Crafted 3D Features 7 人手で設計された3D特徴量 ISS、PFH、FPFH、spin image、shape contextなど A. Johnson, “Spin-images: a representation for 3-D surface matching”, Ph.D. Dissertation, The Robotics Institute, Carnegie Mellon University, August 1997 Spin Images
- 5. 関連研究：Learned 2D Features 8 Deep Learningにより2D特徴量を学習 LIFT、TILDE、DELFなど Noh, H., Araujo, A., Sim, J., Weyand, T., & Han, B. (2017). Large-Scale Image Retrieval with Attentive Deep Local Features. Proceedings of the IEEE International Conference on ComputerVision DELF
- 6. 関連研究：Learned 3D Features 9 Deep Learningにより3D特徴量を学習 3DMatch、PPFNetなど Deng, H., Birdal,T., & Ilic, S. (2018). PPFNet: Global Context Aware Local Features for Robust 3D Point Matching. Conference on Computer Vision and Pattern Recognition. PPFNet
- 7. Contribution 10 従来のDeep Learningによる3D特徴量は、キーポイントと は独立に学習 キーポイント検出器（Detector）＆特徴量(Descriptor)を GPS/INSでタグ付けされた、精度の高くない学習データを 用いてWeakly Supervisedに学習 Attention Layerを導入することで、3D Pointの顕著さを学 習 トレーニングとベンチマークのデータセットをOxford RobotCar datasetから作成
- 8. 3D Feat-Net 11 Triplet Lossを用いて、特徴量を学習 学習データとして、大きな点群から半径Rで切り取った点 群を、以下の３パターン用意 Anchor点群 Positive点群（Anchorとの中心距離が𝜏 𝑝より小さい） Negative点群（Anchorとの中心距離が𝜏 𝑛より大きい） 入力点群の姿勢は既知（GPS/INSなどで） 精度は多少悪くても可 コード（学習はまだアップされておらず） https://github.com/yewzijian/3DFeatNet
- 18. 3D Feat-Netの学習 21 𝐷 𝑚,𝑛 = 𝐶 𝑖∈𝑪(𝑚) 𝑤𝑖′ ⋅ min 𝐶 𝑗∈𝑪(𝑛) 𝑓𝑖 − 𝑓𝑗 2
- 19. 3D Feat-Netの学習 22 Triplet Lossで学習 𝐿 𝑡𝑟𝑖𝑝𝑙𝑒𝑡 = 𝐷 𝑎𝑛𝑐,𝑝𝑜𝑠 − 𝐷 𝑎𝑛𝑐,𝑛𝑒𝑔 + 𝛾 +
- 20. 3D Feat-Netの推論 23 1. 入力点群の各点を中心としたパッチを作成し、 DetectorでAttentionWeightを算出 2. Non-Maximal Suppressionで、ピークを検出 3. 相対的に低いAttentionの点を除去 4. 残った点群からDescriptorを算出
- 21. 実験：Descriptor Matching 24 MatchingとNon-matchingの点群クラスタを30,000ペア用意し、 マッチングを判定 Recall rateが95%の時のFalse Positiveと特徴量の次元を調査 以後の実験では、３２次元を使用
- 22. 実験： Keypoint Detection and Feature Description Oxford Robotcar Datasetで２つの点群（異なる時刻に取得）のそれ ぞれからKeypointおよびDescriptorを算出し、最も類似した特徴量 の点の位置がGround Truthからどれだけ離れているかで閾値処理
- 23. 実験：Analysis of Keypoint Detection 26 AttentionWeightの可視化 地面に近い壁側に強いAttention 車や地面には弱いAttention Attention 本手法のKeypoint （赤） ISSのKeypoint （赤）
- 24. 実験：Geometric Registration 27 Keypoint+Descriptor検出→Descriptor最近傍探索 →RANSACで位置合わせ（ICPは行わない） 2つの点群の位置のずれ（RTE）と角度のずれ(RRE)を評価 RTEが2m、RREが5度以内のずれならばSuccessとみなす Oxford Robotcarの結果
- 25. 実験：Geometric Registration 28 Keypoint+Descriptor検出→Descriptor最近傍探索 →RANSACで位置合わせ（ICPは行わない） 2つの点群の位置のずれ（RTE）と角度のずれ(RRE)を評価 RTEが2m、RREが5度以内のずれならばSuccessとみなす KITTI Odometryの結果
- 26. 実験：Geometric Registration 29 Keypoint+Descriptor検出→Descriptor最近傍探索 →RANSACで位置合わせ（ICPは行わない） 2つの点群の位置のずれ（RTE）と角度のずれ(RRE)を評価 RTEが2m、RREが5度以内のずれならばSuccessとみなす ETH Datasetの結果
- 28. まとめ 31 三次元点群用同士のレジストレーションに用いるキーポ イント検出器と特徴量を弱教師あり学習により求める手 法 Triplet lossにより特徴量の類似度とキーポイントの顕著 さを同時に学習 従来のHandcraftedな特徴量や学習ベースの特徴量と比 べても十分な性能 課題 回転不変性 全体的にnoisyな点群に弱い PointNetは扱える点群数に限り
- 29. 32 付録
- 30. PointNet 33 Qi, C. R., Su, H., Mo, K., & Guibas, L. J. (2017). PointNet : Deep Learning on Point Sets for 3D Classification and Segmentation Big Data + Deep Representation Learning. IEEE Conference on ComputerVision and Pattern Recognition (CVPR). 各点群の点を独立に畳み込む Global Max Poolingで点群全体の特徴量を取得 各点を個別 に畳み込み アフィン変換 各点の特徴を統合
- 31. PointNet++ 34 Qi, C. R.,Yi, L., Su, H., & Guibas, L. J. (2017). PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space. Conference on Neural Information Processing Systems (NIPS). PointNetを階層的に適用 点群をクラスタ分割→PointNet→クラスタ内で統合を繰り返す