DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion(https://arxiv.org/abs/1901.04780)を読んだ際のメモです

2. Abstract
• RGB-D画像から6D物体姿勢推定を⾏う際に重要なのがRGB値と
Depthの種類の違うデータソースを⼗分に活⽤することである
• 本論⽂の⼿法では、まずRGBとDepthを別々に処理しそれぞれを
ピクセル単位でマッチさせて特徴量を⽣成しポーズを推定する
• また、推論結果をさらに改善するための反復精密化⼿順を提案する
• YCB-VideoとLineMODにおいてSOTA

3. この論⽂は何がしたいか
• RGB-D画像から6D物体姿勢推定の⼿法提案
• 姿勢改良アルゴリズムも提案

4. 提案⼿法(1/5)
• まずRGB情報とDepth情報を組み合わせた特徴量を作成する

5. 提案⼿法(2/5)
⼿順としては以下の通り
1. RGB画像に対してセマンティックセグメンテーションしてクロップ
2. RGBでセグメンテーションされた領域と対応するDepth画像領域のpoint
cloudを取得
3. クロップしたRGB画像(𝐻×𝑊×3)を⼊⼒として𝐻×𝑊×𝑑'()の外観情報を出
⼒とするEncoder-Decoderネットワークを学習
4. point cloudからPointNetを使って𝑑(*+次元の外観情報の特徴を抽出
5. カメラのパラメータを⽤いてdepth情報をRGB上に投影しconcat

6. 提案⼿法(3/5)
• 得られた特徴量を⽤いて6Dposeを推定する

7. 提案⼿法(4/5)
• 姿勢推定のためのloss関数は
𝐿-
.
=
1
𝑀
2
3
min
7898:
𝑅𝑥3 + 𝑡 − ( @𝑅- 𝑥3 + ̂𝑡-)
推測の点とオブジェクトの対応する最も近い点との間の距離を
最⼩化する
また、ピクセルあたりの予測間のバランスを取るために𝐿-
.
をピク
セルの信頼度で重み付けを⾏う
𝐿 =
1
𝑁
2
-
(𝐿-
.
𝑐- − 𝑤 log(𝑐-))

8. 提案⼿法(5/5)
ニューラルネットを⽤いたICP (Iterative Closest Point)で姿勢
改良
推定された結果と⼊⼒された点群を⽐較し近づける

9. 結果(1/3)
YCB-Video Datasetでの推定⽐較

10. 結果(2/3)
LineMOD DatasetでICPを⾏なった結果

11. 結果(3/3)
ロボット(HSR?)に推定した姿勢を⽤いて物体把持をさせた
• ランダムに配置された5つのオブジェクトそれぞれ12回試⾏
• 計60回のうち73%成功
• 最も失敗したのはバナナ
• ⽤意したバナナとデータセットに含まれるバナナは違うため︖
• データセットと異なる背景・RGB-Dセンサでも成功率が⾼いこと
から提案⼿法はロバストかつ堅牢である

12. まとめ
• 既知の物体に関してRGBとDepth情報をうまく融合させてより
⾼精度かつロバストな姿勢推定ができるようになった
• 隠れた物体に関しても精度よく検出できている
• 現実世界にドメイン適応なしで使えるくらい堅牢なシステムを
作成することができた
• 他のRGB-Dを⽤いたタスクでも使えそう