Instance-sensitive Fully Convolutional Networks http://arxiv.org/abs/1603.08678

1. 論文輪読:
Instance-sensi,ve Fully
Convolu,onal Networks
Jifeng Dai , Kaiming He , Yi Li , Shaoqing Ren , Jian Sun
hFp://arxiv.org/abs/1603.08678

2. この論文について
• What
– FCNを用いたInstance proposal手法の提案
– おそらくFCNによるinstance proposalは初
• How
– Instance-sensi,ve score map with FCN
• Contribu,on
– Fast & Accurate proposals
• Experiment
– PASCAL VOC 2012 & MS COCO segmenta,on
– state of the art results

3. MS COCO val (赤線+白で塗りつぶしされている領域はmissed ground truth)

4. 書誌情報
• Title: Instance-sensi,ve Fully Convolu,onal Networks
• Author: Jifeng Dai , Kaiming He , Yi Li , Shaoqing Ren ,
Jian Sun
– MSRA, 清華大学, 中国科学技術大学
• hFp://arxiv.org/abs/1603.08678 (29 Mar 2016, Technical Report)

5. 書誌情報
• 著者の最近の研究
今回紹介する手法は
Proposalに関しては
これより概ね性能が良い

6. (余談) CVPR’16 面白そうなの
• CNN-RNN: A Unified Framework for Mul,-label Image Classifica,on
– hFps://arxiv.org/abs/1604.04573
• Mul,-Oriented Text Detec,on with Fully Convolu,onal Networks
– hFps://arxiv.org/abs/1604.04018
• ProNet: Learning to Propose Object-specific Boxes for Cascaded Neural
Networks
– hFps://arxiv.org/abs/1511.03776
FCN
利用

7. Classifica,on Detec,on
Seman,c
Segmenta,on
Instance
Object
Proposals
AlexNet
VGG
GoogLeNet
2012
2013
2014
2015
2016
OverFeat
R-CNN
Fast R-CNN
Faster R-CNN
FCN
FCN+CRF
(DeepLab etc..)
DeepMask
CaffeNet
Residual
(BatchNormaliza,on)
Object
Proposals
(Selec,ve Search)
2011
(BING)
(GOP)
(MCG) (MCG)
(EdgeBoxes)
(RIGOR)
(DPM)
InstanceFCN
[今回紹介する手法]
※独断と偏見で作成（適当）
空白 ≠ 研究がない

8. Classifica,on vs Detec,on
• Detec,on = What + Where
Classifica,on Detec,on
Person
Motorbike
Person
Motorbike

9. Seman,c Segmenta,on vs
Instance Segment Proposals
• Seman,c Segmenta,on = Pixel-wise labeling
• Instance Segmenta,on = インスタンスを区別する
• Instance Segment Proposals : 物体領域候補を抽出
– 各領域が何であるかを識別するのは別の問題
– 基本的にRecallの方が重要
Original Seman,c Segmenta,on Instance Segmenta,on

10. Fully Convolu,onal Networks (FCN)
• No fully connect layer
• Last layer: per-pixel sommax
• Seman,c Segmenta,onでは本質的に重なる同一物体を区別
できない

11. FCNの応用
• Seman,c Segmenta,on
• Contour Detec,on
• Denoising
• Image Super Resolu,on
• Image Enhancement
• Region Proposal Network (RPN)
– Faster R-CNN
基本的にはピクセルごとの分類問題に適用できる

12. DeepMask (NIPS 2015)
• Facebook AI Research
• CNNに入力した画像の中心のピクセルが属している
物体部分のマスクだけ出力するように学習

13. 提案手法: InstanceFCN
• FCNをinstance segmenta,onするように拡張

14. from FCN to InstanceFCN
• インスタンスが1つ => FCNでOK
• インスタンスが2つ以上の場合:
– 左のインスタンスから見ると，右のインスタンスが区別で
きれば良い

15. InstanceFCN
• FCNの出力として各ピクセルは相対位置にあるインスタンス
に自分自身も含まれるかどうかを出力する
– 出力マップ数はk^2
• 最終的出力: m × m のスライディングウィンドウに対してm/k × m/k のサブ
ウィンドウごとに出力マップをコピー

16. DeepMaskとの比較
DeepMaskはm^2の層から
マスクを生成する
InstanceFCNの場合
全結合層がなく
FCNからマスクを生成する

17. InstanceFCNの利点
• 各ピクセルでのスコアは再利用できる

18. ネットワーク構造の詳細
- VGG16ベース
- 2つの分岐
- セグメンテーション
- インスタンススコア
- インスタンススコアを計算したのち，ウィン
ドウごとにassemblingをおこなう

19. 訓練 / テスト 方法
• 訓練時:
スライディングウィンドウを適当に動かして，各スラ
イディングウィンドウごとに評価
– 損失関数
– SGDで訓練
• テスト時:
端から端までスライディングウィンドウを動かして，
各評価を合計する
– 1枚あたり約1.5s
- pi* = 1 (posi,ve sampleの場合)
- Si* : ground truth segment instance
- L: logis,c regression

20. 実験: 定性的結果 k=3

21. 実験: DeepMaskとの比較
• DeepMaskよりも良い精度が得られている
– AR@N: Average Recall, Nはproposalの数
– ~DeepMaskは著者らによる実装
– crop 224x224というのは訓練時の画像サイズをDeepMask
と同じにしたもの
PASCAL VOC 2012 val
kを変えた場合:
k=5

22. 実験: 他のInstance Segment Proposals手法との比較
PASCAL VOC 2012 val
MNCも同一著者
によるもの (CVPR’16)

23. 実験: 他のInstance Segment Proposals手法との比較
MS COCOC val

24. 実験: Seman,c Instance Segmenta,on
• proposal部分にInstanceFCNを使用
PASCAL VOC 2012 val

25. Result
DeepMaskとの比較