Más contenido relacionado
La actualidad más candente (20)
Similar a Feature Erasing and Diffusion Network for Occluded Person Re-Identification (20)
Feature Erasing and Diffusion Network for Occluded Person Re-Identification
- 1. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Feature Erasing and Diffusion
Network for Occluded Person
Re-Identification
北海道大学 大学院情報科学研究院
情報理工学部門 複合情報工学分野 調和系工学研究室
西浦 翼
- 2. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
論文情報 2
著者
・Zhikand Wang, Feng Zhu, Shixiang Tang 他
発表
・CVPR2022
概要
・オクルージョン消去モジュール(OEM)と特徴拡散モジュール(FDM)を導入
したReIDモデル、FEDを提案
・Re-IDのベンチマークでSoTAを達成
リンク
・論文 :https://arxiv.org/abs/2112.08740
・git:https://github.com/ZacharyWang-007/FED-Occluded-ReID
- 3. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
3
研究背景
• Person ReID (Re-Identification)
– 異なるカメラ、視点、明るさ、場所で撮影された
人物画像から同一人物の判定をするタスク
– この分野のデータセット・モデルは基本的に、全
身画像が対象
– 実環境ではオクルージョンが発生
ex)駅、学校、病院、ショッピングモールなど
• ReID分野の大きな課題
– NPO (Non-Pedestrian Occlusions)
障害物とのオクルージョンのこと
– NTP (Non-Target Pedestrians)
注目したい人物以外の人物
- 4. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
4
研究背景
• ReIDの最先端手法
– Human key points
人物の特徴的なポイントに注目
– Human parsing information
人間の概形の情報を使用
– 身体情報 → 特徴抽出 という流れでNPOを回避
• 最先端手法の課題
1. NTPに弱い(NTPの特徴がノイズとして混入)
2. Human parsingは荷物を認識できない
3. 計算量が多く、リアルタイムに不向き
- 5. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
5
研究背景
• NPOには強いがNTPに弱い
– Pose estimation:HRNet (2019)
– Human parsing:PSPNet (2017)
- 6. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
6
概要
• FED (Feature Erasing and Diffusion network)を提案
– OEM ( Occlusion Erasing Module)
– FDM (Feature Diffusion Module)
– NPOとNTPに強い
• 有効性を検証
– Occluded Datasets 3種類
– Holistic Datasets 2種類
– 特にOccluded DatasetsでRank-1、mAPがSoTA
- 7. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
7
提案モデル FED
NPO
Augmentation
Strategy
Occlusion
Erasing
Module
Feature
Diffusion
Module
• 特徴抽出にはViTを使用
• 2つのブランチでパラメータは共有
• FDMは補助モジュールで推論には使わない
- 8. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
8
NPO Augmentation Strategy
• 従来手法
1. ランダムな矩形をランダムな値で置換
過学習に強い、オクルージョンにロバスト
汎化性能が低い、何とのオクルージョンかわからない
2. 選択した物体や背景を貼り付け
オクルージョンのシミュレーションでロバスト
オクルージョンの領域がわからない
• 提案手法
– オクルージョンの補強
– マスク生成
- 9. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
9
NPO Augmentation Strategy
• オクルージョンの補強
– 経験的に、オクルージョンの発生個所は4か所(上下左右)
– 経験的に、面積は1/4~1/2
– 手動でオブジェクト・背景を切り出してパッチセット作成
– 入力画像にリサイズ・パディング・ランダムクロップ
– ランダムクロップ・リサイズしたパッチを画像に貼り付け
• マスク生成
– オクルージョンは垂直方向と水平方向の2種
– ReIDモデルにとって垂直方向の判別は容易
– 人物矩形を上から4分割
– 水平方向にマスクを適用
- 10. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
10
Occlusion Erasing Module
• OEMは4つのサブモジュールから構成
• FC層、normalization、FC層、シグモイド層
• 第1FC層で次元を1/4にして意味的情報を抽出
• シグモイド層でオクルージョンスコア si を計算
• オクルージョンスコアと特徴量の積を計算
• OEMの学習を監視するため、マスクとMSEを計算
- 11. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
11
Feature Diffusion Module
• NTP対策で複数人画像をシミュレーションしたい
• 画像特徴量の集合、メモリバンクを使用
• 入力特徴量とメモリバンク内の類似別人で cross attention
• FFN(feed forward network)は2つのFCと活性化関数
• 特徴レベルでTPに類似したNTPを生成
• 学習時のみ使用、推論では使用しない
- 12. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
12
損失関数
• ID Loss:クロスエントロピー
• Contrastive Loss:クロスエントロピー
• Final Loss
- 13. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
13
実験
• データセット
– Occluded-DukeMTMC
702人15,629枚の学習、1,629人19,871枚の評価、最難関
– Occluded-REID
200人が各5枚の全身、5枚のオクルージョンで計2,000枚
– Partial-REID
60人600枚で全身、オクルージョン、一部のみなど
– Market-1501
– DukeMTMC-reID
- 14. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
14
実験
• オクルージョンデータセットでの評価
他を圧倒
NPO augmentationに関して
*なしはO-Dukeのみ、
*ありはMSMT17からも
パッチを作成
- 15. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
15
実験
• 全身データセットでの評価
SoTAならず
- 16. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
16
アブレーションスタディ
1. Baseline + RE
2. Baseline + NPO Aug
3. Baseline + NPO Aug + OEM
4. Baseline + NPO Aug + FDM
5. FED
順調に精度上がって、当然全部盛りが1番いい
- 17. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
17
アブレーションスタディ
• 定性評価
OEMがNPOを特定している
NTPには特に効果なし
- 18. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
18
アブレーションスタディ
• Trans ReIDと比較
• 上2段がNPO、下2段がNTP
• 緑が正解、赤が不正解
• 圧倒的に良い
- 19. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved.
19
結論
• NPOとNTPに対応したReIDモデルFEDを提案
• OEM(occlusion erasing module)でNPOを改善
• FDM(feature diffusion module)でNTPを改善
• 既存のデータセットで評価を行い、オクルー
ジョンを含むデータセットではSoTAを達成