Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Learning.pptx

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
DLゼミ
2022/08/29
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
修士2年右田幹
Fine-Grained Fashion Similarity Prediction by
Attribute-Specific Embedding Learning

論文情報 2
• タイトル
– Fine-Grained Fashion Similarity Prediction by Attribute-Specific Embedding Learning
• 著者
– Jianfeng Dong, Zhe Ma, Xiaofeng Mao, Xun Yang, Yuan He, Richang Hong, Shouling
Ji
• 出典及び出典日
– IEEE Transactions on Image Processing , 2021 03
• 論文URL
– https://arxiv.org/pdf/2104.02429.pdf
• GitHub
– https://github.com/maryeon/asenpp

概要 3
・ファッションアイテムのきめ細かい部分の類似性を識別する研究
・属性のembeddingを学習するASEN(Attribute-Specific Embedding
Network)を提案
・ ASEN はGrobal branch（画像全体を入力値）とLocal branch（属性
に関連する部分のみを入力値）から成る
・上記２つは、補完関係にある
・3種類のデータセットを用いて、有効性を確認
・実験の結果、ASENで類似度予測の有効性が確認できた

背景 4
ファッションのアイテム間の類似度予測は、重要なタスク
⁃ 例. ショップの服検索、服の適合度確認、互いの服が似ているか
これまでの手法：コサイン類似度
⁃ 似ているアイテムは特徴量の距離が近いことを前提とする
⁃ 全体の類似度を測ることは可能
全体的に似ていないものの、細かい部分（属性）で似ている部分を見つけるのが
困難（右下の図）
画像の中にある、属性のembeddingを学習する
ASEN(Attribute-Specific Embedding Network)を提案
・盗作アイテムは、一部分を真似しているが多く、こ
れの発見に貢献できる
応用例

関連研究 5
・vietら
⁃ 全体の特徴量を学習し、属性に応じてその部分をマスクする
⁃ 属性にごとに、関連しているembeddingの次元を選択（この部分がマ
スクされる）
⁃ マスクされた場所の特徴量をもとに、属性のきめ細かな類似度を識別
する
・Tanら
⁃ vietらの応用。固定マスクだったものを動的な重みを利用することで、
調節できるようにした
我々は、複数の属性のembedding 空間を学習

提案手法 6
ASENの概要
𝑓𝑔(𝐼, 𝑎) : Global Branchにより得られる属性に関する特徴量
𝐼 ∶ 入力画像
𝑎 ∶ 属性
𝑓𝑙(𝐼, 𝑎) : Local Branchにより得られる属性に関する特徴量
𝑓(𝐼, 𝑎) : 𝑓𝑔(𝐼, 𝑎)と𝑓𝑙(𝐼, 𝑎)を組み合わせた特徴量

提案手法 7
ASENの概要
Global Branch : 画像全体から属性に関する特徴量を取得
Local Branch : 画像の一部分に着目して、属性に関する特徴を取得
ASA(Atribute-aware Spatial Attention) : 画像の中で特に属性についての注目点を捉える
ACA(Attibute-aware Channel Attention) : 画像の中で注目すべきチャネルを捉える
上記2つのBranchには、下記のモデルが含まれている

提案手法 8
Global Branch
特徴抽出
𝐼 ∶ 入力画像
・特徴量抽出：ResNet-50（ImageNetを再学習したもの）
・画像サイズ : 𝑐 × ℎ × 𝑤
⁃ ℎ × 𝑤 : 特徴量のサイズ、 𝑐 : チャネル数
ResNet-50
この部分は
削除
𝑎 ∶ 属性
・one-hot vector（サイズ : n × 𝐶𝑎）
⁃ 𝑛 : 1枚の画像に存在する属性の数、 𝐶𝑎: 属性のembeddingの次元

提案手法 9
Global Branch
ASA (Atribute-aware Spatial Attention)
𝑥 ∶ 画像
𝑝(𝑥) = 𝑡𝑎𝑛ℎ(𝐶𝑜𝑛𝑣𝑐1
(𝑥))
𝑝 𝑎 = 𝑡𝑎𝑛ℎ 𝑊
𝑠𝑎 ∙ 1
𝐶𝑜𝑛𝑣𝑐1
∶ 𝑐1個の1×1の畳み込みカーネル
画像と属性の次元を揃える
𝑎 ∶ 属性 𝑊
𝑠 ∶ 変換行列
𝑎𝑠
= 𝑠𝑜𝑓𝑡𝑚𝑎𝑥( 𝑖
𝑐1
[𝑝 𝑎 𝑝(𝑥)]𝑖
𝑐1
)
𝑎𝑠
∶ attention weight
: Hadamard product
𝑥𝑠
=
𝑗
ℎ×𝑤
𝑎𝑗
𝑠
𝑥𝑗
𝑥𝑠 ∶ 𝐼 の中で属性𝑎に関する注目特徴ベクトル
𝑗 ∶ 画像の中で示している場所

提案手法 10
Global Branch
ACA(Attibute-aware Channel Attention)
𝑞(𝑎) = 𝛿(𝑊
𝑐𝑎)
𝑎𝑐
= 𝜎(𝑊2𝛿(𝑊1[𝑞 𝑎 , 𝑥𝑠]))
𝑊1 𝜖ℝ
𝑐
𝑟
+(𝑐+𝑐2)
𝑊2 𝜖ℝ𝑐×
𝑐
𝑟
異なる属性同士であっても、着目する場所が同じ場合がある
襟のデザイン、襟の色
どちらも注目点となる
属性に応じて、着目する次元を選ぶ
Attention weights
𝛿 ∶ 𝑅𝑒𝐿𝑈, 𝜎 ∶ シグモイド関数
属性のマッピング層
𝑊1 , 𝑊2 : 変換行列, 𝑊
𝑐 ∶ パラメータ
𝑥𝑠 ∶ 𝐴𝐶𝐴で求めたもの 𝑊
𝑐 𝜖ℝ𝑐2×𝑐𝑎
𝑟 ∶ 𝑟𝑒𝑑𝑢𝑐𝑡𝑖𝑜𝑛 𝑟𝑎𝑡𝑒
ACAの出力値
𝑥𝑐 = 𝑥𝑠 𝑎𝑐
𝑓𝑔 𝐼, 𝑎 = 𝑊𝑥𝑐 + 𝑏
ACAの出力値
𝑊 ∶ 変換行列
𝑏 ∶ バイアス項
𝑊 𝜖ℝ𝑐𝑜×𝑐

提案手法 11
Local Branch
入力：RoI（Region of Interest）
① ② ③
入力が異なるだけで、そのあとの流れはGlobal Branchと同じ
弱学習付き局在化方法によりRoIを生成
①ASAにより、着目している部分の情報を取得
②閾値（論文に詳細の記述はなし）を定めて、binary行列により表現
③②から、白部分が必ず含まれるように最小面積となるbounding boxを作成。
＊短辺を正方形に拡張。白部分を真ん中に配置

提案手法 12
損失関数 𝜏 = { 𝐼, 𝐼+
, 𝐼−
𝑎)}
𝐼 ∶ 画像
𝐼+
∶ 属性𝑎を持つ
𝐼−
∶ 属性𝑎を持たない
Global BranchのTriplet ranking loss
ℬ ∶ 𝜏からサンプリングした
ミニバッチ
ℒ𝑔 =
𝐼,𝐼+,𝐼− 𝑎)}𝜖ℬ
max(0, 𝑚 − 𝑠𝑔 𝐼, 𝐼+
𝑎) + 𝑠𝑔 𝐼, 𝐼−
𝑎))
𝑚 ∶ 0.2（マージン）
𝑠○ ∶○ における類似度
𝑓◇ ∶ コサイン類似度
Local BranchのTriplet ranking loss
∗ 𝑠○ 𝐼, 𝐼∗
𝑎) =
𝑓○ 𝐼, 𝑎 ･𝑓○(𝐼∗
, 𝑎)
𝑓○ 𝐼, 𝑎 2 𝑓○(𝐼∗, 𝑎) 2
ℒ𝑙 =
max(0, 𝑚 − 𝑠𝑙 𝐼, 𝐼+
𝑎) + 𝑠𝑙 𝐼, 𝐼−
𝑎))
alignment loss : global , local どちらも表現した損失
ℒ𝑎 =
𝑑𝑔𝑙 𝐼 𝑎 + 𝑑𝑔𝑙 𝐼+
𝑎) + 𝑑𝑔𝑙 𝐼−
𝑎)]
𝑑𝑔𝑙 𝐼∗
𝑎) = 1 −
𝑓𝑔 𝐼∗
, 𝑎 ･𝑓𝑙(𝐼∗
, 𝑎)
𝑓𝑔 𝐼∗, 𝑎
2
𝑓𝑙(𝐼∗, 𝑎) 2
𝑑𝑔𝑙 ∶ 𝑎𝑙𝑖𝑔𝑛𝑚𝑒𝑛𝑡における類似度
𝑔 ∶ 𝑔𝑙𝑜𝑏𝑎𝑙 𝑏𝑟𝑎𝑛𝑐ℎにおける類似度
𝑙 ∶ 𝑙𝑜𝑐𝑎𝑙 𝑏𝑟𝑎𝑛𝑐ℎにおける類似度
ℒ = 𝛼ℒ𝑔 + 𝛽ℒ𝑙 + 𝛾ℒ𝑎
ASEN全体の損失関数 𝛼, 𝛽, 𝛾 ∶ ハイパーパラメータ

提案手法 13
損失関数を用いた学習プロセス
𝜃𝑔: global branchに関するパラメータ
𝜃𝑙: local branchに関するパラメータ

提案手法 14
類似度の算出
ASENモデルの学習が完了することで、画像のペアの類似度を以下の様に計算可能
𝑠 𝐼, 𝐼′ ∶ 属性に関する類似度
𝑠 𝐼, 𝐼′|𝑎 = 𝜆𝑠𝑔 𝐼, 𝐼′|𝑎 + 1 − 𝜆 𝜆𝑠𝑙 𝐼, 𝐼′|𝑎
𝜆 ∶ ハイパーパラメータ(0~1の実数)

実験 15
実験概要
ASENのきめ細かな類似性予測の有効性の検証
目的
属性に応じたファッション検索のタスクを実施
⁃ 画像と指定された属性が与えられたとき、与えられた画像と同じ属性値を持
つ画像を検索すること
目的を達成するための評価方法

実験 16
実験にあうように、既存データセットを再構成
・FashionAI
・DARN
・DeepFashion
右図の9種類の属性がアノテーションされている
画像枚数 : 253,983枚
カテゴリ・属性予測用データセットを使用
画像枚数 : 289,222枚
6種類の属性項目に対して、1050種類の属性値の候補が存在
画像につき、1つ以上の属性のラベルを付与
画像枚数 : 180,335枚
属性の候補8種類。
属性をより細かくみたサブカテゴリも存在
いずれも
8:1:1 = 学習 : 検証 : テスト
をデータの分割比率とする

実験 17
実験の詳細
比較方法
実装方法
・MAP
・Recall@100
0~100(％)で表現
・Pytorchにより実装
・Global branch
⁃ ResNet-50で特徴量抽出
⁃ 画像の短辺を224にリサイズ、中心部分を着る取る
・Local branch
⁃ ResNet-34で特徴量抽出。入力サイズは112×112
・第1段階
⁃ Global triplet ranking loss 学習率 : 10−4
（3エポックごとに学習率を0.9倍）
・第2段階
⁃ Global triplet ranking loss 学習率 : 10−5
⁃ Local triplet ranking loss 学習率 : 10−4
（2つとも1エポックごとに学習率を0.95倍）
2段階ごとのパラメータ調整

実験 18
実験の詳細
その他パラメータ
損失関数
・ α = 1 , β = 0.1 , γ=0.1
ASEN学習後の類似度計算
・𝜆= 0.6
ASEN学習中
・バッチサイズ : 16
・最適化 : Adam

実験 19
比較対象
・Random Baseline
候補画像をランダムにソート
・Triplet network:
CNNによって測定された画像全体の特徴量から、類似性を測定
・Conditional similarity network （ p5で説明したvietら）
マスクされた属性情報をもとに、類似度測定
・ 𝐴𝑆𝐸𝑁𝑔
ASENのglobal branchのみ持つ
・ 𝐴𝑆𝐸𝑁𝑙
ASENのlocal branchのみ持つ

結果 20
FashionAI dataset におけるMAPの性能
提案手法が最も優れている
細かい部分の属性の類似度を識別するのに最適

結果 21
その他分析
𝐴𝑆𝐸𝑁𝑔はCSNより精度が高い
マスクで捉えるよりも、画像全体から注目点を捉える方法が効果的

結果 22
その他分析
𝐴𝑆𝐸𝑁𝑔はCSNより精度が高い
マスクで捉えるよりも、画像全体から注目点を捉えるを捉える方法が効果的
𝐴𝑆𝐸𝑁𝑙はCSNより精度が低い
RoIの切り取り方が悪いと、精度が悪くなる

結果 23
DARN
DeepFashion
DARNとDeepFashionの結果
Recall@100の結果

結果 24
DARN
DeepFashion
DARNとDeepFashionの結果
Recall@100の結果
その他分析
DeepFashionの精度が全体的に低い
アノテーションの質に原因
例. ShapeタイプのAラインのラベル付けされ
た画像のうち、正しいものは77.8％のみ

結果 25
・属性の注目の仕方について
・損失関数
・弱教師付き局在化、RoI
・ハイパーパラメータ
ASENの各構成要素の効果を分析

結果 26
属性の注目の仕方について
𝐴𝑆𝐸𝑁𝑔からASAとACAをそれぞれ取り除いた方法で分析
⁃ w/o * : *を取り除いたモデル
𝐴𝑆𝐸𝑁𝑔が最も高い
ASA、ACAいずれも有効

結果 27
損失関数
ℒ = 𝛼ℒ𝑔 + 𝛽ℒ𝑙 + 𝛾ℒ𝑎
右式の影響を調査
全体的なMAPは𝐴𝑆𝐸𝑁が最も高い
どの損失も必要
ASEN w/o ℒ𝑔 が最も精度が悪い
ℒ𝑔 は必要不可欠

結果 28
弱教師付き局在化
𝐴𝑆𝐸𝑁𝑓𝑢𝑙𝑙 : local branchの入力画像に、切り抜いていない画像を投入
（global branchと入力している画像は同じ）
ASEN（入力に切り抜き（RoI）を用いる方法）の方が精度が高い
弱教師付き局在化法は効果的
Length関連は、精度が近い
アイテムの丈などは、全体を見て分かるものだから

結果 29
弱教師付き局在化
𝐴𝑆𝐸𝑁1 : 最も広い範囲で注目された点１つのみ
design関連は、 𝐴𝑆𝐸𝑁1 のほうが高い
扱う領域を増やすと、ノイズが含まれやすくなるから
Length関連は、 𝐴𝑆𝐸𝑁2 のほうが高い
アイテムの丈など長さを表すものは、複数の領域に対応している
𝐴𝑆𝐸𝑁2 :広い範囲で注目された点上位2つ
着目された複数の領域の大きさ順から

結果 30
・ λ = [0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]
・ λに関係なく、 ASENが最も精度が高い
・ASENについて、いずれも0.5,0.6あたりがピーク値
ハイパーパラメータλの影響を

考察 31
同じ属性値同士は近く、異なる属性値同士は遠くなっている
ASENで学習できたものをt-SNEにより視覚化
FashionAIのテストデータセットを取り出し、2次元空間の分布を可視化
ASENが属性の識別がうまくできていることを表している

考察 32

考察 33
属性ごとにうまく分離できている
ASENで学習できたものをt-SNEにより視覚化
FashionAIのテストデータセットを取り出し、2次元空間の分布を可視化
属性別の埋め込み空間を表現
属性が異なるということは、アイテムの特性も異なる

考察 34
画像内の属性に対する注目点の可視化
Global branch local branch Global branch local branch
ほとんどの画像で属性をうまく着目できている

考察 35
計算時間
・ASENのパラメータ数 : 210万
・FLOPs（コンピューターが1秒間に処理可能な演算回数）: 4億1700万
・1枚の画像の特徴量抽出時間 : 7ms
・メモリ220G
・GPU : GTX 2080TI
使用したスペック

結論 36
・ファッションアイテムのきめ細かい部分の類似性を識別する研究
・Grobal branchとLocal branchから成るASENを提案し、相互で視点の
補完を実現
・ASAとACAにより、属性の類似度計算を実現
・実験の結果、類似性を識別にはASENが最も良い
・きめ細かい類似性は全体の類似性と補完関係にある（ Grobal branch
とLocal branch との関わり）
・今後は、テキスト文から属性を発見する手法も検討

Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Learning.pptx

Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Learning.pptx

Recomendados

Más contenido relacionado

Similar a Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Learning.pptx

Similar a Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Learning.pptx(20)

Más de harmonylab

Más de harmonylab(15)

Último

Último(10)

Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Learning.pptx