Personalized Fashion Recommendation from Personal Social Media Data An Item to Set Metric Learning Approach

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
DLゼミ
2021/06/27
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
修士2年右田幹
Personalized Fashion Recommendation from
Personal Social Media Data: An Item-to-Set
Metric Learning Approach

論文情報 2
• タイトル
– Personalized Fashion Recommendation from Personal Social Media Data: An Item-
to-Set Metric Learning Approach
• 著者
– Haitian Zheng 1, Kefei Wu 1, Jong-Hwi Park 1 , Wei Zhu 1, Jiebo Luo 1
• 1 Rochester, USA
• 出典及び出典日
– 2021 IEEE International Conference on Big Data (Big Data)
• 論文URL
– https://arxiv.org/pdf/2005.12439.pdf

概要 3
・オンラインショッピングの成長により、服装の推薦精度が重要な
タスクになり、個人の好みもソーシャルメディアデータから分かる
ようになった
・ソーシャルメディアデータを用いて、個人の好みに沿った衣服の
推薦を提案
・過去のアイテムと新しいアイテムの距離を計算して学習する枠組
みを提案する
・マルチモダリティな特徴量やクロスモダリティな融合方法を使用
する
・実験では、ソーシャルメディアに実在するデータを用いて、他の
手法よりも優れた成果を出すことができた

背景 4
・ソーシャルネットワークの普及
・ファッション系オンラインコミュニティの登場（図１）
個人の服の好みが理解可能に
ソーシャルメディアデータを用いた衣服推薦に
関する研究はあまりやられていない
理由
・データが粗く、直接モデルに入力することが困難
・ユーザーが複数の好みを持つ場合、単純にアイテ
ムの類似度のみで推薦することは不適
ソーシャルメディアデータを用いて
個人の好みに合わせた衣服推薦システムを提案

背景 5
目的を達成するための新規性
・新たなアイテムの距離を捉える指標の提案
⁃ 近傍重要度（neighboring importance）: アイテム同時の類似度が小さいも
のを除外
⁃ 集合内重要度（intra-set importance）: ノイズや外れ値を除外
・ユーザー特有のアイテム間距離（user-specific item-to-set
metric）
⁃ 類似度計算をする前に、アイテムの特徴量について、ユーザー固有の空間を
作成
・マルチモーダルな埋め込み
- 画像だけでなく、単語（ハッシュタグ、タイトル）も特徴量として扱う
・クロスゲート融合
- 単語の誤字、ミスなどを考慮
・提案手法の検証として、ソーシャルメディアのデータを使用して
行う

データセットの用意 6
クローリングするサイト
⁃ lookbook.nu(URL: https://lookbook.nu/)
・2293人のユーザーから、最新の投稿100個分取得
⁃ フォロワーが多いアカウントは、ファッションブランド
の広告用が主
⁃ 7000人のフォロワーはクローリングの対象外とする
・データの構成（ユーザーに対して）
⁃ Looks : 見られてる数
⁃ Likes : いいねした数
⁃ Fans : フォロワー数
⁃ Followings : フォローした数

データの構成
タイトルハッシュタグ
・単語の頻度
・アイテムの頻度

データの前処理
・画像データ
⁃ 複数人映っている画像（右図）に対して
人物検出を実装
 人物のbounding-boxを取得し、スコアが
最も高いものを採用
⁃ グレースケース画像は除外
・単語データ
⁃ Wikipediaを事前学習したGloveにより、テキストを特徴量変換する
⁃ ハッシュタグ
 Viterbi algorithm（尤もらしい状態系列を推定）を使用して、単語セグ
メントを算出
 各単語から、特徴量を作成
⁃ タイトル
 各単語の埋め込みを利用
複数人が映っている例
画像と単語データの特徴量を連結

モデル構築 9
説明の大まかな流れ
１，特徴量抽出
２，アイテム間の距離測定
３，モデルの学習方法

モデル構築 10
１：特徴量抽出
𝑥 = (𝑥 𝑖𝑚
, 𝑥 ℎ
, 𝑥(𝑡)
)
特徴量を結合（マルチモーダル）
・𝑥 𝑖𝑚 : 画像特徴量
・ 𝑥 ℎ : ハッシュタグ特徴量
・ 𝑥(𝑡)
: タイトル特徴量
特徴量抽出のアーキテクチャー

モデル構築 11
特徴量抽出のアーキテクチャー
画像特徴量抽出
・Body parsing model の適用
⁃ 11個の衣服領域を抽出
＊領域として含めるもの
ドレス、コート、パンツ、スカート
＊含めないもの
顔、髪、背景
靴、サングラス（希少部位）
・事前学習済みの画像認識モデル
（VGG19）に入力

モデル構築 12
𝑥 ℎ
= {𝑎𝑎1
ℎ
, … , 𝑎𝑎𝑚
ℎ
}
・Attentive averagingの適用
⁃ ハッシュタグの量によって、ベクトルの大きさが異な
るため、特徴量の重みを平均する
⁃ Softmax関数を用いる
𝑒𝑖 = 𝑎𝑎1
ℎ
𝑎𝑖 =
exp(𝑒𝑖)
𝑗 exp(𝑒𝑗)
𝑎𝑎 ℎ
=
𝑖=1
𝑚
𝑎𝑖𝑖
(ℎ)
ハッシュタグ特徴量抽出
・ハッシュタグがない場合
⁃ ゼロベクトルで埋める
・MLPの適用
⁃ 意味が異なっていても、同じファッションスタイルを表すものに対応する
ため
⁃ 例：レザージャケット、ブラック（ゴススタイル）

モデル構築 13
タイトルの特徴量抽出
ハッシュタグのときと過程は同様
𝑥 𝑡
= {𝑎𝑎1
𝑡
, … , 𝑎𝑎𝑚
𝑡
}
𝑒𝑖 = 𝑎𝑎1
𝑡
𝑎𝑖 =
exp(𝑒𝑖)
𝑗 exp(𝑒𝑗)
𝑎𝑎 𝑡
=
𝑖=1
𝑚
𝑎𝑖𝑖
(𝑡)

モデル構築 14
Cross-modality Gated Fusion
特徴量には、誤りも含まれる可能性も
・スペルミス
・領域推定のミス
クロスモダリティ融合を実装
先にハッシュタグとタイトルをクロスさせる
⁃ 画像よりもノイズが少なく、画像情
報を補完的に持っているため
𝑎𝑎 ℎ
← 𝑎𝑎 ℎ
⨀𝜎(𝑓𝑖𝑙_ℎ(𝑎𝑎 𝑡
))
𝑎𝑎 𝑡
← 𝑎𝑎 𝑡
⨀𝜎(𝑓𝑖𝑙_𝑡(𝑎𝑎 𝑡
)) 𝑓𝑖𝑙_ℎ , 𝑓𝑖𝑙_𝑡 : filtering score
⨀ : 要素積
𝜎 : シグモイド関数

モデル構築 15
・スペルミス
𝑎𝑎 ℎ ← 𝑎𝑎 ℎ ⨀𝜎(𝑓𝑖𝑙_ℎ(𝑎𝑎 𝑡 ))
𝑎𝑎 𝑡 ← 𝑎𝑎 𝑡 ⨀𝜎(𝑓𝑖𝑙_𝑡(𝑎𝑎 𝑡 )) 𝑓𝑖𝑙_ℎ , 𝑓𝑖𝑙_𝑡 : filtering score
⨀ : 要素積
𝑓 𝑖
← 𝑎𝑎 𝑖
⨀𝜎(𝑓𝑖𝑙__𝑖([𝑎𝑎 ℎ
, 𝑎𝑎 𝑡
]))

モデル構築 16
・スペルミス
𝑎𝑎 ℎ
← 𝑎𝑎 ℎ
⨀𝜎(𝑓𝑖𝑙_ℎ(𝑎𝑎 𝑡
))
𝑎𝑎 𝑡
← 𝑎𝑎 𝑡
⨀𝜎(𝑓𝑖𝑙_𝑡(𝑎𝑎 𝑡
))
𝑓𝑖𝑙_ℎ , 𝑓𝑖𝑙_𝑡 : filtering score
⨀ : 要素積
𝑓 𝑖 ← 𝑎𝑎 𝑖 ⨀𝜎(𝑓𝑖𝑙__𝑖([𝑎𝑎 ℎ , 𝑎𝑎 𝑡 ]))
𝑎𝑎𝑖 ← 𝑓𝑢𝑠𝑖𝑜𝑛(𝑎𝑎 𝑖 , 𝑎𝑎 ℎ , 𝑎𝑎 𝑡 )
全ての特徴量を融合

モデル構築 17
典型的な類似度測定方法
１，特定のアイテムと全アイテムの距離の平均を計算
𝐷𝑎𝑣𝑔 𝑆, =
1
𝐾
𝑖=1
𝐾
𝑑 𝑎𝑎𝑖 , = 𝑑(
1
𝐾
𝑖=1
𝐾
𝑎𝑎𝑖 , )
𝑑 𝑏𝑖 − 𝑏𝑗 = 𝑏𝑖 − 𝑏𝑗
2
２，最近傍項目間距離
𝐷𝑛𝑛 𝑆, = 𝑚𝑖𝑛𝑖=1
𝐾
𝑑 𝑎𝑎𝑖 , = 𝑑 𝑎𝑎𝑖∗ , 𝑖∗
= arg 𝑚𝑖𝑛𝑖=1
𝐾
𝑑 𝑎𝑎𝑖 ,
𝑖∗に該当する特徴量の重み1 , 残りの項目に重み0を割り当てる
問題点：ユーザーが複数の好みがある場合、考慮することが困難
問題点：最小演算では外れ値、ノイズの影響を受けやすく
最も近いアイテムの特徴量しか更新されない
新たな距離測定方法を提案
２：アイテム間の距離測定

モデル構築 18
新しい距離測定法
⁃ アイテムごとに重要度重みを割り当てる
𝑆 ∶ データセット
𝑓 ∶ クエリ
𝐷 𝑆, = 𝑑(
𝑖=1
𝐾
𝑎𝑎𝑖 , )
𝑎𝑎𝑖 =
exp(𝑤𝑖)
𝑗 exp(𝑤𝑗)
𝑤𝑖 = 𝐾(𝑎𝑎𝑖; , 𝑆)
重要度重み
距離の算出方法
重要度重みの右辺については、次ページにて説明

モデル構築 19
重要度推定
𝑢 𝑎𝑎𝑖; = −𝛾𝑑(𝑎𝑎𝑖, ) 𝛾 : 正の値を取る、パラメータ
全てのアイテムを更新できるため、複数の好みがあるユーザーに有効
Intra-set importance weight
𝛾 : 正の値を取る、パラメータ
𝑣 𝑎𝑎𝑖; , 𝑆 = 〇𝑣 𝑎𝑎𝑖, 𝑠𝑡𝑎𝑡 𝑆 ,
〇𝑣 ∶ 入力ベクトルからスカラーを出力
𝑠𝑡𝑎𝑡 𝑆 : 全ての特徴次元に沿った集合Sの統計量
＊平均値、標準偏差、最小値、最大値を用いて、
統計量を計算し、求まったものをベクトルに連結
総合重要度重み
𝐾 𝑎𝑎𝑖; , 𝑆 =𝑢 𝑎𝑎𝑖; + 𝑣 𝑎𝑎𝑖; , 𝑆

モデル構築 20
User-specific Metric Space
⁃ ユーザーごとに考慮した評価指標があることで、それぞれの好みに
対応できる
𝑆 = (〇𝑡(𝑠𝑡𝑎𝑡 𝑆 ))
𝐷𝑢𝑠 𝑆, = 𝑑((𝑆)⨀
𝑖=1
𝐾
𝑎𝑎𝑖𝑖 , (𝑆)⨀)
User-specific item-to-set metric
スケーリングベクトル
⨀ : 乗算
距離を計算する前に、ユーザーが重要視であろう特徴をフィルタリング

モデル構築 21
正のペアのアイテムは近づけ、そうでないものの距離は遠くする
𝑆 個のアイテムから、 𝐾種類を選ぶ
𝑓+ : 正例
𝑓𝑗
−
𝑗=1
𝑚
∶ 𝑓+
に該当しない不例
次の式の、負の対数尤度を最小化（するように学習？）
ℒ(𝑆 , 𝑓+
, 𝑓𝑗
−
𝑗=1
𝑚
) = log
exp(−𝐷(𝑆,𝑓+))
exp(−𝐷(𝑆,𝑓+)) + 𝑗=1
𝑚
exp(−𝐷(𝑆,𝑓𝑗
−−
))
テスト時
⁃ ユーザーの投稿情報から、学習した項目間距離で集合に近い項目を推薦
＊𝐷については、前ページの式を採用
３: 学習過程

実験 22
実装の詳細
⁃ Pytorchを使用
⁃ 初回の学習率 : 0.001
⁃ 最適化：SGD
⁃ バッチサイズ : 32
⁃ 正例と負のデータ（m=50）の51枚を用意し、推薦する服装を出力
⁃ ランダムに10人のユーザーを選択し、投稿画像を入力
⁃ 50回行った平均が結果となる
データセット（p7~9）を実験でも用いる（訓練、テストに分割）
 訓練データ : 1834
 テストデータ : 459

結果 23
定量的評価
Top-kにより評価（k = 1,10,25）
・random guess : ランダム
・triplet+avg : データの埋め込みを学習し、アイテム間距離を平均
距離で計算（p18の１）
・triplet+NN : データの埋め込みを学習し、アイテム間距離を最近
傍で計算（p18の２）
・DN4 : 画像-クラス間指標（3-NNを用いる）を取り入れ、推薦の
ために三重項損失を用いたもの
Recall@1のとき、我々の手法はrandom guessの230倍の精度

結果 24
定量的評価
Multimodalities and Fusion
マルチモーダル特徴量の
利用による効果
w/ : 特徴量として利用している
w/o : 特徴量として利用していない
att : attentive feature averagingを利用したか
cross : cross-modalを利用したか
・w/att : attentive feature
averagingを利用した
・w/o cross : cross-modalを
利用していない
・hashtagが最も有益な情報
・attentive feature averagingは精度向上に貢献している
・multi-modality fusionは精度向上に貢献している
・cross-modal gated fusionは精度向上に貢献している

結果 25
定量的評価

結果 26
定量的評価

結果 27
定量的評価
Metric designs
・NN : p18の２、で表した
最近傍項目間距離
・average : p18の１、で表した項目間距離の平均
・ours w/v : p20の式、重要度重みを使用するが、Intra-set
importance weightのみ
・ours w/ u+v : p20の式。総合重要度重みを使用
・average w/ : p21で説明した、ユーザーごとに考慮した評価指標
・ours full : 全ての提案手法を取り入れた
＊w/ v と w/ u+vは、average（既存手法）より精度が高い
＊average w/は、averageやw/ u+vに勝る。特に、fullだと
averageの約2倍とかある
提案手法の優位性が示せる

結果 28
定量的評価
Influence of set size
・ユーザー数を変化
ユーザー数が多くなるほど精度が向上

結果 29
定性的評価
Top-3 の結果
recall : 18.9%（459人中87人が正し
く予測できた）ときの、推薦した
服装について
赤いボックスは、正解
一貫性は保てている

結果 30
一貫性は保てている

結果 31
定性的評価
重要度重みの効果
Ours w/u+v
・衣服の特徴をより細かく表せている。
・複数の嗜好をより正確に柔軟に読み取れている
Average（p18の１）と
Ours w/u+v（p20の重要度結合）
の埋め込みを可視化

conclusion 32
・ソーシャルメディアデータを用いて、個人の服装に関
するタスクに取り組んだ
・投稿された画像と推薦服のアイテム間距離に着目
・最近傍重要度や集合重要度を使用し、様々な服への興
味やデータのノイズに対応
・ユーザー固有の空間変換を提案し、好みを学習
・マルチモダリティなデータ、かつクロスモダリティな
融合を提案
・ソーシャルメディアに実在しているデータで実験を
行った結果、有効性を示せた

Personalized Fashion Recommendation from Personal Social Media Data An Item to Set Metric Learning Approach

Personalized Fashion Recommendation from Personal Social Media Data An Item to Set Metric Learning Approach

Recomendados

Más contenido relacionado

Similar a Personalized Fashion Recommendation from Personal Social Media Data An Item to Set Metric Learning Approach

Similar a Personalized Fashion Recommendation from Personal Social Media Data An Item to Set Metric Learning Approach(20)

Más de harmonylab

Más de harmonylab(16)

Último

Último(12)

Personalized Fashion Recommendation from Personal Social Media Data An Item to Set Metric Learning Approach