Personalized next-song recommendation in online karaokes

1. Personalized next-song
recommendation
in online karaokes
Xiang Wu, et al.
Recsys2013 読み会
@y_benjo

2. 流れ
• 問題設定
• 手法
• 評価
• 感想

3. 問題設定
?
• カラオケでユーザが次に何を歌うかを当てたい
• 既存研究
•
•
music recommendationはユーザのratingを当てる
「次に何を歌うか?」とは問題設定がそもそも異なる

4. hort-term and long-term preferences. Stra
手法
described as:
Pr ( sb |sa , u) ∝
− x( sa )−x( sb )
e
次に選ぶ曲
曲同士
2
−
2
y(u)−x( sb )
2
2
曲とユーザ 2
− x( sa )−x( sb ) 2
Pr ( sb |sa ) is proportional to e
• Personalized Markov Embedding(PME) b
er information is ignored by LME, while
• 曲同士の近さ(short term)
PME. 曲とユーザの近さ(long term)
•
•
の2つを学習する
• 学習にはMetric Embeddingを使う

5. Metric Embeddingとは?
• 大雑把に言うと，
• 近いものは近く
• 遠いものは遠く
• に配置されるような空間(に写像する関数)を学習する
•
※metric learningは距離関数を学習するので少し違う

6. hort-term and long-term preferences. Stra
それを踏まえて式を見ていく
described as:
Pr ( sb |sa , u) ∝
次に選ぶ曲
− x( sa )−x( sb )
e
2
−
2
曲同士
y(u)−x( sb )
2
2
曲とユーザ 2
− x( sa )−x( sb ) 2
Pr ( sb |sa ) is proportional to e
er information is ignored by LME, while b
• 学習するのはxとy
PME. R^d次元の曲/曲空間と曲/ユーザ空間を考えたい
•
•
•
x: 曲をR^d次元の空間に写像する関数
y: 曲をR^d次元の空間に写像する関数

7. 超大雑把な例え
• 曲 - 曲空間(R^2)
アニソン
メタル
ボカロ
ロック
アイドル
演歌
サザン
懐メロ

8. 1
2
|U|
Then, we could transform Equation (3) into its equivalent form
学習: 最尤推定
by applying the ln function:
(X, Y) = arg max
X,Y
| pu | | pu, j |
(u,pu )∈D j=1 k=2
= arg max
X,Y
u∈U sa ∈S sb ∈S
= arg max
X,Y
u∈U sa ∈S sb ∈S
− y (u) − x (sb )
def
2
2
(k−1)
pu, j , u
cu,sa ,sb ln Pr (sb |sa , u )





cu,sa ,sb − x (sa ) − x (sb )


− ln
= arg max L1 (D |X, Y )
X,Y
ln Pr
(k)
pu, j
s∈S
2
2
(4)


2 − y(u)−x(s) 2 

− x(sa )−x(s) 2
2

e


where cu,sa ,sb is the number of occurrence of song sb after song sa by

9. 学習: 最尤推定
(X, Y) = arg max
X,Y
| pu | | pu, j |
(u,pu )∈D j=1 k=2
= arg max
X,Y
ln Pr
u∈U sa ∈S sb ∈S
(k)
pu, j
(k−1)
pu, j , u
cu,sa ,sb ln Pr (sb |sa , u )





cu,sa ,sb − x (sa ) − x (sb )


!!!max
O(¦U¦ * ¦S¦^2) !!!
= arg
X,Y
u∈U sa ∈S sb ∈S
− y (u) − x (sb )
def
2
2
− ln
= arg max L1 (D |X, Y )
X,Y
s∈S
2
2


2 − y(u)−x(s) 2 

− x(sa )−x(s) 2
2

e



10. n, to overcome the time-consuming problem, we propo
学習
n (5) to simulate Equation (2). In this way, the two ty
ean distances can be decoupled:
Pr (sb |sa ) Pr (sb |u) =
− x( sa )−x( sb )
e
s∈S
2
2
− x(sa )−x(s) 2
2
e
− y(u)−x( sb )
e
2
2
− y(u)−x(s) 2
2
s∈S e
Pr ( sb |sa ) is the transition probability from song sa to so
( sb |u) is the probability of user u singing song sb . Not
on (5) is not simply an assembled model, since all param
• 重すぎるので，曲/曲と曲/ユーザの項を分解
e trained simultaneously.
これでO(¦U¦ * ¦S¦)
• a similar process of Equation (3) and Equation (4
owing あとは正則化して勾配法で最急降下法で学習
•
get:
(X, Y) = arg max
cu,sa ,sb ln Pr (sb |sa ) Pr (sb |u)

11. 結果
• 評価指標
•
Prec@K, Recall@K, F-1@K, MAP@K
•
bigram, LME, LME + UE
• 比較手法
•
LMEは曲のみを metric embedding する手法
• 注目する部分
•
学習データに登場する回数が少ない曲ほど高精度に当て
られている

12. transitions have comparably low occurrence rate, PME could outperforms LME and Bigram in real applications, i.e., PME is better
at predicting the unseen and sparse data.
Embedding例
5
Songs
Songs of User 1
Songs of User 2
Songs of User 3
4
[4]
[5]
[6]
3
[7]
2
User 2
1
User 1
-4
-3
-2
[8]
0
-1
0
1
2
3
4
5
-1
User 3
[9]
-2
-3
[10]
-4
Figure 4: Visualization of PME in R2 .
Case Study. Figure 4 is a visualization of the trained PME model
in R2 where all songs are represented by blue dots and 3 randomly
picked users are represented by circles with different colors. We
[11]
[12]
dat
H.on
vol
S. C
pre
714
S. F
tec
13(
J. L
Eva
22(
K.
pro
fee
N.
rec
and
201
Q.
col
ran
K.
rec
Pro
E.
app

13. 感想
• Metric Embedding面白そう
•
R^20とかR^50に飛ばすのは次元の呪いとか問題無い?
•
13000ユーザに対してアイテムが943
• データが少し密?
• 勾配の計算だるそう