Lecture for DM labs, second part. Methods for sequential recommendations: Koren's station-based/station-less and LME models

2. Sequence
recommenders
Андрей Данильченко
разработчик

3. Что такое рекомендации?

4. Классическая RS
SVDMetadata Features
Recommender

5. Музыкальная RS
SVDMetadata Features
Recommender
?

6. Музыкальная RS — пример
SVDMetadata Features
Recommender

7. Музыкальная RS — пример 2
SVDMetadata Features
Recommender

8. Sequence recommenders
Данные
Station-based & station-less models
LME

9. Плейлист — это фраза на
неизвестном естественном
языке!

10. Где используют этот язык?

11. Sequence recommenders
Данные
Station-based & station-less models
LME

12. Station-based model (Yahoo)
L S;Θ( )= logP i s;t,Θ( )
(i,t)∈PS
∑
PS ∈S
∑
Правдоподобие плейлиста станции:
P i s;t,Θ( )=
exp(rsi;t )
exp(rsj;t )
j
∑
rsi;t = bi + qi
T
vs + vs
slot(t)
+
1
Ps
(t,w)
qj
j∈Ps
(t,w)
∑
$
%
&
&&
'
(
)
))
Запись для самой станции:

13. Station-less model (Yahoo)
L S;Θ( )= logP i s;t,Θ( )
(i,t)∈PS
∑
PS ∈S
∑
Правдоподобие плейлиста станции:
P i s;t,Θ( )=
exp(rsi;t )
exp(rsj;t )
j
∑
rsi;t = bi + qi
T 1
Ps
qj
j∈Ps
∑ +
1
Ps
(t,w)
qj
j∈Ps
(t,w)
∑
$
%
&
&&
'
(
)
))
Запись для самой станции:

14. Обучение моделей
η
∂logP i s;t( )
∂θ
=η
∂rsi;t
∂θ
− P j s;t( )
∂rsj;t
∂θj
∑
$
%
&&
'
(
))
SGD с шагом:

15. Обучение моделей — трюк
Δθ =η
∂rsi;t
∂θ
− w j s( )
∂rsj;t
∂θj∈J
∑
&
'
((
)
*
++
Шаг SGD:
Sampling:
P i S( ) J w i S( )=
exp(rsi;t )
P i S( )
exp(rsj;t )
P j S( )j∈J
∑

16. Sequence recommenders
Данные
Station-based & station-less models
LME

17. Представление треков
Single-point model Dual-point model

18. Single-point model — вероятности
P p[i]
| p[i−1]
( )=
e
− X p[i]
( )−X p[i−1]
( ) 2
2
e
− X s( )−X p[i−1]
( ) 2
2
s∈S
∑
=
e
−Δ p[i]
,p[i−1]
( )
2
Z(p[i−1]
)
P p( )= P
i=1
kp
∏ p[i]
| p[i−1]
( )=
e
−Δ p[i]
,p[i−1]
( )
2
Z(p[i−1]
)i=1
kp
∏
Вероятность следующего трека:
Вероятность плейлиста:

19. Single-point model — функционал
L S;X( )= −Δ(p[i]
, p[i−1]
)2
− logZ p[i−1]
( )
i=1
kp
∑
p∈D
∑
Log-likelihood:
X = argmax
X∈ℜ|S|×d
e−Δ( p[i]
,p[i−1]
)2
Z p[i−1]
( )i=1
kp
∑
p∈D
∑

20. Dual-point model
P p( )= P
i=1
kp
∏ p[i]
| p[i−1]
( )=
e
−Δ2 p[i]
,p[i−1]
( )
2
Z2 (p[i−1]
)i=1
kp
∏
Вероятность плейлиста:
V,U( )= argmax
V,U∈ℜ|S|×d
e−Δ2 ( p[i]
,p[i−1]
)2
Z2 p[i−1]
( )i=1
kp
∑
p∈D
∑
Функционал:

21. Регуляризация
X = argmax
X∈ℜ|S|×d
L D | X( )− λ X F
2
(V,U) = argmax
V,U∈ℜ|S|×d
L D |V,U( )− λ V F
2
+ U F
2
( )
Single-point model:
Dual-point model:

22. Регуляризация
X = argmax
X∈ℜ|S|×d
L D | X( )− λ X F
2
(V,U) = argmax
V,U∈ℜ|S|×d
L D |V,U( )− λ V F
2
+ U F
2
( )−
−v Δ2 s,s( )2
s∈S
∑
Single-point model:
Dual-point model:

23. Как это выглядит?

24. Что делать дальше?

25. Ссылки
• N. Aizenberg, Y. Koren, and O. Somekh. 2012. Build your own music
recommender by modeling internet radio streams. In Proceedings of the
21st international conference on World Wide Web (WWW '12). ACM, New
York, NY, USA, 1-10. http://doi.acm.org/10.1145/2187836.2187838
• B. McFee, and G. Lankriet. 2011. The natural language of playlists. In
Proceedings of 12th International Society for Music Information Retrieval
Conference (ISMIR 2011). http://cosmal.ucsd.edu/~gert/papers/nlp.pdf
• S. Chen, J. Moore, D. Turnbull, and T. Joachims. 2012. Playlist prediction via
metric embedding. In Proceedings of the 18th ACM SIGKDD international
conference on Knowledge discovery and data mining (KDD '12). ACM, New
York, NY, USA, 714-722. http://doi.acm.org/10.1145/2339530.2339643

26. Андрей Данильченко
разработчик
apdanilchenko@yandex.ru
Удачи!