Breve introducción a la recomendación de productos. Un recomendador sencillo: Slope One. Evaluacion de recomendadores: métricas offline (RMSE, Precision & Recall, F-measure, Precision@K, NDCG, MAP, etc) vs métricas online. Propiedades deseables de un recomendador (novelty, serendipity, diversity, coverage, etc).

1. Evaluación de sistemas
de recomendación
Luis Brassara (luis.brassara@almundo.com)

2. Introducción a los sistemas
de recomendación
• Qué es un sistema de recomendación?

3. Introducción a los sistemas
de recomendación
• Familias de sistemas de recomendación (content
based filtering vs collaborative filtering)

4. Introducción a los sistemas
de recomendación
• Content based filtering:
Le gusta
Similar

5. • Collaborative filtering:
Introducción a los sistemas
de recomendación
SimilarLe gusta Le gusta

6. Introducción a los sistemas
de recomendación
• Feedback del usuario (explícito vs implícito)

7. Introducción a los sistemas
de recomendación
• Modelo: utility matrix

8. Introducción a los sistemas
de recomendación
3
4
4
5
?
?? ?
?
2
3 5

9. Slope one
• Collaborative filtering

10. Slope one
• Collaborative filtering
• Se basa en las diferencias promedio entre los
rankings de los productos

11. Slope one
• Collaborative filtering
• Se basa en las diferencias promedio entre los
rankings de los productos
• Uno de los más triviales, pero…

12. Slope one
3 ?
4 4.5

13. Slope one
3
4 4.5
+0.5
?

14. Slope one
3
4 4.5
3.5
3 + 0.5 = 3.5

15. Slope one
4.5
?
?
25
34
3
4

16. Slope one
3
4.5
?
?
25
34
4
−2

17. Slope one
3
4.5
?
25
34
4
4.5 − 2 = 2.5
2.5

18. Slope one
3
4.5
?
?
25
34
4
−1

19. Slope one
3
4.5
?
25
34
4
4 − 1 = 3
3

20. Slope one
3
4.5
?
2.5 + 3
2
= 2.75
25
24
4 2.75

21. Weighted slope one
3
4.5
?
2.5 ⋅ 2 + 3 ⋅ 1
3
= 2.66
25
24
4 2.66

22. Evaluación de sistemas de
recomendación
• Como medir que tan bien estamos
recomendando?

23. Evaluación de sistemas de
recomendación
• Como medir que tan bien estamos
recomendando?
• Métricas offline vs métricas online

24. Métricas online
• Click-through rate (CTR)

25. Métricas online
• Click-through rate (CTR)
• Conversion rate (CR)

26. Métricas online
• Click-through rate (CTR)
• Conversion rate (CR)
• Corto y largo plazo (Lifetime value o LTV)

27. Métricas online
• Click-through rate (CTR)
• Conversion rate (CR)
• Corto y largo plazo (Lifetime value o LTV)
• A/B testing vs Multi armed bandits

28. Métricas offline
• Probar en producción tiene un costo

29. Métricas offline
• Probar en producción tiene un costo
• Lleva tiempo alcanzar significancia estadística

30. Métricas offline
• Probar en producción tiene un costo
• Lleva tiempo alcanzar significancia estadística
• Permiten selección preliminar de
hiperparámetros y modelos

31. Train & test set
• Como separar los datos para train y test de los
modelos?

32. Train & test set
• Como separar los datos para train y test de los
modelos?
• No separar por usuarios completos…

33. Train & test set
• Como separar los datos para train y test de los
modelos?
• No separar por usuarios completos…
• Separar por interacciones de usuarios con
productos!

34. Train & test set
t

35. Train & test set
Train Test
t

36. Root squared mean error
(RSME)
1. Antes de entrenar el modelo guardar algunos
ratings conocidos para validación

37. Root squared mean error
(RSME)
4.5
?
?
35
24
4
4

38. Root squared mean error
(RSME)
4.5
?
?
35
24
4
4

39. Root squared mean error
(RSME)
4.5
?
?
35
4
4
?
?

40. Root squared mean error
(RSME)
2. Entrenar el modelo

41. Root squared mean error
(RSME)
4.5
35
4
4
3
53
5
(4)
(2)

42. Root squared mean error
(RSME)
3. Calcular el RSME entre los N ratings que
guardamos para validación y los ratings que el
modelo predijo para esas posiciones
RMSE =
∑𝑖=1
𝑁
(𝑦
̂
𝑖 − 𝑦𝑖)2
𝑁

43. Root squared mean error
(RSME)
4.5
35
4
4
3
53
5
RMSE =
(3 − 4)2 + (5 − 2)2
2
= 2.24
(4)
(2)

44. Root squared mean error
(RSME)
• Métricas similares: Mean Absolute Error (MAE),
Mean Squared Error (MSE)

45. Root squared mean error
(RSME)
• Métricas similares: Mean Absolute Error (MAE),
Mean Squared Error (MSE)
• Muy popular en la literatura de machine learning
para regresiones o clasificadores, pero…

46. Relevancia
• En general no nos interesa tanto predecir el
rating exacto de un usuario hacia un producto…

47. Relevancia
• En general no nos interesa tanto predecir el
rating exacto de un usuario hacia un producto…
• Nos interesa si un producto es relevante o no
para el usuario!

48. Reformulando el problema
• Pensemos en la recomendación como elegir un
conjunto de productos para el usuario

49. Reformulando el problema
• Pensemos en la recomendación como elegir un
conjunto de productos para el usuario
• Idealmente, queremos que todos los productos
en el conjunto sean relevantes para el usuario

50. Reformulando el problema
• Pensemos en la recomendación como elegir un
conjunto de productos para el usuario
• Idealmente, queremos que todos los productos
en el conjunto sean relevantes para el usuario
• Pensandolo como conjuntos…

51. Reformulando el problema
Recomendados Relevantes

52. Reformulando el problema
Los tenía que recomendar
y los recomendó
Recomendados Relevantes

53. Reformulando el problema
No los tenía que recomendar
y los recomendó
Recomendados Relevantes

54. Reformulando el problema
Lo tenía que recomendar
y no lo recomendó
Recomendados Relevantes

55. Precision vs Recall
Precision =
|Relevantes ∩ Recomendados|
|Recomendados|
Recomendados Relevantes

56. Precision vs Recall
Precision =
|Relevantes ∩ Recomendados|
|Recomendados|
=
3
5
Recomendados Relevantes

57. Precision vs Recall
Recall =
|Relevantes ∩ Recomendados|
|Relevantes|
Recomendados Relevantes

58. Precision vs Recall
Recall =
|Relevantes ∩ Recomendados|
|Relevantes|
=
3
4
Recomendados Relevantes

59. Precision vs Recall
• Existe un trade-off…

60. Precision vs Recall
• Existe un trade-off…

61. Precision vs Recall
𝐹𝑚𝑒𝑎𝑠𝑢𝑟𝑒 =
2
1
recall
+
1
precision
= 2 ⋅
precision ⋅ rec
precision + re
• Se suele usar el promedio (armónico) entre
precision y recall como balance entre ambas

62. Precision vs Recall
• Métricas similares: Receiver operating
characteristic (ROC)

63. Contexto
• Las recomendaciones se pueden mostrar en
distintos contextos (home, checkout, thank you
page, etc)

64. • Las recomendaciones se pueden mostrar en
distintos contextos (home, checkout, thank you
page, etc)
• Cada contexto tiene un propósito distinto
(inspirational, cross-selling, etc)
Contexto

65. • Las recomendaciones se pueden mostrar en
distintos contextos (home, checkout, thank you
page, etc)
• Cada contexto tiene un propósito distinto
(inspirational, cross-selling, etc)
• Y también una presentación distinta (carrousel
con K recomendaciones vs. scroll infinito)
Contexto

66. Precision at K
• Vimos que en algunos contextos siempre se
recomiendan exactamente K productos

67. Precision at K
• Vimos que en algunos contextos siempre se
recomiendan exactamente K productos
• Tienen sentido precision y recall que tienen en
cuenta todo el conjunto de recomendaciones?

68. Precision at K
• Vimos que en algunos contextos siempre se
recomiendan exactamente K productos
• Tienen sentido precision y recall que tienen en
cuenta todo el conjunto de recomendaciones?
• Precision at K (o Precision@K) es la precision
limitándose a los primeros K productos
recomendados

69. Orden
• En general nos importa el orden en que el
usuario ve las recomendaciones

70. Orden
• En general nos importa el orden en que el
usuario ve las recomendaciones
• Tienen sentido las métricas anteriores para
conjuntos para evaluar sistemas de
recomendación que devuelven listas?

71. Normalized Discounted
Cumulative Gain (nDCG)

72. Normalized Discounted
Cumulative Gain (nDCG)
• Se suele tardar varios meses en memorizar las
siglas, pero…

73. Normalized Discounted
Cumulative Gain (nDCG)
• Cumulative Gain:
CG = ∑
𝑖=1
𝑘
𝑟𝑒𝑙𝑖

74. Normalized Discounted
Cumulative Gain (nDCG)
• Discounted Cumulative Gain:
DCG = ∑
𝑖=1
𝑘 𝑟𝑒𝑙𝑖
log2(𝑖 + 1)

75. Normalized Discounted
Cumulative Gain (nDCG)
1 2 3

76. Normalized Discounted
Cumulative Gain (nDCG)
1 2 3
DCG =
1
log2(2)
+
1
log2(3)
+
1
log2(4)
= 2.13

77. Normalized Discounted
Cumulative Gain (nDCG)
DCG =
1
log2(2)
+
1
log2(3)
+
0
log2(4)
= 1.63
1 2 3

78. Normalized Discounted
Cumulative Gain (nDCG)
1 2 3
DCG =
1
log2(2)
+
0
log2(3)
+
1
log2(4)
= 1.50

79. Normalized Discounted
Cumulative Gain (nDCG)
1 2 3
DCG =
0
log2(2)
+
1
log2(3)
+
1
log2(4)
= 1.13

80. Normalized Discounted
Cumulative Gain (nDCG)
• Normalized Discounted Cumulative Gain:
nDCG =
𝐷𝐶𝐺
𝐼𝐷𝐶𝐺

81. Normalized Discounted
Cumulative Gain (nDCG)
• Normalized Discounted Cumulative Gain:
nDCG =
𝐷𝐶𝐺
𝐼𝐷𝐶𝐺
DCG de recomendación
ideal para el usuario
DCG de nuestra recomendación

82. Normalized Discounted
Cumulative Gain (nDCG)
• Métricas similares: Mean Reciprocal Rank
(MRR), Mean Average Precision (MAP)

83. Otras cualidades deseables
• Novelty / Serendipity
• Diversity
• Coverage
• Son medibles?