RecSys2016勉強会 http://connpass.com/event/41449/ 論文：Contrasting Offline and Online Results when Evaluating Recommendation Algorithms 著者：Marco Rossetti, Fabio Stella, and Markus Zanker 論文リンク： http://dx.doi.org/10.1145/2959100.2959176 著者スライド：http://www.slideshare.net/ross85/contrasting-offline-and-online-results-when-evaluating-recommendation-algorithms

1. Contrasting Offline and Online Results
when Evaluating Recommendation
Algorithms
神嶌 敏弘
RecSys2016勉強会
1

2. 概要
2
推薦システムはオフラインでホールドアウトデータに対して評価され
ることが一般的だが，その結果はオンライン評価と異なるという報告
↓
既存研究では，オフライン・オンライン評価で利用者が違っていたの
で，同一利用者集団での評価を試みる
研究課題
1. 利用者中心評価での相対順位を，オフラインの予測精度に基づくア
ルゴリズムによって予測できるか？
2. ロングテールアイテムに対する予測精度のオフラインの評価尺度に
基づく順位は，利用者中心の評価のそれと同等か？
3. 利用者中心評価における推薦の効用をオフライン評価尺度で予測で
きるか？

3. データと被験者
3
Movielens 1M データの映画に詳細情報を付加した自作サイト
オフライン評価：被験者は大学のメーリングリストで募集，241人
が平均137件のフィードバック
→ 4種類のアルゴリズムを訓練
オンライン評価：4種のアルゴリズムの推薦結果を一つのリストに集
約し映画情報と共に提示
→ 100人が全アイテムについて見たいと思うかなどを回答

4. 比較手法
4
POP：最も人気のあるものを推薦するベースライン手法．利用者個
人の嗜好は無視
MF80：[12]の行列分解，因子数 80，オフラインの評価は最もよい
MF400：[2] に基づき，因子数を400に増やしてロングテールアイ
テムを対象にした行列分解
I2ICF：[10] のアイテムベースのメモリベース手法．他のアルゴリズ
ムとは異なった推薦の傾向

5. 全アイテムについての評価
5
オフラインで統計的に有意な差が観測されても，それをオンライン
の結果を確認することはできなかった
MF400 MF80
POP I2I
p = 0.05 p = 0.05 p = 0.05
MF80 MF400
POP I2I
p = 0.05 p = 0.05 p = 0.1
Algorithm Offline Online
I2I 0.438 0.546
MF80 0.504 0.598
MF400 0.454 0.604
POP 0.340 0.516
Offline precision all items
Online precision all items
勝ってる方から
負けてる方に矢印

6. ロングテールアイテムに対する評価
6
オンラインとオフラインで結果は一致
オフラインでは，MF80のロングテールへの精度は，MF400 や
I2ICF よりずっと悪く，データ全体での評価とは大きく異なる
MF80
MF400
POP
I2I
p = 0.05
p = 0.05
p = 0.05
p = 0.05
p = 0.05
p = 0.05
Offline = Online precision long tail items
Algorithm Offline Online
I2I 0.280 0.356
MF80 0.018 0.054
MF400 0.360 0.628
POP 0.000 0.000

7. 有用性の比較
7
オフライン評価で良かったMF80が，有用な推薦では有意に悪い
まだ知らなくて適合するアイテムを推薦したとき有用と見なす
MF400I2I
POP
p = 0.05 p = 0.05
MF80
p = 0.05 p = 0.05
p = 0.05
Useful recommendations
Algorithm Online
I2I 0.126
MF80 0.082
MF400 0.116
POP 0.026