41. オフライン実験のデータセット
informational 例) Chinese restaurant
Los Angeles, CA 90018
例) Bank of America
navigational
Los Angeles, CA 90018
ラベルの比率
(a) Category Queries (b) Business Name Queries 41
42. 評価指標
• ペア一致率 ※ 今回の損失関数で近似的に最適化している指標
– for label aggregation
– for model aggregation
42
43. 比較手法
• Rule
– 人手で 𝒚 → 𝑧 してランキング学習
• Ed-overall
– 𝒫 𝑡𝑟𝑎𝑖𝑛 を使ってランキング学習
• Click
– クリックログを使ってランキング学習
• Linear [proposed]
– linear aggregation model
• Joint [proposed]
– joint learning model
• ModAgg [proposed]
– Model aggregation method
※ ランキング学習にはGBRank (Gradient Boosting Tree) [Zheng+ 08] を利用
[Zheng+ 08] Z. Zheng, H. Zha, T. Zhang, O. Chapelle, K. Chen, and G. Sun, “A general boosting method
43
and its application to learning ranking functions for web search”, NIPS 2008.