Case study of online machine learning for display advertising in Yahoo! JAPAN

2016/10/26
1
ヤフー株式会社野村拓也
Case study of
online machine learning for
display advertising in
Yahoo! JAPAN

自己紹介
2
野村拓也
• オンライン処理基盤の開発
• 機械学習を用いたシステム改善
• YDNの改善活動

目次
• 背景と目的
• 構成とオンライン処理
• A/Bテスト
• まとめ
3

直近のデータに
高い価値がある？
仮説: データの価値
5
経過時間
データの価値

オンライン処理の実例
6
バッチをリアルタイムに
→ 37%のクリック率改善
RecSys2013: Tencent
(資料が見つからないため聴講者のtweetで代用)
https://twitter.com/torbenbrodt/status/390284591266668544

YDNの紹介
7
http://promotionalads.yahoo.co.jp/service/ydn/
Yahoo DisplayAd Network

8
YDNのステークホルダ
AD 広告ユーザ
Webページ
YDN

CTR(クリック率)予測問題
基本的な広告ランキングスコア
9
期待収益＝広告クリック確率 × クリック単価
未知・状況で変化広告主が設定

10
YDNが活用するデータ
AD
広告ID
広告主ID
行動履歴
興味カテゴリ
URL
コンテンツ
YDN

目的
11
データ反映をリアルタイムに近づけ
YDNクリック予測精度を向上させる

構成とオンライン処理
12

構成
13
Kafka
Storm
配信サーバ
クリックサーバ
ログ回収経路
モデル配布経路
〜
〜
scpscp
広告配信
リクエスト
広告クリック
モデル配布サーバ
内製ログ回収基盤
AD

オンライン処理の概要
14
クリックログ配信ログ
結合
学習データ(負例) 学習データ(正例)
学習
パラメータ(配布) Storm

15
学習データ(正例) 学習データ(負例)
学習
結合

16
ログ結合と課題
一時保持
配信ログの保持
負例生成タイミング

クリックまでの時間と捕捉率
17
10分で
95%捕捉
広告クリックまでの時間

18
配信ログの保持
負例生成タイミング
配信後10分の配信ログを保持
配信後10分経過したログを負例候補とする
結合の課題と対応

19
結合
学習

20
ババッッチチオオンンラライインン
モデル Logistic Regression
学習手法 DCD(liblinear) SGD
ハイパーパラメータ調整 Grid Search AdaDelta等
機械学習手法の比較

21
オンライン機械学習の評価手法
学習データ
学習データ
学習データ
学習データ
学習データ
学習データ
モデル
(t)
モデル
(t+1)
時
系
列
順
モデル
(t)
コピー
学習評価
構築初期のモデル評価手法

22
オフライン評価
ベースラインからのAUC lift

23
パラメータ Storm
結合
学習
(配布)

24
パラメータの配布
Kafka
Storm
配信サーバ
クリックサーバ
ログ回収経路
モデル配布経路
〜
〜
scpscp
Web
ページ
広告配信
リクエスト
広告クリック
モデル配布サーバ
内製ログ回収基盤
再掲

A/Bテスト結果
• 一部配信面/トラフィックでA/Bテスト
26
KKPPII 意味 KKPPIIリリフフトト
iCTR ≒クリック率 44..11%%
CPC クリック単価 --22..55%%
RPR 1リクエストの売上 11..55%%

リアルタイム更新の可能性
• モデル配布直後のKPIが増加傾向
27
RPR
モデル配布後の経過時間
配布後10分近辺
にRPRのピーク

29
オンライン処理
での課題
結果
まとめ
ログ結合
CTR 約4%向上
オフライン評価
さらなる向上の可能性

Recomendados