Devsumi2013_15-c-7 アドテク・ターゲティング技術

Developers
Summit

アドテク・ターゲティング技術
〜Pig, Mahout, KVS〜

太田祐一
15-C-7 株式会社オウルデータ
代表取締役社長兼
#devsumiC データマイニングエンジニア

Developers Summit 2013 Action !

Friday, February 15, 13

Developers
Summit

自己紹介

太田祐一（おおたゆういち）
• 最近子供が生まれてイクメンに
• もともとは証券会社員
• 独立して失敗
• スペイシーズにData mining engineerとして拾ってもらう
• DMP事業が独立して新会社設立（オウルデータ）→代表に

Developers Summit 2013 Action ! 2


Developers
Summit

とにかくデータを集めて触ってみよう！



Developers
Summit

とにかくデータを集めて触ってみよう
MY RECOMMEND NEXT ACTION!

• 今日のお題は所謂�”ビッグデータ”分析

• ビッグデータかどうかは置いておいて、とにか
く今あるデータを分散環境で分析してみる！

• 分散環境で構築しておけばスケールできる！



Developers
Summit

で、アドテクとデータの関係は？



Developers
Summit

アドテクって？

”アクション”してもらうためのテクノロジー



Developers
Summit

広告を配信する技術

育児情報サイトの広告

育児情報サイトだから
25〜35歳女性向けの広告を出す



Developers
Summit

でも最近はイクメンもけっこう見てますよ？



Developers
Summit

オーディエンスターゲティング

育児情報 × 男

出産育児情報サイトを見ている
男だから保険商品をすすめる



Developers
Summit


育児情報サイトを見ている男で保険の切替
検討中で、株式投資に興味があり、妻から
旅行に連れて行けとせがまれているけど、
最近車を買ったからお金が無くて・・・



Developers
Summit


データがいっぱいあっても活用しきれない

自動で似ている人同士をセグメント化したい



Developers
Summit

ターゲティングフロー

KVS
userId = XYZ site.jp

userId = XYZ
クッキーから
ユーザー識別IDを取得 XYZの情報
KVSからユーザーの
情報取得



Developers
Summit


KVS

userId = XYZ
クッキーから
情報取得
ユーザ情報をベクトル化し XYZのベクトル
てRandomForest



Developers
Summit


KVS
clusterId = 5

userId = XYZ
クッキーから
情報取得
てRandomForest
clusterIdを取得して
clusterId = 5
結果を利用


Developers
Summit

モデル作成の流れ

各ユーザーの情報をKVSに保存

各ユーザーの特徴をベクトル化

ユーザーベクトルを標準化

ユーザーベクトルをmahoutでk-Means

k-Meansした結果からRandom Forestモデルを作成



Developers
Summit

KVSに保存








Developers
Summit

KVSに保存

• どのKVSを採用するか？

‣

‣ 比較してるサイトの情報とかぜんぜんあてにならない

• データ形式は何にするか？

‣ JSON? XML? Avro? MessagePack? protobuf?



Developers
Summit

ベクトル化








Developers
Summit

ベクトル化

{"ユーザーID":12345,"カテゴリ":{"美容":0,"育児":7,"金融":10,"車":
4,"マンガ":1,"家具":2,"家電":8,"ペット":0,"グルメ":4},"金額":7600}

美容育児金融車マンガ家具家電ペットグルメ金額

0 7 10 4 1 2 8 0 4 7600



Developers
Summit

ベクトルを標準化








Developers
Summit

ベクトルの標準化
お
0 3 7 5 1 0 6 0 3 8000
5 6 0 0 0 4 0 0 5 12000
0 0 1 2 4 3 2 6 3 23000

平均0 標準偏差1
-0.58 0.00 1.14 1.06 -0.32 -1.12 1.09 -0.58 -0.58 -0.82
1.15 1.00 -0.70 -0.93 -0.80 0.80 -0.87 -0.58 1.15 -0.30
-0.58 -1.00 -0.44 -0.13 1.12 0.32 -0.22 1.15 -0.58 1.12



Developers
Summit

Pigを使う

面倒なMapReduceのJavaプログラムやHadoopコマンド
を使わずに、Hadoopを操ることができるツール
(最初はYahooが作った）

ダウンロードして設定ファイルを編集するだけで使うことが
できます
http://pig.apache.org/releases.html#Download
（Hadoop環境があることが前提です）



Developers
Summit

PigのUDFを使う

UDFを作成することでいろいろできます

% git clone https://github.com/gh-gsd/pigudf.git

% ant jar.build



Developers
Summit

Pigで分散を計算

register path/to/udfs.jar
set job.priority very_low;
set job.name 'CalcVariance';
define VAR com.gsd.pig.udf.Variance();
A = load 'mydata' as (data:double);
B = group A all;
C = foreach B generate VAR(A.data);
store C into 'path/to/hdfs/rawdata';



Developers
Summit

Mahoutでk-Means








Developers
Summit

主にHadoopを用いてデータマイニングや機械学習をするた
めのJavaライブラリ

% git clone https://github.com/apache/mahout.git

% git checkout mahout-0.7

% mvn install -DskipTests



Developers
Summit

k-Means



Developers
Summit

Mahout k-Meansのデータ型

key : Text
Input :
Value : VectorWritable

key : IntWritable
Output :
Value : WeightedVectorWritable



Developers
Summit

データを変換

ユーザーベクトルをスペース区切り
に整形したテキストファイル

key : Text
Value : VectorWritable

% $MAHOUT_HOME/bin/mahout
org.apache.mahout.clustering.conversion.InputDriver
-i path/to/hdfs/rawData
-o path/to/hdfs/vectorData



Developers
Summit

k-Meansコマンド
% MAHOUT_HOME/bin/mahout kmeans
-i path/to/hdfs/vectorData #入力パス
-c path/to/hdfs/initialClusters #初期ノードランダムの場合はどこでも
-o path/to/hdfs/kmeansResults #結果出力パス
-k 10 #クラスタ数
-dm org.apache.mahout.common.distance.CosineDistanceMeasure
#距離計算手法
-x 20 #最大イテレーション回数
-xm mapreduce #初期ランダムの場合は適当

結果は path/to/hdfs/kmeansResults/clusteredPoints に出力



Developers
Summit

k-Means 結果
（map例）
public void map(IntWritable key, WeightedVectorWritable value,
OutputCollector<NullWritable, Text> output, Reporter reporter) {
try {
StringBuilder sb = new StringBuilder();
sb.append(key.toString());

Iterator<Element> ite = value.getVector().iterator();

while (ite.hasNext()) {
sb.append(COMMA + ite.next().get());
}

output.collect(NullWritable.get(),
new Text(sb.toString()));

} catch (InvalidDatastoreException e) {
throw new IOException(e);
}
}


Developers
Summit

k-Means 結果

クラスタID ベクトルの値

1,0,3,5,7,1,0,9,8,0,1
5,6,0,0,0,2,0,0,0,0,2
2,0,8,2,0,0,0,0,0,0,0
1,0,4,2,3,0,0,6,7,0,4
4,0,1,1,1,1,1,1,2,0,0
3,5,2,0,1,3,0,9,8,0,1
・・・


Developers
Summit


KVS
clusterId = 5

userId = XYZ
クッキーから
情報取得
てRandomForest
clusterId = 5
結果を利用


Developers
Summit

MahoutでRandom Forest








Developers
Summit

決定木



Developers
Summit

Random Forest

c-2 c-5
c-2



Developers
Summit

MahoutでRandom Forest

% mahout org.apache.mahout.classifier.df.tools.Describe
-p path/to/cluster_id_to_vector_text_file #入力ファイル
-f path/to/dataset.info #データセット出力先
-d L 10 N #データフォーマット

% mahout org.apache.mahout.classifier.df.mapreduce.BuildForest
-d path/to/cluster_id_to_vector_text_file #入力ファイル
-ds path/to/dataset.info #データセットファイル
-o path/to/decision_forest #モデル出力先
-t 10 #作成する木の数



Developers
Summit

モデルのテスト

% mahout org.apache.mahout.classifier.df.mapreduce.TestForest
-i path/to/test/data #入力テストデータ
-ds path/to/dataset.info #データセットファイル
-m path/to/decision_forest/nsl-forest #モデルのパス
-a #テスト結果表示
-mr #mapreduceを利用
-o path/to/output/ #テスト結果出力先



Developers
Summit

テスト結果

12/10/13 18:08:56 INFO mapreduce.TestForest: Classification Time: 0h 0m 6s 355
12/10/13 18:08:56 INFO mapreduce.TestForest: ==================================
Summary
-------------------------------------------------------
Correctly Classified Instances : 17657 78.3224%
Incorrectly Classified Instances : 4887 21.6776%
Total Classified Instances : 22544

=======================================================
Confusion Matrix
-------------------------------------------------------
a b <--Classified as
9459 252 | 9711 a = normal
4635 8198 | 12833 b = anomaly
Default Category: unknown: 2



Developers
Summit


KVS
clusterId = 5

userId = XYZ
クッキーから
情報取得
てRandomForest
clusterId = 5
結果を利用


Developers
Summit

Classify
…

// decisionForestを取得
DataInputStream decisionForestBinary = getDecisionForestBinary();
DecisionForest decisionForest = DecisionForest.read(decisionForestBinary);

// datasetを取得
DataInputStream datasetBinary = getDatasetBinary();
Dataset dataset = Dataset.read(datasetBinary);

// スケール済ベクトルを取得
String scaledVector = getScaledVector();

DataConverter dataConverter = new DataConverter(dataset);
Instance instance = dataConverter.convert(scaleVectorString);

// ランダム関数
Random random = new Random();

// 結果を得る
double id = decisionForest.classify(random, instance);


Developers
Summit

モデル作成の流れ








Developers
Summit

ありがとうございました。
オウルデータで働きたい！
もっとくわしく聞きたい！
という方は
「Ask The Speaker」
でお待ちしております。



Devsumi2013_15-c-7 アドテク・ターゲティング技術

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Devsumi2013_15-c-7 アドテク・ターゲティング技術

Similar to Devsumi2013_15-c-7 アドテク・ターゲティング技術 (20)

Devsumi2013_15-c-7 アドテク・ターゲティング技術