特徴ベクトル変換器を作った話 #dogenzakalt
•Descargar como PPTX, PDF•
35 recomendaciones•11,552 vistas
道玄坂LT祭り第2回(統計、機械学習、データ抽出)で話す内容です。 https://atnd.org/events/61589 https://github.com/tokoroten/forth_fv_converter
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Destacado
Destacado (20)
Más de Tokoroten Nakayama
Último
Último (11)
特徴ベクトル変換器を作った話 #dogenzakalt
- 2. 自己紹介 • ところてん – https://twitter.com/tokoroten • ZenClerkの雑用 – アドテクの機械学習の論文読んで、 EC向けに再実装とかしている • ZenClerk – http://www.zenclerk.com/ – ECサイトを見ている人の行動をリアルタイム分析 – 最適なタイミングでインセンティブを提示すること でCVRを大きく引き上げるサービス
- 3. 目次 • データ分析の処理の流れ • 二つの世界、本番環境の課題 • ベクトルコンバーターの話
- 4. 目次 • データ分析の処理の流れ • 二つの世界、本番環境の課題 • ベクトルコンバーターの話
- 7. 前処理のニーズ • データフォーマットの変換 – 生データを学習器が読み込めるVector型に変換する • JSONから値を引きずり出す • 画像をベクトル化、グラフを処理してベクトル化 – 異なるデータソースを手動join • 特徴量チューニングによる精度改善 – 利用する変数の取捨選択、欠損値の対応、異常値の除外 – 変数のクリッピング（最大値、最小値） – 変数のログスケール変換（負の値の対応） – 変数を演算して、線形分離しやすい新しい変数を作る • 正規化、足し算、引き算、割り算、分散 – bool値を0,1に変換 – ラベル変数を0,1に変換
- 8. 特徴量チューニングの例 ランダムフォレストのつかいかた – じじいのプログラミング http://shindannin.hatenadiary.com/entry/2014/12/24/235530
- 11. 目次 • データ分析の処理の流れ • 二つの世界、本番環境の課題 • ベクトルコンバーターの話
- 12. 二つの世界 本番環境 データ分析環境 言語 Ruby、node など サービスを作りやす い言語 Python、R など データ分析が行いやす い言語 データ構造 JSON、RDB Vector タイムスケール 50ms or die リアルタイム 夜中にバッチ回して朝 確認 機械学習 ライブラリ 総合的なものは少な い 総合的なライブラリが 存在
- 15. 目次 • データ分析の処理の流れ • 二つの世界、本番環境の課題 • ベクトルコンバーターの話
- 17. ベクトルコンバーターの概要 • 設定ファイルを読み込んで、JSONの生データを特徴 ベクトルに変換する簡易Forthインタプリタ – Forthは言語仕様がコンパクトなので、他言語への移植や、 機能追加が容易 • JSやPythonのコードに、Source to Sourceコンパイ ル可能 • 特徴量チューニングで利用される主要な操作をカバー 生データ 特徴 ベクトル ベクトル コンバータ 設定 ファイル JSの前処理 コード 特徴 ベクトル JSのコードを出力 生データ
- 19. コード例：単純参照 { a: 10.0, b: 200.0, c: 50.0, e: { hoge: 1000 } } a b c d e.hoge 10.0 200.0 50.0 0.0 1000 入力されるjson 設定ファイル 出力特徴ベクトル JSONに対して、透過的にアクセス可能 入れ子になっている変数もアクセス可能 欠損値は自動的に0.0になる 変数の取捨選択はこれだけでOK
- 20. コード例：演算 a b add a b sub a b div a c add log1p a b div log1p a 100 200 chop 210.0 -190.0 0.05 4.1108 0.0487 100.0 入力されるjson 設定ファイル 出力特徴ベクトル a + b a – b a / b log((a + c) + 1) log((a / b) + 1) max(100, min(200, a)) 中置記法による疑似コード ※chopの実態は sorted([a,100,200])[1] { a: 10.0, b: 200.0, c: 50.0, e: { hoge: 1000 } } 演算は逆ポーランド記法(簡易Forth)で行われる
- 21. コード例：簡易Forthによる処理例 入力されるjson { a: 10.0, b: 200.0, c: 50.0, e: { hoge: 1000 } } a c add log1p 10.0 10.0 50.0 a c 60.0 add 4.110 log1p 4.110 • forthはスペースセパレータで、ワード単位で実行 • ワードが予約語であれば、予約語を実行 • ワードが予約語でなければ、入力されたjsonを参照 • 入力されたjsonに値が存在すれば、スタックに積む • 入力されたjsonに値が存在しなければ、0.0を積む ※log1p(x)は、log(x+1)と等価 をステップ実行してみる スタックの一番上 が取り出される
- 22. 等価なJavaScriptの出力 a c add log1p function(target_obj) { var t1, t2, t3; var stack = new Array(); stack.push(target_obj.a === undefined ? 0.0 : target_obj.a); stack.push(target_obj.c === undefined ? 0.0 : target_obj.c); stack.push(stack.pop() + stack.pop()) t1 = stack.pop(); stack.push(t1 > -1.0 ? Math.log(t1 + 1.0) : -744.4400719213812); return stack.pop(); } forthの処理がすべて1つの関数に展開される 元となるオブジェクトに関数を適用すると、特徴変数が得られる JITで最適化されるといいなぁ・・・
- 24. まとめ • データ分析の課題 – 前処理の試行錯誤のために、前処理を外部に切り出 す必要がある • 本番環境の課題 – 本番環境は、データ分析環境と別言語であることが 多い – 別言語の環境で、同質の前処理の再実装が必要 • ベクトルコンバータの提案 – 前処理を記述するForth風の言語 • Python上で動くForthインタプリタとして実装 • 同質なJSを出力する機能を持つ – 同質の前処理をデータ分析環境と、本番環境に提供