1. 機械学習と
jubatus
IPROS 2013/04/09
株式会社イプロス 山口隼也
@junya100
13年4月10日水曜日

2. 機械学習
とは？
13年4月10日水曜日

3. 人間が自然に行っている学習能力
と同様の機能をコンピュータで実
現しようとする技術・手法のこと
by wikipedia
13年4月10日水曜日

4. 機械学習とは、
人間では到底処理できない
膨大なデータを元に
学習＆判断を行ってくれる
仕組み！
13年4月10日水曜日

5. これで何ができるのか？
13年4月10日水曜日

6. ・予測（不良検知、株価予測…）
・分類（スパム検出、Gmail優先フォル
ダ、カテゴリ付与、DNA配列…）
・パターン認識（音声認識、文字認識…）
・検索エンジン（ランクアルゴリズム）
・レコメンドエンジン
・機械翻訳
・ロボット
・・・
13年4月10日水曜日

7. 機械学習システムは、
どういうものがあるのか？
13年4月10日水曜日

8. 最も有名なのは、
Apache Mahout
13年4月10日水曜日

9. Mahoutは、既に旧世代の
MLエンジンと言われている
13年4月10日水曜日

10. では、
最新のMLエンジンとは？
（第３世代機械学習）
13年4月10日水曜日

11. 1. リアルタイム
2. 深い解析
3. 分散処理
これらを同時に満たす！
※Mahoutは3のみ。
13年4月10日水曜日

12. ○BSP(Bulk Synchronous Parallel)ベース
Google Pregel
Apache Hama
Apache Giraph
○Iterative MRベース
Spark
HaLoop
Twister
Piccolo
13年4月10日水曜日

13. BSP、MR、IterativeMR
の関係性
出展元：http://sssslide.com/www.slideshare.net/doryokujin/largescale-graph-processingintroduction
13年4月10日水曜日

14. 本命は、
Jubatus
13年4月10日水曜日

15. Jubatusとは、
NTTとPFIが共同開発した
オープンソースの
MLフレームワーク
13年4月10日水曜日

16. 機械学習の基本
（教師データありの分類の場合）
教師データ
機械学習
特徴抽出
文書
（ベクトル化）
分類
実データ ベクトル 分類器 モデル
13年4月10日水曜日

17. リアルタイムのオ
大規模データでも
ンライン機械学習
スケール可能
（パーセプトロ
ン、PA・・・）
モデルの一部を
共有するだけ
で、全体の精度
を保つ
センサー
(Jubatus
クライアント)
Jubatusサーバ モデル
13年4月10日水曜日

18. Demo
製品の自動カテゴリ付け
13年4月10日水曜日

19. ■jubatusとmecabのインストール
$ brew tap jubatus/jubatus
$ brew install --HEAD pficommon
$ brew install --HEAD re2
$ brew install mecab
$ brew install jubatus
※注意
brewでインストールすると以下のようにre2が無効になってしまうし、
mecabが入らないので
$ ./waf configure --prefix=/usr/local/Cellar/jubatus/0.4.2 --disable-re2
以下のコマンドを自分で打つ
$ ./waf configure --prefix=/usr/local/Cellar/jubatus/0.4.2 --enable-mecab
$ ./waf build
$ ./waf install
■ipadicも忘れずにインストール
$ ./configure --with-mecab-config=
/usr/local/Cellar/mecab/0.994/bin/mecab-config --with-charset=utf8
$ make
$ sudo make install
■jubatusクライアントのインストール
$ sudo pip install jubatus
13年4月10日水曜日

20. ■jubatusサーバとして、分類器（jubaclassifier）を起動
$ jubaclassifier --configpath config.json
■config.jsonの設定
{
"method": "PA",
"converter": {
"string_filter_types": {},
"string_filter_rules": [],
"num_filter_types": {},
"num_filter_rules": [],
"string_types": {
"mecab": { "method": "dynamic", "function": "create", "path": "/usr/local/Cellar/jubatus/0.4.2/
lib/jubatus/plugin/libmecab_splitter.dylib"}
},
"string_rules": [
{ "key": "*", "type": "mecab", "sample_weight": "tf", "global_weight": "idf" }
],
"num_types": {},
"num_rules": []
},
"parameter": {}
}
13年4月10日水曜日