機械学習+IoTなストリームエンジン、SensorBeeがOSSとして公開されました。そのSensorBeeとChainerを連携させるデモです。

1. SensorBeeでChainerを
ライブラリとして使う
Chainer Meetup #02
@disktnk
2016/03/19

2. 自己紹介
 田中大輔 (@disktnk)
– 某ﾋﾟｰ社 エンジニア
– アニオタ枠採用
– Chainer開発者では*ない*
– 元金融工学ライブラリ屋さん
– I love Java!
2

3. (特に) ネットワークのエッジ / フォグにおいて
ストリームデータに対して
機械学習 (特にDeep Learning) を利用した
非構造化データ向けのETLを
低レイテンシで適用することを目的としたツール
Stream Processing Engine for IoT
http://sensorbee.io
3

4. 参考: SensorBeeの特徴
 Stateful
– 非構造化データの加工・転送を担う
– プラグインと連携することにより、特徴量抽出や機械学習が可能。
 Expressive
– CQL (Continuous Query Language) の方言である BQL という、SQLライクなスク
リプトにより操作。
– スキーマレスであり、JSONライクな構造データを扱う
 Lightweight
– Go言語で実装。実行ファイルは大体30MBくらい。
– OS は特に限定していないが、普段は Linux や Mac で開発している
– Raspberry Pi でも動く (確認済)
– Windows でももちろん動くが、一部ブラグインでは要修正 (cgo周り)
4

5. ユースケース: カメラからの顔認識
 OpenCV の CascadeClassifier を使用した顔認識
– Haar-like、LBPなどのアルゴリズムを使用可能
5
ここで顔認識を行う
→x,y,w,h を出力するUDF
カメラのフレームデータ
を取得するSource

6. ユースケース: カメラからの顔認識
 OpenCV の VideoWriter を使用して動画にまとめる
6
x,y,w,h を元に枠で囲
むUDF
動画ファイル
を作るSink

7. ユースケース: ラブライブOP (第1期) と顔認識
7
ultraist様のLBPモデルを使用
http://ultraist.hatenablog.com/entry/20110718/1310965532

8. Chainerと組み合わせる
8

9. 顔の識別したい
 Chainerの出番
9
誰なのか知りたい

10. Illustration2vec
 Illustration2vec
– http://illustration2vec.net
– イラストのキャラ属性を特定するNN。VGGよりも精度が高い。
– 学習済のモデル (caffe model) まで配布されていて至れり尽くせり
– ただし今回、学習モデルは自分で作った。アニメOPから切り取った顔だと特定で
きなかったので。。。
 ImageNet でも十分な精度は得られるかも
– ディープラーニングでおそ松さんの六つ子は見分けられるのか 〜実施編〜
http://bohemia.hatenablog.com/entry/2015/11/22/174603
10

11. SensorBee から python を呼び出す
 sensorbee/pymlstate
– 機械学習に特化した python バインドプラグイン
11

12. SensorBee から python を呼び出す
 sensorbee/pymlstate
– 機械学習に特化した python バインドプラグイン
12

13. 参考: SensorBeeとPythonのリンク
 cgoを使ってPython.hとリンク
– pkg-configを前提としている
– windowsで動かすためにはちょっと修正が必要
 Pythonの基本型とSensorBeeのdata.Typeとを自動でConvert
– numpy系の型は手動で基本型へ変える
 PFN社内では多数実績あり
– インターフェースはまだ検討中、そのため version 0
13

14. ラブライブOP (第1期) でやってみた
14

15. おまけ: 顔認識からの
15

16. おまけ: 顔認識からの笑い男
 全ハッカーの憧れ
16
x,y,w,h を元に画像を貼るUDF

17. おまけ: ラブライブOP (第1期) と笑い男
17

18. Autonomous robot car control demonstration in CES2016
 https://www.youtube.com/watch?v=7A9UwxvgcV0
– こちらはちゃんとした実用例、バックエンドにSensorBeeを使用
18

19. ぜひ使ってみてください！
 http://sensorbee.io
 http://docs.sensorbee.io/en/latest/
 https://github.com/sensorbee/sensorbee
 ChainerのMNISTサンプルをSensorBeeから動かす
https://github.com/sensorbee/pymlstate/tree/master/example/mnist
 今回のデモ動画: https://github.com/disktnk/sb_facedetect_demo
19