HoloLens RS4 Preview公開記念勉強会！＠アカツキ(2018/4/17)での発表資料です．

1. HoloLens RS4でWindowsML
入門+Research mode実装
株式会社ホロラボ

2. アキヒロ
• ホロラボ社員
• Twitter : @akihiro01051
• Facebook : akihiro.ueyama.50
• Web : http://akihiro-document.azurewebsites.net/

3. 作ったもの

4. • コードの詳細はブログ、githubで紹介
• http://akihiro-document.azurewebsites.net/
• https://github.com/akihiro0105

5. WindowsML入門

6. Windows Machine Learning(WindowsML)っ
て？
• 機械学習利用ツール
• 学習は外部ツールで行う
• Windows10 17110以上で対応
• UWP対応
• CPU,GPU動作可能
• onnx形式利用
• ローカル動作可能
• 画像ベースでの利用
• https://docs.microsoft.com/en-us/windows/uwp/machine-learning/

7. できること
• 複数の機械学習ツールの結果を利用可能
• CNTK, TensorFlow, Caffe
• インターネット接続不要
• Windows.AI.MachineLearning.Preview
• GPUによる高速化
• 入力データを選べる
• 画像，動画，カメラ映像
• UWPで動く
• HoloLens,RaspberryPi3

8. WindowsML動かす

9. WindowsMLサンプル
• パソコン動作
• Windows10 Insider Preview
• 学習済みモデル同梱
• すぐに試せる
• 手書き数字認識 ->
• https://github.com/Microsoft/Windows-Machine-Learning

10. • 画像物体認識 ->

11. • 画像認識，Webカメラ認識 ->

12. HoloLensでも動かしたい

13. HoloLensでサンプル(書きにくい)
• https://youtu.be/2SVJkzBXSIg

14. HoloLensのカメラからWindowsML
• https://youtu.be/zlhK6Z1kjsQ

15. Unityで手書き機能を追加+WindowsML
• https://youtu.be/ecaRlO-SSCc

16. 機械学習全部したい
• 学習用データ収集
• 学習用データ整理，ラベル付け
• 機械学習(DeepLearning)
• 学習済みモデル変換
• モデル組み込み，利用

17. CustomVisionで学習させてみる
• https://twitter.com/akihiro01051/status/979348920680685568

18. Unityで手書き，画像保存アプリ作成

19. • がんばって整理，ラベル付け
• フォルダ分け

20. CustomVisionに入れて機械学習(Azure)
• https://azure.microsoft.com/ja-jp/services/cognitive-services/custom-vision-service/

21. Bash on Windowsでonnxに変換
• Windows上でUbuntu(Linux)環境が動作
• Windows10 Home,Proで利用可能
• UbuntuのPythonから変換プログラムを動作

22. 組み込み，利用
• https://github.com/akihiro0105/WindowsMLDemo_HoloLens_Unity

23. • 機械学習の流れ
• 学習用データ収集
• 学習用データ整理，ラベル付け
• 機械学習
• 学習済みモデル変換
• モデル組み込み，利用

24. • 機械学習の流れ
• 学習用データ収集 <- HoloLens
• 学習用データ整理，ラベル付け <- パソコン
• 機械学習 <- CustomVision(Azure)
• 学習済みモデル変換 <- Bash on Windows(Ubuntu)
• モデル組み込み，利用 <- HoloLens

25. • Microsoftありがとう

26. Research mode実装

27. Research modeって？
• 今まで
• RGBカメラのみ
• RS4から
• トラッキングなどに利用されていたセンサも
• 短距離赤外線カメラ
• 短距離Depthカメラ
• 長距離赤外線カメラ
• 長距離Depthカメラ
• 環境認識カメラx4

28. 何ができるの？

29. チェック入れて再起動で有効化

30. サンプル動かしてみる
• https://youtu.be/PRqx_yiniAc
• https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates

31. • サンプルはC++のみ
• 特殊な機能を有効化，許可の設定
• https://docs.microsoft.com/ja-jp/windows/uwp/packaging/app-capability-declarations
• サンプルはアプリを終了するとトラッキングができなくなる
• 要再起動

32. C#で使ってみる
• https://youtu.be/8flrbvyTnoc

33. Unityで使ってみる
• https://youtu.be/L83hcLJUQuk

34. 重ねてみる(魚眼だからずれる)
• https://twitter.com/akihiro01051/status/979295950291156992

35. まとめ
• ブログ見て
• WindowsML
• 学習データ収集，学習済みモデル利用にHoloLensは最適
• コスト高な学習フェーズのみ外部で -> Azure便利
• Research mode
• カメラたくさん！
• RGB以外のデータが手軽に使える

36. • HoloLens RS4でHoloLensの可能性up
• WindowsMLでローカル，高速，簡単認識
• Research modeで新たな入力情報の活用