HoloLensのおさらいと、RoomAlive Toolkitを試してみたおはなし

1. RoomAlive - HoloLensに向けていまできること
蜜葉 優

2. • H.N. :蜜葉 優 [@mitsuba yu]
• UX Designer / Interaction Developer
• Keynoteの表紙はいつも自分で撮影
• 今回はホワイトホースのオーロラ
• 最近のお仕事はWPFとStoreApps(!UWP)
• Microsoft MVP for Windows Development
• http://c-mitsuba.hatenablog.com
profile

3. いま一番さわってみたいものといえば

4. 今日はKinectとプロジェクタを使って
AR的なことをやってみます。

5. その前段階の技術として、
今日はRoomAliveを紹介します。

6. • HoloLensおさらい
• RoomAliveとは
• DEMO
• 開発環境とか
agenda

7. HoloLens

8. • メニューがでてくる
• 部屋の形状を認識できる
• ブラウザとか3Dオブジェクトを、ホログラム
的に表示できる
• オブジェクトは部屋のどの位置に表示されて
いるか記憶されている
• 回りこむと、オブジェクトの裏側が見える
HoloLens おさらい

9. RoomAlive

10. RoomAlive

11. ね、ほろれんずみたいでしょう？

12. • MS Researchが開発してる
• Kinectで部屋の形状を認識して、
いい感じに複数のプロジェクタで 部屋中を投影する
貴族向けプロジェクションマッピング技術
（ただし１プロジェクタでも可）
• Magical Experiences Enabled by Scalable, Adaptive Projector-Camera
Units
• https://www.youtube.com/watch?v=ILb5ExBzHqw
RoomAliveとは

14. • ちなみに全身となった
illumiRoomは2013年に
発表されてる。
• ディスプレイにプロジェ
クタを向けて、画面外に
もゲームを投影する技術
• HoloLensが来年に
DeveloperKitが出るので
ほぼ３年越し。
• (プロジェクタで遊んだらいいやん
(とは言わない約束
• (雰囲気大事

15. とりあえずやってみよう
DEMO

16. • ソフトウェア
• Kinect for Windows v2 SDK -> 公開されてる
• RoomAlive Toolkit ->GitHubで公開されてる
• ハードウェア
• Kinect v2 ->先週買ってきた
• プロジェクタ -> ご家庭のものでOK
• GPU付きの速いぱそこん ->べるびゅで仕入れ！
開発環境

17. • 部屋の片付け -> これが一番大変
• プロジェクターとKinectをマッピングしたい面
に投射
• この時平面にマッピングしようとするとエラーに
なる！！！
• パソコンの画面設定は拡張モードにする
RoomSetup

18. • KinectServer.exeを管理者権限で起動
• Socketで深度とか返してくれる
• ProjecterServer.exeを管理者権限で起動
• たぶん画面情報取得してる
• CalibrateEnsemble.exeでcalibration.xmlを生成
• XMLを環境に合わせて、微妙に書き換える
• Calibrationする
CalibrationSetup

19. • Calibrationしたら、いろんな素材を書き出して、
使う。
• XMLの保存もわすれずに。
CalibrationSetup

20. • マッピング情報が設定できてるはず、、なので、もう
Kinectは必要ない。
• 別のトラッキングにKinectを使える
• Calibrationすると、マッピング情報のXML以外に、
Kinectを照射したオブジェクトとテクスチャが一緒に保存
される。
• ProjectionMappingSample.exeをcalibration.xmlのファイ
ルパスを引数に実行
Calibrationできた！

21. 出来上がったファイルを見てみよう

22. 出来上がったファイルを使って、サ
ンプルを動かしてみよう

23. これだけだとあれなので、
生成したオブジェクトとテクスチャ
を使ってみよう
時間があれば。。。

24. • RoomAlive toolkitはプロジェクションマッピングツール
• プロジェクションマッピングに必要な様々なリソースを
作成できる。
• 点群plyファイル
• 面のついたobjファイルとテクスチャ
• RGBカメラで撮った画像ファイル jpg ttf
• 深度センサで作成したモノクロ画像ファイル
• マッピングのコンフィグが書かれたXML
まとめ

25. • RoomAlive toolkitのサンプルはSharpDXでできてる
けど、素材を使っていろんな方法で開発できる
• 例えばUnityとかで、コンフィグのxmlを使って、パース
が設定されるようなカメラを作成すれば、簡単にマッピ
ング可能
• 他にも、できた3Dモデルを、実世界に投影して輪郭だけ
動かしたりもできそう。
• 素材作りは簡単、実装はそこそこ、環境作りが一番大変
まとめ