Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング

2.960 visualizaciones

Publicado el

xR Tech Tokyo #8 のロングセッションの資料です。
Mixed Realityのおさらいと、HoloLensとImmerisive、PCを交えたコラボレーティブコンピューティングを実装した話です。

Publicado en: Ingeniería
  • Sé el primero en comentar

xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング

  1. 1. Mixed Realityではじまる コラボレーティブ・コンピューティングな世界 デコ・シ
  2. 2. 自己紹介 デコ・シ(@Ash_Yin) 氏名: 立原 愼也 所属: 株式会社ホロラボ 役職: プログラマ/リサーチャー 経歴 2017/04 大手電機メーカー(SE) 入社 2017/05 Unite2017で逆ナンされる 2017/06 大手電機メーカー(SE) 退職/ホロラボ入社 自己紹介
  3. 3. 個人の活動 FolloMap スマホからGPS情報を送信し、 HoloLensでマップを見る Buy FolloMap - Microsoft Store FolloMap - YouTube (ストア) (使い方) 素材はパワポでつくった
  4. 4. HoloLab Inc.
  5. 5. 会社概要 株式会社ホロラボ (HoloLab Inc.) 所在地:東京都品川区上大崎 資本金:2,000,000 設立日:2017年1月18日 創業者:5名 従業員:4名
  6. 6. 創業メンバー
  7. 7. 社員 & 仲間 外部研究員 たるこす @tarukosu 平社員 デコ・シ @Ash_Yin 代表社員 アキヒロ @akihiro01051 CTO/寿司職人 ゆーじ @yuujii CADエンジニア デザイナー アルバイト JackMasaki @JackMasaki 会計 社長夫人
  8. 8. 業務内容
  9. 9. よくわかるホロラボ
  10. 10. Mixed Realityについて
  11. 11. Mixed Realityとは? - 終わらない定義論争 - Microsoft Mixed reality is the result of blending the physical world with the digital world. https://developer.microsoft.com/en- us/windows/mixed-reality/mixed_reality https://youtu.be/_xpI0JosYUk
  12. 12. HoloLens おさらい
  13. 13. HoloLensってなに? -HoloLensおさらい- ・MS社が販売している頭部装着型のPC ・スタンドアロン・ケーブルレス
  14. 14. HoloLensのスペック -HoloLensおさらい- 項目 OS Windows 10 プロセッサ Intel Atom 32bit Microsoft Holographic Processing Unit (HPU 1.0) ストレージ 64GB メモリ 2GB 重量 579g スペックはスマホ相当 https://www.microsoft.com/ja-jp/hololens/buy
  15. 15. HoloLensの固有機能 -HoloLensおさらい- 視線 ジェスチャ 音声入力 空間認識 シェア 空間 マッピング https://developer.microsoft.com/en- us/windows/mixed- reality/development_overview
  16. 16. HoloLensの強い弱い -HoloLensおさらい- ここが強い ここが弱い •安定した位置追跡 •ケーブルレス、スタンドアロン - 装着コストが低い - 機動力が高い • 視野角が狭い - モデルの大きさや見せ方に工夫が必要 •CPU、GPU性能が低い - モデルの作りに工夫が必要 •値段が高い
  17. 17. HoloLensのある生活 -HoloLensおさらい- ← お手本 空間に自由にワークアプリを配置して作業できる ダメな例 → 空間に自由にtwitter、動画(アニメ)を配置できる
  18. 18. HoloLensの活用例 -HoloLensおさらい- Point ・既存の車への重畳表示 (カラーリング・フォルムなど) ・角度のシミュレーション (センサがどう働くか) ・音声アノテーション (技術者やデザイナーの空間ログ機能) ・サイドミラーシミュレーション Ford(自動車デザイン) https://www.youtube.com/watch?v=WZQ_DQD7F3U
  19. 19. HoloLensの活用例 -HoloLensおさらい- Point ・事前シミュレーション ・現場での情報および保守項目リスト ・遠隔支援および第3者による確認 ThyssenKrupp (保守・管理) https://www.youtube.com/watch?v=8OWhGiyR4Ns
  20. 20. HoloLensの活用例 -HoloLensおさらい- Point ・実寸大での表示 ・構造の理解 JAL (航空) https://www.youtube.com/watch?v=GjZgI2oDcwM
  21. 21. HoloLensの活用例 -HoloLensおさらい- Point ・Deep Learningを用いた顧客の好み抽出 ・家具配置シミュレーション ・行動解析(見ていた場所のヒートマップなど) LOWE’S (家具 キッチン) https://www.youtube.com/watch?v=gC_4JxF0e_k
  22. 22. HoloLensの活用例 -HoloLensおさらい- Point ・CTデータの閲覧 ロンドン大学 (医療) https://www.youtube.com/watch?v=TylDjQ1udZg
  23. 23. HoloLensの活用例 -HoloLensおさらい- Point ・建設するモデルを3Dで表示(空間共有) ・工程管理 ・文書や画像をHoloLens内に保存 小柳建設 (建設) https://www.youtube.com/watch?v=dW1amJLDwuQ
  24. 24. HoloLensの活用例 -HoloLensおさらい- Point ・建物完成イメージの視覚的理解 ネクストスケープ (不動産) https://www.nextscape.net/news/2017/05/20170523
  25. 25. HoloLens で辛かったこと ・Air-Tapのやり方を説明してもきいてくれない ・勝手にBloomされる ・つけ方が悪くて何も見えてなかった ・モデルが重い ・位置がずれる ・シェアリングって簡単にできるんでしょ? ・HoloLensを無理やり外される ・ヘッドバンドが折れる こ の あ と 滅 茶 苦 茶 セ ッ チ ャ ク し た
  26. 26. Immersive おさらい
  27. 27. 廉価版のHoloLensなんでしょ? -Immersiveおさらい- ・Gestureは使えません ・パススルーはできません ・環境マッピングは使えません ・スタンドアロンではない
  28. 28. HoloLensとImmersiveの機能比較 -Immersiveおさらい- 機能 HoloLens Immersive headset 入力 Gaze ✓ ✓ Gestures ✓ Voice ✓ ✓ Gamepad ✓ ✓ Motion controllers ✓ 空間認識機能 ワールド座標 ✓ ✓ 空間音響 ✓ ✓ Spatial Mapping ✓ https://developer.microsoft.com/en- us/windows/mixed-reality/development_overview
  29. 29. Mixed Reality Headsetの種類 -Immersiveおさらい- https://www.microsoft.com/en-us/store/collections/vrandmixedrealityheadsets 項目 解像度 2880 x 1600 視野角 110度 ディスプレイ 有機EL ヘッドフォン+デュアルマイクロフォンアレイ IPD調整機構付き $499.00
  30. 30. 海外から輸入した結果 -Immersiveおさらい- 海外のDell Shopなら 単体で購入できる しかも 技適の問題もなし http://www.dell.com/en-us/shop/the- dell-visor/apd/536-bbbr/gaming
  31. 31. 海外から輸入した結果 -Immersiveおさらい- 代行購入費用 送料 結果、倍した
  32. 32. うちのPCで動くの? -Immersiveおさらい-
  33. 33. 超簡単セットアップ -Immersiveおさらい- 難しいんじゃないの? - ケーブルを挿すだけ。だいたい10分で終わる。 コントローラがないんだけど - Xboxコントローラでも大丈夫。なんならマウスとキーボードでも操作できる。 外部センサーは? - いらなーい
  34. 34. 2Dアプリと3Dアプリの違い -Immersiveおさらい- 2Dのアプリ 3Dのアプリ
  35. 35. WebVR -Immersiveおさらい- 心 が ぴ ょ ん ぴ ょ ん す る 動 画
  36. 36. Window Mixed Reality for SteamVR -Immersiveおさらい-
  37. 37. Immersive で辛かったこと ・モーションコントローラが頻繁にトラッキングロストする ・コントローラがもはや認識すらしなくなった ・ファームウェアアップデートで動作不安定になる ・ファームウェアアップデートが強制 ・Unityのバージョンが隔離される ・バージョンアップすると動いたものが動かなる ・Steamでよくね?と言われる 全部動かなくなったわ ははっ
  38. 38. コラボレーティブ・コンピューティング
  39. 39. コラボレーティブ・コンピューティングとは http://news.livedoor.com/article/detail /9747068/ アレックス・キップマン 頑張って日本語にしたやつ 分かりやすい記事 http://dhero.hatenablog.com/entry/2017/10/10/%E3% 80%90%E7%BF%BB%E8%A8%B3%E3%80%91Mixed_Re ality_Q%26A_ Kinectの開発者 HoloLensの父
  40. 40. コラボレーティブ・コンピューティングとは - de:code - https://youtu.be/JxCUyhjwHW0?t=9m40sThe World of Hololens in 24 Months 透過型HMD PC 没入型HMD
  41. 41. Immersive と HoloLens 同じアプリケーションが動作する 空間配置 他のデバイスを使ったときの違和感が減る、 互いになるべく同じことができるようになっている 他にも、 ・Gazeの利用 ・AirTapとコントローラの入力の互換 ・音声入力 ・空間音響 統一感のあるメニューなどのUI
  42. 42. Immersive & HoloLensの活用例 Cirque du Soleil (演劇) Point ・HoloLens/Immersiveデバイスそれぞれのユーザーで一つのステージを作り上げる https://www.youtube.com/watch?v=vNz5Rw6TwCw
  43. 43. Immersive & HoloLensの活用例 Mixed Reality 250 Windows Mixed Reality - Acer and HoloLens Side-By-Side - YouTube Point ・HoloLens/Immersiveデバイスを使った協調作業のサンプルプロジェクト
  44. 44. MR脊椎・関節手術トレーニングシステム
  45. 45. マイクロソフト Mixed Reality パートナープログラム Microsoft Mixed Reality Partner Program/複合現実パートナープログラムは、 HoloLensやImmersiveヘッドマウントディスプレイ(以下Immersive HMD)他、 Mixed Reality(以下MR)技術によるシステムやソリューションを展開する優れた企業 に対してMicrosoft社から提供される認定制度 https://www.microsoft.com/ja-jp/hololens/commercial-build#agency-buckets 要するに
  46. 46. 稲波脊椎・関節病院 × HoloLab 稲波脊椎・関節病院について 稲波脊椎・関節病院は、国内トップの年間1,590件(2015年実績)の脊 椎内視鏡下手術実績を持つ岩井グループが、2015年7月に2院目とし て品川区東品川に開院した腰・膝の専門病院です。 「高度で、かつ 身体への負担が少なく、安心を与えられる医療」を実践することを目 的とし、最新技術導入へも積極的に取り組んでいます。その一環とし てHoloLens/Mixed Realityの手術トレーニング環境への導入をホロ ラボと共同で検証しています。 •URL: http://www.iwai.com/inanami-sekitsui/ •Facebook Page : https://www.facebook.com/inanami.hospital/ • 手術室にあるモニターを極力減らしたい。 - モニターの設置コストを下げたり、広い場所がとれない手術室でも活用できる • 研修医を受け入れており研修が終わってからのサポートが課題。初期からHoloLensでトレー ニングを行い、遠隔でもサポートできるようにしたい。 課題
  47. 47. 稲波脊椎・関節病院 × HoloLab - 開発環境 - https://www.slideshare.net/decode2017/mr04- unity-hololens/29 HoloLens側 Unity 2017.1.2 Visual Studio 2015 update 3 Immersive側 Unity 2017.2 MRTP3 Visual Studio 2017.15.3 60FPSのための指針
  48. 48. 稲波脊椎・関節病院 × HoloLab – Mixed Reality - Mixed Reality Toolkitは、Microsoft HoloLensとWindows Mixed Reality headset を対象としたアプリケーションの 開発を加速するためのスクリプトとコン ポーネントの集まりです。このプロジェ クトは、複合現実感アプリケーションを 作成するための参入障壁を削減し、皆が 成長できるようコミュニティに貢献する ことを目的としています。 MixedRealityToolkit – Unityは MixedRealityToolkitをベースとしたコード を使用しており、Unityでの利用を容易に します。 統一感のあるUIのために
  49. 49. 稲波脊椎・関節病院 × HoloLab – Mixed Reality - HoloLensでもImmersiveでも同じような動きが作れる
  50. 50. 稲波脊椎・関節病院 × HoloLab – Mixed Reality - とりあえずこれを入れよう、3種のコンポーネント MixedRealityCameraParent: CameraとBoundary Managers: Gesture, GamePad, HandControllerの入力を扱うコンポーネント Cursor: Gazeカーソル HTKを直接いじるような実装をしていなければ、これらPrefabを入れ替える だけでMRTK2017.2の環境に移植できます (ハズです) 今回もHoloLensベースで開発してImmerisveに移植した
  51. 51. 稲波脊椎・関節病院 × HoloLab - HoloLens側 - ・電子カルテをHoloLens画面内に表示 - モニターがなくなる ・トレーニング - 3Dオブジェクトの操作 (Bounding Box) - Sharing機能で同じ場所で同じモデルを見なが らコミュニケーションを行える Point 使用時間が長いアプリには、バッテリーと時間が分 かるようにしておくと便利 バッテリー残量は、 SystemInfo.batteryLevel でとれる
  52. 52. 稲波脊椎・関節病院 × HoloLab ・ボイスアノテーション 音声を記録した位置と視線の先の位置の保存。 「誰が」「どこから」「どこを見て」が記録に残る。 音声は記録された位置から再生されるので、声は空間音 響によって記録位置が音源となる。 (Ford社の事例にあるものを独自に実装)
  53. 53. 稲波脊椎・関節病院 × HoloLab ・ビデオチャット (WebRTC) HoloLensのMixed Reality Capture(MRC)映像とマイクか らの音声をWebRTCで遠隔地のコンピューターに送信 (ThyssenKrupp社の事例にあるものを独自実装)
  54. 54. 稲波脊椎・関節病院 × HoloLab ・Immersive 同じ場所でのSharingは複数台の HoloLensが適しているが、遠隔地であ ればImmersiveデバイスでもよい。 ImmersiveデバイスでもHoloLensとほぼ 同じ機能が実装されているので、音声ア ノテーションやビデオチャットを行うこ とができる
  55. 55. 稲波脊椎・関節病院 × HoloLab 透過型HMD PC 没入型HMD
  56. 56. 稲波脊椎・関節病院 × HoloLab – まとめ - ・業界に依存しない、汎用的な仕組みづくりができた ・MRTKを使うと統一感のあるUIづくりができる ・でもツラミはいっぱい!
  57. 57. 頭募集中

×