熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」の資料です

1. HoloLensアプリ開発コンテスト
ビジネス部門で特別賞
もらってきた
熊本HoloLens Meetup vol.0
KumaMCN ガチ本

2. 自己紹介：藤本賢志
• 株式会社ナレッジコミュニケーション 熊本ラボ
• R&D戦略チームマネージャー
ナレコムVR
ナレコムAI

3. AI-EXPOで展示してきた
• (株)ナレッジコミュニケーション
• 4/4~6（3日間）50人くらいデモ
マニュアル表示 リモートサポート
物流・社会WG
xR WG

4. 椅子の組み立てマニュアル

7. © 2018 Knowledge Communication Co., Ltd.
Server-less 3D Model Cloud
株式会社ナレッジコミュニケーション

8. © 2018 Knowledge Communication Co., Ltd.
Overview
8
概要

9. © 2018 Knowledge Communication Co., Ltd.
Register Asset Bundle
9
Blob Storage Event Grid
event-grid
-connector
Local PC
Asset Bundle
(3D Model)
Put Blob
Catch Blob action
Send Blob action
metadata
assetBundleListregister-3d-modelQueue Storage
Register Blob path
of Asset Bundle
パソコンから、3Dモデル(.FBX)をアセットバンドル化したものをAzure Blob Storageにアップロード。
Function AppによってTableに登録される。

10. © 2018 Knowledge Communication Co., Ltd.
Start Application
10
Launch
HoloLens Application
アプリを起動。

11. © 2018 Knowledge Communication Co., Ltd.
Select 3D model
Show 3D Model List
12
Show
3D Model List
Chicken Bear
Dog Cat
＜＞
Chicken
Dog
assetBundleListload-3d-model-list
Return Asset Bundle List (JSON)
Send customerId (request query) Get Entities
Tableからアセットバンドルのリストを取得し、メニューに表示する。

12. © 2018 Knowledge Communication Co., Ltd.
Select 3D Model and Get Download SAS URL
13
sas-generator
Blob Storage
Return SAS URL (Plain text)
Send Blob container and asset bundle path (JSON)
Generate SAS URL
Asset Bundle
(3D Model)
Select 3D model
Chicken Bear
Dog Cat
＜＞
Chicken
Dog
Gaze & tap
to Select
メニューから、表示したい3Dモデルをタップする。

13. © 2018 Knowledge Communication Co., Ltd.
Download 3D Model
14
Blob Storage
Download Asset Bundle
via SAS URL (Binary)
Downloading... 68%
Show
Download Status
Asset Bundle
(3D Model)
3DモデルをAzure Blob Storageからダウンロードする。

14. © 2018 Knowledge Communication Co., Ltd.
Show 3D Model and get comment about the Model
15
Show
3D Model
commentListload-3d-model-list
Send customerId, modelId and language (JSON)
Return translated comment list (JSON)
Get Entities
3Dモデルが表示され、既存のコメントリストを取得する。

15. © 2018 Knowledge Communication Co., Ltd.
Show Comment Tabs
17
Comment
Show
Comment
ニワトリは、
鳥類の種のひ
とつ。
既存のコメントが表示される。

16. © 2018 Knowledge Communication Co., Ltd.
Select Mode
18
Comment
ニワトリは、
鳥類の種のひ
とつ。
3Dモデルのマニピュレーションとコメント貼り付け、音声入力時の言語の切り替え（日本語⇔英語）
Mode
Manipulate
Comment
Language
Manipulate：両手で移動・回転・スケーリング
の操作モード
Comment：コメントを貼り付けるモード
Language：音声入力時の言語切り替え

17. © 2018 Knowledge Communication Co., Ltd.
Add New Comment
19
Gaze & Tap
3D Model
Comment
ニワトリは、
鳥類の種のひ
とつ。
新しくコメントを追加するためには、3Dモデルをタップする。

18. © 2018 Knowledge Communication Co., Ltd.
Prepare to Recording Voice
20
Comment within
10 seconds.
add Comment
Start Cancel
Tap to start recording
Comment
ニワトリは、
鳥類の種のひ
とつ。
音声入力で10秒間のコメントを残すことが出来る。

19. © 2018 Knowledge Communication Co., Ltd.
Record Voice
21
Recording...
add Comment
Stop Cancel
Tap to stop recording
Comment
ニワトリは、
鳥類の種のひ
とつ。
Stopをタップすることで、録音を停止する。

20. © 2018 Knowledge Communication Co., Ltd.
Transcribe
22
Transcribing...
add Comment
Cancel
Bing Speech
Return transcribed text
Send wave file
Comment
ニワトリは、
鳥類の種のひ
とつ。
Bing Speech APIを用いて、録音したファイルをテキスト化する。

21. © 2018 Knowledge Communication Co., Ltd.
Show Transcribed Comment
23
早朝から「コケ
コッコー」と大声
で鳴く
add Comment
OK Cancel
Tap to register the comment
Show transcribed text
Comment
ニワトリは、
鳥類の種のひ
とつ。
テキスト化されたコメントが表示される。
Retry

22. © 2018 Knowledge Communication Co., Ltd.
Register Comment
24
Show message
Comment
早朝から「コ
ケコッコー」
と大声で鳴く
commentListregister-comment
Send comment and any other data (JSON) Insert Entity
Comment
ニワトリは、
鳥類の種のひ
とつ。
コメントリストへ新しいコメントを登録する。