More Related Content Similar to GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETC (20) More from GREE VR Studio Lab (20) GREE Tech Conf 2022 GREE VR Studio Laboratory - UXDev R&D Summary 2022 #GREETC1. REALITY株式会社 Director 白井 暁彦
GREE VR Studio Laboratory
- UXDev R&D Summary 2022
REALITY株式会社 Intern 堀部貴紀 中野友介 加藤琢磨
Alexandre Berthault
5. •GREE VR Studio Laboratory, REALITY株式会社
•UXDev https://vr.gree.net/lab/uxdev/
•チーム紹介 https://vr.gree.net/lab/internship/
GREE VR Studio Laboratory
- UXDev R&D Summary 2022
5
6. 弦楽器・打楽器における AI Fusion: システム構成
技術課題:モーションキャプチャーを使う
と楽器演奏が難しい。
正解譜面から生成したアニメーションは
(演奏として正しいが)見ていて飽きる。
個人の表現力の豊かさを維持しながら
将来的にネットワーク上で
「アバターカラオケ」ができる気軽さが
可能になるAIアシスト技術を開発。
参考:正解譜面だけで生成した
ドラムアニメーション
7. みんなで楽曲を演奏する体験
Collaborative Music Play Experience
REALITYのアバターで Questだけで
メタバース内でスクールバンドのメンバーに
なれる体験ができる……!
自由度が高い近未来の「アバターカラオケ」
GREE VR Studio Laboratory、メタバース
時代のアバターを活用したクリエイターエコノ
ミーを刺激~バーチャル演奏技術映像 「AI
Fusion」を公開~
PRTIMES 2022/10/19
9. 音声から表情を生成する研究
【NVIDIA Audio2Face】
Facial Action Coding Systemに基づくと思われるBlendShapeを46項目取得する
例えば、口唇の動きに関係する値は、Audio2Face:24項目, REALITY VRM:5項目
→ 互換性がない、表現方法が制限される。
フォトリアルなアバターとアニメ調のアバターの構成の違い
https://www.nvidia.com/ja-jp/omniverse/apps/audio2face/
Related Works Avatar File Format Languages
Audio2Face (NVIDIA) 3D Photo-Realistic .usd, Maya 英語、フランス語、
ロシア語
MeshTalk (Facebook) 3D Photo-Realistic .obj
MakeItTalk (Adobe) 2D Any
関連研究
10. 音素セグメンテーション
Julius Segmentation-Kit
Voice/音声
時刻[s], 音素
モーラ変換
時刻[s], モーラ
0.0000 1.2125 silB
1.2125 1.3025 m
1.3025 1.3425 a
1.3425 1.3725 d
1.3725 1.4525 a
1.2125 1.3425 ma
1.3425 1.4525 da
1.4525 1.5625 mi
1.5625 1.6625 ta
…
…
.anim
● 「あいうえお」に対応するBlendShapeを用いたアニメーション
● 母音/子音の分類は可能 → 母音/子音を考慮したキーフレーム
● 口の開き具合、眉毛の角度/動きによる感情表現の重要性
→ 音声信号処理と表現に対する機械学習を利用した改善
In Unity
母音から口の形状の決定
Voice2Emote:パイプライン
12. UXDev エフェクト
Visual Effect Graph
12
Pros
● Optimised
● Multiple systems
● Easy iteration
● Compatible with shaders
● No easy collisions
Cons
● No easy collisions
21. SIGGRAPH ASIA 2022にPosters採択
• Cross-platforming “School life
metaverse” user experience
• メタバースで学校生活を体験する中で必要
になってくるのはどんなことだろう?
• HMD時代のREALITYを考えてどれぐらい
のアバターを描画できるか?
• こちらもnoteを制作予定です!
22. emoji, button-tap type “continuous tap”
Continuous tap detection: The emoji button is tapped twice (or more) within 1
second.
• Solving practical problem such as large number of server requests.
• Expressing the magnitude of the viewers’ emotion.
Today’s following talk “Continuous tap”
23. Bottom axis: Video Playback time [s]
Requests
Left axis: The cumulative count of taps or requests within 5 s.
Right axis: The single moving average (5 s window with the resolution of 1 s/red line)
Taps
Result
29. 六本木で開催中の
GREE Tech Conf 2022
会場から配信中!!
Oculus Questで
REALITYのアバターを
使ったバンド体験が
できます
コメント歓迎です
詳細は
vr.gree.net/lab/uxdev
30. GREE VR Studio Lab
=「すごいことを楽しそうにやる」
UXDevティザーシリーズは
各国語版を http://vr.gree.net/lab/uxdev
にて公開しています
学術面も論文賞授賞、CEDEC、
SIGGRAPH ASIA採択など豊作
技術紹介はこちら
YouTube: https://j.mp/VRSYT