SIG-Audio#15 GDC2018オーディオ報告会 「没入感あるサウンド制作への取り組み」

1. 株式会社CRI・ミドルウェア
GDC2018セッション受講レポート
「没入感あるサウンド制作への取り組み」
SIG-Audio GDC2018オーディオ報告会 2018/5/31
1
研究開発本部 エンジニア
石松 宏幸

2. GDC2018 オーディオセッション受講レポート「没入感あるサウンド制作への取り組み」
Aaron Brown (Audio Director, Aaron Brown Sound)
2
報告するセッション
5D Audio
Winifred Phillips (Composer, Generations Productions, LLC)
Music in Virtual Reality
The Demonic Sound of 'Paranormal Activity: The Lost Soul'
Robert Rice (Technical Sound Designer, VRWERX)

3. GDC2018 オーディオセッション受講レポート「没入感あるサウンド制作への取り組み」
3
セッション報告1
5D Audio
Aaron Brown
(Audio Director, Aaron Brown Sound)
http://www.aaronbrownsound.com
@aaronbrownsound

4. GDC2018 受講レポート1 “5D Audio”
4
概要
・”Audio Bootcamp” シリーズの中の1セッション。
・没入感を与えるサウンドをどう作るかというテーマについ
て、「5次元」という考え方を導入して紹介するというチュート
リアル。
・VRゲームを中心とした話だが、いわゆる立体音響について
の話ではない。

5. GDC2018 受講レポート1 “5D Audio”
5
”5次元” とは（動画）

6. GDC2018 受講レポート1 “5D Audio”
6
”5次元” まとめ
2D = slice of 3D space
3D = snapshot of 4D time
4D = slice of 5D out of all possible probability outcomes
5D = the slice we perceive every day
つまり4次元めを「時間」、5次元めを「選択」とする。

7. GDC2018 受講レポート1 “5D Audio”
7
聴覚の仕組み

8. GDC2018 受講レポート1 “5D Audio”
8
聴覚の仕組み
極めて複雑

9. GDC2018 受講レポート1 “5D Audio”
9
音を聞くプロセス
・脳はパターン探索機である。
・脳と耳は常にモニタリングし、様々な可能性について反応できる
ようにしている。
・数万の毛細胞が、毎秒数千の出来事を解析している。
内耳の基底膜にさえ達していない音もあるかもしれない。
耳はマイクではない。
脳はデジタルレコーダーではない。

10. GDC2018 受講レポート1 “5D Audio”
10
“5D Audio” の目的
StarVR : “没入感”の視覚的なアプローチ
1. 選択を誘導する
2. ミックスを改善する
3. より没入感を出す
4. ゲーム操作を駆り立てる
5. 感情を引き立てる

11. GDC2018 受講レポート1 “5D Audio”
11
1. 選択を誘導する
・脳は一度に一つまでしか注目できない。
・何に注目すべきかを音で伝える。（注目点を操作する）
・無音を有効に使う。
コントラスト

12. GDC2018 受講レポート1 “5D Audio”
12
1. 選択を誘導する
・脳は重要だと思った周波数帯域をより注目する。
・時間変化の無い帯域は無視されるようになる。
・周波数マスキング効果により、高いレベルを持つ周波数の近辺の
帯域は聞こえにくくなる。
周波数

13. GDC2018 受講レポート1 “5D Audio”
13
2. ミックスを改善する
・古典的な再生停止駆動ダッキングは最早通用しない
・サイドチェインを使い、選択的に音量／EQのダッキングをかける
ことが効果的
・VRゲームでは環境音のダッキングをしないこと
ダッキング

14. GDC2018 受講レポート1 “5D Audio”
14
3. より没入感を出す
・MMN (Mismatch Negativity)
予期せぬ音により没入感が阻害される。
- 不出来なバリエーション設定、矛盾した物理、意図しない無音など
・SSA (Stimulus Specific Adaptation)
慣れと違う音に対してより敏感になる。
意図せず珍しいパターンの音を出すと注目がいってしまう。
MMN と SSA
VRゲームでは音の正確性・首尾一貫性が重要

15. GDC2018 受講レポート1 “5D Audio”
15
4. ゲーム操作を駆り立てる
・脳科学の用語で「条件反射」のようなもの。
・パターンや繰り返しを使い、プレイヤーの脳をトレーニングする。
・ 脳はパターン探索機である。 （再掲）
・ゲーム”INSIDE”が良い例。音で何をすべきか伝えている。
Hebbian Plasticity (ヘブ則)

16. GDC2018 受講レポート1 “5D Audio”
16
5. 感情を引き立てる
・声は最も強力に感情を引き立てる。
- 例: Robo Recall の声無し版と声あり版の違い
声
・1 ~ 4kHzの音は控えめにし、ここぞというときに出す。
・コントラストで恐怖を演出できる。
恐怖

17. GDC2018 受講レポート1 “5D Audio”
17
まとめ
・「時間」や「選択」は次元の一つである。
・脳はパターン探索機である。
・これらを踏まえた上で、より良いユーザー体験を作る具体的な方
法を考察した。

18. GDC2018 オーディオセッション受講レポート「没入感あるサウンド制作への取り組み」
18
セッション報告2
Music in Virtual Reality
Winifred Phillips
(Composer, Generations Productions, LLC)
http://www.winifredphillips.com/
@winphillips

19. GDC2018 受講レポート2 “Music in Virtual Reality”
19
概要
・VRゲームでの音楽について必ず直面する問題についてのまと
め。
- 3D or 2D
- Diegetic or Non-Diegetic
- Comfort or Performance
・様々なケースでの制作事例の紹介。

20. GDC2018 受講レポート2 “Music in Virtual Reality”
20
立体音響の歴史
VRゲームが登場して立体音響が重要視されるようになった。
→音楽はどうすれば？

21. GDC2018 受講レポート2 “Music in Virtual Reality”
21
VR音楽の課題1
・音楽は普通のステレオミックスで良いのか？
・それとも3D空間を意識して作ったほうが良いのか？
・3D空間を意識するとは具体的にはどういうことか？
2D or 3D

22. GDC2018 受講レポート2 “Music in Virtual Reality”
22
2D or 3D
イギリスのHull大学の研究によると、通常のステレオミックスでも感情に与え
る影響は変わらなかった。
つまり、VRゲームでもBGMはステレオでよい。
しかし、空間を意識することによる恩恵はある。

23. GDC2018 受講レポート2 “Music in Virtual Reality”
23
“Fail Factory” の例
ミニゲーム全体が音楽に同期している。
・音楽はステレオミックスで作る。
・重要な音を3D空間上に配置し、音楽の1トラックとして再生する。

24. GDC2018 受講レポート2 “Music in Virtual Reality”
24
“DRAGON FRONT” の例
2Dから3Dに途中で切り替えるという例。
・タイトル画面ではステレオで再生する。
・その後、3D空間にあるオブジェクトからの再生に切り替える。

25. GDC2018 受講レポート2 “Music in Virtual Reality”
25
VR音楽の課題2
音楽はゲームの中の世界で鳴る音なのか？
Diegetic or Non-Diegetic

26. GDC2018 受講レポート2 “Music in Virtual Reality”
26
“bebylon” の例
完全にダイエジェティックな例。
ゲームの中の世界で演奏されている。

27. GDC2018 受講レポート2 “Music in Virtual Reality”
27
非ダイエジェティックのときのアプローチ
・Subtle and Gradual
・Dry and Warm
・Inside and Outside

28. GDC2018 受講レポート2 “Music in Virtual Reality”
28
“SCRAPER” の例（非戦闘時）
方針は“Subtle and Gradual” （細かく緻密に、かつゆるやかに）
戦闘時などの激しいシーンには不向きなアプローチ。

29. GDC2018 受講レポート2 “Music in Virtual Reality”
29
“SCRAPER” の例（戦闘時）
ゲームプレイ中はどこで音が鳴っているかが重要になる。
BGMでゲームプレイを阻害しないようにする必要がある。
ステレオミックスで、”Dry and Warm” を方針とした。

30. GDC2018 受講レポート2 “Music in Virtual Reality”
30
音の近接効果
マイクに密着して録音すると、ドライになり、かつ低音が強調される。
ヘッドホンで聞くと直接脳内に話しかけられているような感覚になる。
これを利用し、ドライミックスで、低音にEQかけ気味で音楽を作った。
Scraperの例
Fail Factoryの例

31. GDC2018 受講レポート2 “Music in Virtual Reality”
31
“DRAGON FRONT” の例2
“Inside and Outside”
非ダイエジェティック（Outside）からダイエジェティック（Inside）に切り替わる。

32. GDC2018 受講レポート2 “Music in Virtual Reality”
32
VR音楽の課題3
・VR酔いは音楽で軽減できる。逆に集中を阻害し得る。
・状況に合った、リスナーの期待する音楽が効果的。
・”Scraper”のような近未来の激しいアクションではどうする？
Comfort or Performance

33. GDC2018 受講レポート2 “Music in Virtual Reality”
33
“SCRAPER” の例（戦闘時2）
プレイヤーの気持ちを高揚させるヒーローソング風にした。
ポジティブな印象を与えるようにしつつ激しい戦闘を表現した。

34. GDC2018 受講レポート2 “Music in Virtual Reality”
34
“Fail Factory” の例3
ミニゲーム間のトンネル移動はVR酔いを起こしやすい。
ここではわくわく感を出す音楽が最も合っていると考えた。

35. GDC2018 受講レポート2 “Music in Virtual Reality”
35
まとめ
・VRゲーム音楽の三大問題をまとめた。
- 3D or 2D
- Diegetic or Non-Diegetic
- Comfort or Performance
・それぞれのケースにおける実際の取り組みを紹介した。

36. GDC2018 オーディオセッション受講レポート「没入感あるサウンド制作への取り組み」
36
セッション報告3
The Demonic Sound of 'Paranormal Activity: The Lost Soul'
Robert Rice
(Technical Sound Designer, VRWERX)
http://www.robertricesound.com
@RobertRiceSound

37. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
37
概要
・VRホラーゲーム”Paranormal Activity: The Lost Soul”の効果音
と環境音についての事例。
・プロシージャルオーディオを活用した。
・オブジェクト・シーンごとに繊細に音付けを行った。

38. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
38
家具（プロシージャルオーディオ）
毎回違う音が鳴ることがリアルさを生む。
ドア音などはユーザー操作によって出る音なので特に重要だった。

39. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
39
雨風（プロシージャルオーディオ）
天気、ストーリーの状況、部屋（屋根）の位置などによって変化する。
毎回異なる風が吹き異なる音が鳴ることで、プレイヤーがそこにいる感覚を
掻き立てる。

40. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
40
屋外
・ステレオミックスでの再生や音源を数箇所に配置する方式はう
まくいかなかった。
・様々な種類の音を収録し、いたるところに配置した。
実行結果（森、玄関）収録した音

41. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
41
屋内
・部屋の中にあるもの全てについて音が出るか詳細にチェック。
・ユーザー操作の可否に関わらず、「そこにあるのなら音は出るはず」というも
の全てに音を付ける。

42. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
42
カラス
ユーザーが耳を傾けるオブジェクトなので、複数のトラックを使用して詳細に
アニメーションに当てる。

43. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
43
無音を使う
音のあるべきものに対してあえて無音とすることによりプレイヤーの集中・
恐怖心を駆り立てる。

44. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
44
最適化
・PC / PS4 ( +Pro) / Xbox One ( +X) のマルチプラットフォーム対
応で、負荷問題はつきまとった。
・ゲームエンジンやサウンドミドルウェアのプロファイリング機能
が非常に役立った。
- ログ出力
- プロファイラ
- デバッグツール など

45. GDC2018 受講レポート3 “The Demonic Sound of Paranormal Activity: The Lost Soul”
45
まとめ
VRホラーゲームで音のリアルさを追求した。
・プロシージャルオーディオを活用できた。
毎回異なる音を出すことがリアルさを生んだ。
・シーン・オブジェクトごとに詳細な音付けを行った。
屋外では様々な距離に異なる種類の音を配置するなど、シーンごとに試
行錯誤を繰り返してリアルさを追求した。

46. GDC2018 オーディオセッション受講レポート「没入感あるサウンド制作への取り組み」
46
参考資料
画像・動画はGDC Vaultから引用しました。
・5D Audio
http://gdcvault.com/play/1025334
[member only] http://gdcvault.com/play/1025057
・Music in Virtual Reality
[member only] http://gdcvault.com/play/1025206
・The Demonic Sound of 'Paranormal Activity: The Lost Soul'
[member only] http://gdcvault.com/play/1025269