２０１６年大晦日の紅白で、Rhizomatiks Researchがやっていた Dynamic VRを、簡易的に真似して再現してみました。

1. Perfume映像演出の
ダイナミックVRつくってみた。
第40回 コンピュータビジョン勉強会
水落 大 @skymapnote
～第67回紅白歌合戦2017～

2. 水落 大
電機メーカーのCVエンジニア
カメラが好きすぎて作る側に
メディアアーティスト
@skymapnote
http://mizumasa.net/

3. カメラ自動化 / 認識技術でアートを作っています
渋谷MODI ディスプレイカメラ / SyncRing BaPAインタラクティブライブ@渋谷ヒカリエ
茨城県北国際芸術祭 “Sound of Tap Board” / “干渉する浮遊体”

4. エンタメ寄りのお話します

5. irtual eality
VRの定義の追及は面倒ですが…
実質的にほぼほぼリアル？ → 何がほぼほぼなのか

7. 超リアル 現実と見間違う
高画質(HDR)、高解像度(4K)、高音質(ハイレゾ)・・・
↓
リアル感 なんとなくリアル
？？？
リアルだと思わせるものは何なのか？

8. 情報と身体を結びつける自己帰属感
▪ 物があることでリアルさを感じる。
WorldConnector:カメラへの身体性付与による映像世界へ入り込むインタフェース by 渡邊恵太
http://www.persistent.org/worldconnector.html

9. 見えない部分を想像させる
不可視彫像 by 坪倉輝明 VRクリエイティブアワード2017
ＶＲ空間上
現実
http://teruaki-tsubokura.com/works.php?ar_id=15

10. 虹のコンキスタドールライブ @ 渋谷ヒカリエ 2015
堀紫 水落大 登山元気 山下和宏 檀上真里奈
http://syncring.mizumasa.net/
手前味噌ですが

11. 映像への没入感 @ ライブ演出
お客さんに自分がそこ（CG空間）にいることを感じさせるリアル
センシングによる連動

12. 今日の本題

13. ダイナミックVR
2017年の紅白でRhizomatiksが命名

14. ダイナミックVR
▪ https://www.youtube.com/watch?v=Tonr1XjeQdw （3:03）
▪ https://www.youtube.com/watch?v=G7ZQ4KiX1JE

15. ダイナミックVR しくみ概要
https://twitter.com/CRePerfume/status/815187877877252097

16. どうやって画をつくる？
▪ カメラの向きを考慮？
▪ 映像のアフィン変換？
現実のカメラに対して、CG上の世界がどう映るかをレンダリングし、
それを現実世界のスクリーンに射影。

17. これと

18. これ

19. いける！
2016/12/31 午後11時

20. つくってみた
2017/1/1 深夜～午前9時

21. どうやって画をつくる？
床 → CG空間上でのカメラを鉛直下方向に向けた時に映るカメラの映像
壁 → CG空間上でのカメラを壁に向かって水平方向に向けた時に映るカメラの映像

22. とりあえず動くのを最優先
▪ openframeworksで簡易実装
▪ カメラ位置に連動はしない
▪ Perfumeはいない
外付けディスプレイ並べる

23. カメラチェック
https://www.youtube.com/watch?v=WE62mtMc2y0

24. ダイナミックVR芸人化に成功

25. 投稿の反響
▪ 1万回再生（本家10万）
off-axisレンダリング(スクリーンの中心を通る垂線から外れた位置にカメラがあ
る)だからプロジェクション行列をごにょごにょしないといかんはずだけど
疑似的にはこれで十分なのかな
宮下先生にほめられた！
どうなんでしょう…

26. ダイナミックVRはライブ演出？
ＣＧの世界をよりリアルに感じさせるための技術？
そこにいることの重要性 → よりリアルに感じさせるためには現実とのリンクが重要かも

27. 足りない部分
▪ 画面より手前に浮いてるものはそのままは表現できない
→ 一般的なカメラレンダリングでは描画面より手前は映さない
▪ ボケの表現
→ 意図的にぼかした映像を表示
▪ カメラの位置検出は今回やってない
→ 位置は手動合わせ。カメラの方向は描画に関係ない
▪ そもそも本家はPerfumeの影とかグラフィック表現とか何もかも凄い
→ できたとか言ってごめんなさい

28. まとめ
▪ カメラ射影変換部分のみに着目して、ダイナミックVRのデモをつくってみた
▪ VRをよりリアルにするためには現実とのリンクに注目
▪ 失敗できない現場でこれらを実現するライゾマさんやっぱりすごい

29. 宣伝
Create with AI
「人工知能と表現の今」を伝えるWebポータルサイト
http://createwith.ai/
Qosmo 徳井直生さんを中心、自分も記事書かせて頂いてます。
メディアアートドン
メディアアートを観る人、創る人のためのマストドン
http://mediartodon.net ぜひぜひ登録&トゥートを！
マイアカウントは @mizumasaです。フォローお待ちしてます。
ありがとうございました！
@skymapnote
http://mizumasa.net
masaru0mizuochi@gmail.com