Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

HoloLensによるライブ演出 現場はMRやばい

881 visualizaciones

Publicado el

20180727 xRLT vol.2
https://www.youtube.com/watch?v=Mg4VATSrlJM

Publicado en: Entretenimiento y humor
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

HoloLensによるライブ演出 現場はMRやばい

  1. 1. JP @JP_Kob 根本慧 @nemotokei 小井手有里 HoloLensによるライブ演出  2018. 7. 27xRLT vol.2@TECH PLAY SHIBUYA 現場はMRやばい
  2. 2. JP @JP_Kob 根本慧 @nemotokei 小井手有里 現場はMRやばい マジでリアルに  2018. 7. 27xRLT vol.2@TECH PLAY SHIBUYA
  3. 3. 自己紹介&本日の主旨  JP/@JP_Kob 惑星の研究 → 某メーカーで営業 → 新規事業 → マーケティング 当時は防犯カメラ×画像解析の調査/企画/営業/実装/運用 週末ジャズミュージシャン  根本慧 /@nemotokei 大学で工業デザイン専攻 → メーカーで開発 → 営業 → 新規事業企画 照明や食品や、百貨店の催事まで企画/デザイン/営業/運営/マーケ 最近VRChatにて自作アバターをアップできるようになって嬉しい  小井手有里(こゆり)(欠席) 某IT企業でPepperアプリエンジニア チーム最年少 主旨:初心者の方のきっかけ作り&エンタメ現場での課題を共有
  4. 4. 何をしたか  ビルボードジャパン主催のLIVE HACKASONGに出てきた   テーマ:エンターテインメントの拡張   メンター:Nest+Visualさん 2017/11/11(土) アイディアソン(顔合わせ) ↓ 2017/12/10(日) ハッカソン(中間発表) ↓ 2018/1/30(火) 最終発表@ビルボード Live TOKYOのステージ  やったこと:HoloLensを使ったライブ空間演出の拡張   結果:3位
  5. 5. 当日の動画 https://www.youtube.com/watch?v=Mg4VATSrlJM
  6. 6. 当日の配置 HoloLensを かけた司会者 HoloLensをかけた審査員 MR Jockey (JP) アーティスト プロジェクター(一般客用) 壇上 1F 一般客席 2F 審査員席 HoloLensのない一般客 LINE LIVEでも 配信
  7. 7. 実装したこと ・MIDIメッセージをキーボード入力に変換 ・UDPでブロードキャストアドレスに送信 ・入力を基にコンテンツの出し分け めちゃくちゃシンプル★ PC iPhone 6S (テザリング) MIDIコン (AKAI MPD218) HoloLens ×3
  8. 8. じゃあ何が マジで リアルに ヤバかったかって?
  9. 9. 序盤のやばかったこと3つ 全員はじめまして (スキルセット不明)  → ひとまず演出担当1人、   開発担当2人に分けた  → なるべくオフラインで   活動 @Yahoo Lodge
  10. 10. 開発経験がない → Nest+Visualさんに教わった コンテンツで手を動かして学ぶ Git周りは唯一わかるメンバーから教わる ? ? Visual studio ? C#? 序盤のやばかったこと3つ ?
  11. 11. 開発環境もない 全員Macで HoloLensもない → Nest+Visualさんに   Windows PCと HoloLensを1台ずつ 借りて作業 序盤のやばかったこと3つ
  12. 12. 中間発表時 なんとか動いた★
  13. 13. 中盤のやばかったこと2つ  → 動くもののカクカク  → 負荷がかかるものは排除   個数やエフェクトを調整し   軽くて見栄えの良いものへ アプリめっちゃ 重い問題 動け動け動け動け動け動け 動け動け動け動いてよーーー!
  14. 14. 中盤のやばかったこと2つ UDPムズカシイ問題  →先人たちの記事を読んで実装しようとするも上手くいかない  →本番1週間前で未実装。このままではBluetoothキーボードで1 : 1操作に… 圧倒的アナログ感
  15. 15. 解決 ※発表当日深夜のSlack 気合の徹夜で奇跡的に解決 参考にさせていただいたみなさま(勝手にspecial thanks) http://knasa.hateblo.jp/entry/2017/07/07/034834 http://tips.hecomi.com/entry/2017/04/19/011320 https://qiita.com/egplnt/items/39f4794504fc27823bb4 https://azure-recipe.kc-cloud.jp/2017/12/hololens-スマートフォンとのocs通信/ https://azure-recipe.kc-cloud.jp/2017/12/hololens-websocketを利用した双方向通信サーバーからメッセ/
  16. 16. 平面図pdfから3Dモデルを 作成し、Unityで開発 当日のやばかったこと 現場環境  → 事前の現地調査が短時間、目的と手段を十分議論できていなかった  → 当日の舞台照明・配置が事前調査時とちがう  → 照明との兼ね合いやオブジェクトの位置合わせは全て当日調整 2度の事前現地調査と 本番当日の調整 現場が重要だ! (当日の)
  17. 17. 位置合わせ=オクルージョン問題  → 演者の前をオブジェクトが横切ると没入感がなくなる(アーティストは聖域)  → 演者はステージを駆け回ることはなく、審査員席も2Fで動くことはなかったので、 機材の隙間に配置したり軌道の調整などを行ったりして回避 当日のやばかったこと 重なると奥行き感がなくなる 現場でオブジェクト再配置 Vo. Dr. Ky.
  18. 18. 当日一番の失敗 ・プロジェクターで司会者の視界を見せてしまった  → 審査員5名でHoloLens2台を回して使う  → リアルタイムでの演出を一般客にも見せたい。入替がない司会の視野を共有  → 司会はステージ上にいた。2Fの審査員席から見る前提で作っていたので プロジェクターには分かりにくい内容が投影された  → それでも2位と僅差の3位。見せ方次第では勝っていたかも…  → 例えばリハで撮った映像を流すべきだった HoloLensを かけた司会者 プロジェクター (一般客用) → UXの考えが足りなかった → 全員分HoloLensがあれば…
  19. 19. 当日一番の失敗 ・プロジェクターで司会者の視界を見せてしまった  → 審査員5名でHoloLens2台を回して使う  → リアルタイムでの演出を一般客にも見せたい。入替がない司会の視野を共有  → 司会はステージ上にいた。2Fの審査員席から見る前提で作っていたので プロジェクターには分かりにくい内容が投影された  → それでも2位と僅差の3位。見せ方次第では勝っていたかも…  → 例えばリハで撮った映像を流すべきだった HoloLensを かけた司会者 プロジェクター (一般客用) → UXの考えが足りなかった → 全員分HoloLensがあれば…
  20. 20. 今後 AR/MRデバイスが普及すれば ライブ演出に必ず使われる   - Video JockeyがMR Jockeyに   - 今回のやばかった点を解決したアプリが必要    - ハコに合わせた事前調整    - 当日の現地調整    - ライブ中のオペレーション などなど… というか自分がそういう未来を実現したい!   - 開発環境とHoloLensを買ってコツコツ勉強・製作   - 自分の演奏活動の中で少しずつユースケース構築中   - ライブで試す時の仲間募集中(HoloLens1個しかない)
  21. 21. 告知 出展 します  おそらくこの辺   一緒に遊びましょう!

×