Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Project DAFTY 20140710 Tokyo MotionControl Network

3.427 visualizaciones

Publicado el

Tokyo MotionControl Network vol.08
Project DAFTY のご報告セッションで利用したスライドです。
システム構成やFUNNY VILLAGEイベントでの裏側の苦労お伝えします。

  • Inicia sesión para ver los comentarios

Project DAFTY 20140710 Tokyo MotionControl Network

  1. 1. Project DAFTY Dafty Live System α
  2. 2. モーションを音と映像へ反映するライブシステム(αバージョン) https://www.youtube.com/playlist?list=PLXYYxTi9FpNkGoFdG_RhjYdNljoY-Gqui
  3. 3. Funny Village ライブ時のシステム構成 PC B(Mac) Max / MSP N.O.R.K 國本玲さん開発 Kinect V1 Sensor KORG Kaossilator Pro+ PC A(Windows) Unity Application SystemFriend NUI Framework Unity MIDI bridge Kinectでセンスした腕の動きをMIDIコマンドに変換してカオシレーターのタッチパッドをリモートコントロール。 Kinectでセンスした人物のDepth映像にシェーダーで効果をつけつつ表示。 PC Bでは入力されたビートアタック音をMax/MSPでオーディオ信号→映像エフェクトへ変換。 SF NUI FWはKinectV1、V2を透過的に扱えるSystemFriend社内ライブラリ。KinectV2をUnity Freeでも使える。 Unity MIDI bridge はこちら。 http://keijiro.github.io/posts/unity_midi_bridge/ DJ Beat! Beat! Video Mixer PA Screen Speaker
  4. 4. 演奏空間 Front Side Upper Touch Pad (SE1) Side Touch Pad (SE2) Side Touch Pad (SE2) Front Touch Pad Front Touch Pad Note OFF Note ON
  5. 5. 演奏空間 Side DEMO
  6. 6. 演奏空間 Side Funny Village ライブの裏側 22:00 DAFTYリハーサル開始 機材設置が押して時間がない。 緊迫した中取り乱すことなく冷静にリハを進めるDAFTY。 KINECTパートの動作確認はすんなりOK。 しかし致命的な不具合が発覚。 VJに映し出される映像が観客からみると左右反転している。 これまではPCの画面に対して演者が向いてショーを行ていたが、本番で は映像に背を向けて演ずるので。
  7. 7. 演奏空間 Side Funny Village ライブの裏側 23:00 現場リカバリー開始。 ハードウェア的にVJのミキサーで映像の左右反転ができないか確認→それは不可能 WindowsのOS機能やその他ソフトウェアに左右反転ができないか→機能がないま たはパフォーマンス的に無理そう Unityのカメラのプロジェクション設定で左右反転→トライ いけるはずなのにしかしこの方法はなぜかうまくいかず原因がわからない 落ち着いてかかれば原因がわかるかもしれないがこの作業環境で時間が差し迫っ ている状況では難しい。 ここでviviさんお弁当差し入れ(地獄に仏とはこのこと)
  8. 8. 演奏空間 Side Funny Village ライブの裏側 23:00 現場リカバリー開始。 ハードウェア的にVJのミキサーで映像の左右反転ができないか確認→それは不可能 WindowsのOS機能やその他ソフトウェアに左右反転ができないか→機能がないま たはパフォーマンス的に無理そう Unityのカメラのプロジェクション設定で左右反転→トライ いけるはずなのにしかしこの方法はなぜかうまくいかず原因がわからない 落ち着いてかかれば原因がわかるかもしれないがこの作業環境で時間が差し迫っ ている状況では難しい。 ここでviviさんお弁当差し入れ(地獄に仏とはこのこと) ライブ開発ルーム
  9. 9. 演奏空間 Side Funny Village ライブの裏側 24:00 Fanny Village開演 爆音のなるメインスピーカー裏のステージ袖、とても狭い空間で武内さん(巨体)が床 に座ってプログラミング実施 Unity Pro限定のシェーダーをかけることで左右反転に成功(武内さんMacにて) Kinect用WindowsPCにはUnity Freeしかはいっていない →急きょProのトライアルライセンスを取得して対応(会場e-mobileの電波入りにくくて かなり時間を食う。精神的によくないw) exe書き出し →トライアルなので右下に「TRIAL」の文字が強制的に表示されてしまう!!!
  10. 10. 演奏空間 Side Funny Village ライブの裏側 25:00 弊社の社内PCでUnity PROのライセンスを使っていたので社内PCにリモートログイ ン →リモートデスクトップでなぜかUnityのメニューが開けずライセンスの開放ができない →最終手段。武内さんPCのUnity Proライセンスを解放→一時的にライセンスを借用 →exe書き出し →なぜかexe起動してもうまく動かない(Unityはライセンス変更するとそれまで動いて いたプロジェクトがうまく動かないことがあるよう) →もう本番まで時間がない。プレビュー画面では動くのプレビュー画面をスクリーン いっぱいに広げて本番へ利用する強硬策発動 しかしウィンドウ枠が表示されてしまう →映像ミキサーの設定で画面を少し拡大して画面枠をはみ出させて表示してもらえる よう國本さんに特急対応してもらった ここで26:00 本番直前
  11. 11. 演奏空間 Side Funny Village ライブの裏側 26:00 最後の難関、デバッグのためステージ脇に持ち込んでいたセンサー、 これをアプリを起動したままDAFTYのステージが始まるときにステージ センターまでもっていく必要がある →床をはいつくばって持ち出すときにUSBケーブルや電源ケーブルが からまらないようにもつれを解いていった。 ケーブルをさわるとあれでもセンサーとPCの接続が切れてしまってア プリが止まると大打撃。爆弾を解体するような精神力が必要とされた。
  12. 12. 演奏空間 Side Funny Village ライブの裏側 26:20 DAFTYステージスタート 武内さんにセンサーを運んでもらう(1回目) →設置位置は良かったが微妙にセンサー自体がななめを向いている 武内さんにセンサーの向きを調整してもらう(2回目) →もうちょっと微妙に位置調整がいりそう 武内さんにセンサーの向きを調整してもらう(3回目) これで代替行けそう な雰囲気。ただし確信はないw→TMCNで2足歩行のキネクトセンサース タンド作りませんか? →TMCNで2足歩行のキネクトセンサースタンド作りませんか?
  13. 13. 演奏空間 Side Funny Village ライブの裏側 26:50 KINECTショー開始 viviさんがステージ中央に立つ、、、、しっかりセンサー中央にとらえた。ス テージ脇で武内さんとハイタッチ。 センサーもシステムも動作しているがふと会場の巨大スクリーンを見るとノ イズが乗ったような表示なっていて焦る →おそらくミキサー設定とPA卓設定がずれたためか? でもなんか結果的にカッコイイエフェクトになっていたので幸運の神の降臨 をマジ感じた。マジリスペクト。
  14. 14. 演奏空間 Side これからのProject DAFTY あらゆる現場の最悪を乗り越えて、大きなステージで実績 を残すことができました。 • まず打ち上げが来週ありますw • 「新しい楽器を創る」このテーマをさらに追求します。 • 新曲の制作とリンクしたプロモーション映像作品の制 作が始まろうとしています。 これからも応援してください!

×