Recomendados
Recomendados
Más contenido relacionado
Destacado
Destacado (20)
SIGGRAPH2018勉強会 Interaction/VR
- 2. In the Blink of an Eye: Leveraging Blink-Induced Suppression for Imperceptible Position Orientation Redireciton in Virtual Reality Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality (TOG) Deep Appearance Models for Face Rendering OVERVIEW 2
- 3. In the Blink of an Eye: Leveraging Blink-Induced Suppression for Imperceptible Position Orientation Redireciton in Virtual Reality Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality (TOG) Deep Appearance Models for Face Rendering OVERVIEW 3 視覚の抑制機構を利用したVRのRedirected Walking手法 HMDを装着している人物の顔のフォトリアルな合成手法
- 4. In the Blink of an Eye: Leveraging Blink-Induced Suppression for Imperceptible Position Orientation Redireciton in Virtual Reality Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality (TOG) Deep Appearance Models for Face Rendering 前半 4 視覚の抑制機構を利用したVRのRedirected Walking手法 HMDを装着している人物の顔のフォトリアルな合成手法
- 5. 現実での歩行とバーチャル空間（VE）での歩行をずらすことによって 限られた現実の空間内で広いVEでの移動を実現する技術 REDIRECTED WALKING (RDW) 5 通常はユーザの歩行に応じて気づかない程度に徐々にずらしていく 実線：現実のパス 点線：VEのパス 並進 回転 曲率
- 8. 人間の視覚情報は目が大きく動くタイミングで抑制される １．まばたきの前後 ２．サッケード運動（目の無意識的な動き）の前後 視覚の抑制を利用 8 抑制されているときにずらす Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection In the Blink of an Eye: Leveraging Blink-Induced Suppression for Imperceptible Position Orientation Redireciton in Virtual Reality 徐々にずらすのに加えて視覚抑制の間にずらすことでRDWの効果を向上
- 9. まばたき（100-400ms, 1分間に約10-20回程度）する間に4-9cmの並進 操作/2-5°の回転操作を知覚されずに行うことができることを実証 In the Blink of an Eye: Leveraging Blink-Induced Suppression for Imperceptible Position Orientation Redireciton in Virtual Reality 9
- 10. EyeTracker(120Hz)内蔵HMDでまばたき検出 300ms以上視線検出に失敗したとき ６DoFについて気づかれない操作範囲を検証 光などの視覚刺激でまばたきを誘発 In the Blink of an Eye: Leveraging Blink-Induced Suppression for Imperceptible Position Orientation Redireciton in Virtual Reality 10
- 11. サッケード運動（20-200ms, 1秒間に約6回程度）の間に運動方向と平行 な方向にずらす Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection 11
- 12. EyeTracker(120Hz)内蔵のHMDでサッケード検出 視線の角速度が180°/sec以上のときサッケードとみなす サッケードの方向を認識して平行な方向にずらす 垂直な方向はばれやすい 周辺視野で視覚変化を提示することで運動を誘発 オブジェクトの反射光 / ピクセルのちらつき Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection 12
- 14. In the Blink of an Eye: Leveraging Blink-Induced Suppression for Imperceptible Position Orientation Redireciton in Virtual Reality Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality (TOG) Deep Appearance Models for Face Rendering 後半 14 視覚の抑制機構を利用したVRのRedirected Walking手法 HMDを装着している人物の顔のフォトリアルな合成手法
- 16. HMDのオクルージョンをHMD無しのモデル＋トラッキング情報で補完 FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality (TOG) キャプチャした表情をパラメタライズされた顔画像モデルに移してステレオ画像出力 Deep Appearance Models for Face Rendering データドリブンの生成モデルでキャプチャ画像から任意視点の顔画像を生成 HMDを装着している人の顔の再現 16
- 17. 目・口元・顔の動きをリアルタイムにトラッキングして、任意の人物のステ レオ動画に表情を転写（イメージベース） FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality 17
- 18. Source Actor 顔の動き（全体、及び口元） 外部RGB-Dカメラ＋HMD表面のマーカー 目の動き HMD内蔵のIRカメラ FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality 18 Target Actor HMDに隠れていない顔全体の動画 ステレオRGBカメラ
- 19. 目と口は事前に簡単な訓練でSource画像⇒Target画像の対応をとる オクルージョンの影響で綺麗にSourceの変形を捉えられないからTargetからサンプリング Target Actorの画像に口⇒目⇒全体の表情モデルの順番に合成 FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality 19
- 20. Limitation キャリブレーション（数秒）が必要 Target Actorの顔の向きは変えられない 応用 VRビデオ会議でのHMDを取り除いた顔の再現（自分⇒自分、自分⇒他人） ビデオ会議の視線不一致解消 FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality 20
- 21. HMDにつけた映像から、任意視点の顔映像をレンダリング Deep Appearance Models for Face Rendering 21
- 22. View-Specificな顔テクスチャ 鏡面反射光などの視点依存な成分を含むテクスチャ 粗いメッシュでも破綻なく綺麗にレンダリング可能 特に目元や口元など 視点に応じて使用するテクスチャを切り替える Deep Appearance Models for Face Rendering 22
- 23. HMDカメラ映像⇒View-Specificテクスチャ＋メッシュをデータドリブンで変換 ２つの半教師付きの生成モデル（Conditional Variational Auto Encoder）を組み合わせる Deep Appearance Models for Face Rendering 23
- 24. ある視点と表情の潜在変数からView-specificなテクスチャ＋メッシュを生成 40視点のマルチカメラ映像から抽出したメッシュとView-specificなテクスチャでCVAEで学習 Deep Appearance Models for Face Rendering 24 カメラの視点 View-Specificなテクスチャを出力
- 25. HMD内蔵のカメラ画像から顔の表情を表す潜在変数へ変換 実カメラ画像とマルチカメラからの合成映像を一緒にCVAEで学習 Deep Appearance Models for Face Rendering 25 表情を表す潜在変数 実カメラ画像 合成画像 先程のデコーダーに入力