CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

3. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. About me：小倉豪放 (Takeyuki Ogura)  Senior Engineer ⁃ プロトタイプ制作（アプリ、デバイス接続） ⁃ 専門分野：CG、GPU Computing  Company ⁃ SEGA -> Microsoft -> Startup ->DeNA  趣味 ⁃ 読書 ⁃ 旅行 ⁃ 電子工作  Hometown ⁃ 東京 3

4. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Created game titles（ support / prototyping 含まない）  Virtua Fighter 2 (Arcade) ⁃ User interface / advertizing  Virtua Fighter 4 (Arcade) ⁃ 3D character motion library ⁃ Rendering effects  Virtua Cop 2 (Arcade、Saturn) ⁃ Breakable obstacles ⁃ Physics engine  Sonic the Fighters （Arcade） ⁃ Real-time character morphing  Naomi Library (Dream Cast)  Shenmue Ⅰ (Dream Cast)  Shenmue Ⅱ (Dream Cast) ⁃ Motion library ⁃ Rendering library ⁃ Effects  Ninety Nine Nights（Xbox360） ⁃ Optimization  Aqua Forest（iOS）  PHYZIOS Studio（iOS, PC）  PHYZIOS Sculptor（iOS） ⁃ Rendering、UI 4 Credit Name: Takeyuki Ogura or Goho Ogura

5. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. コミュニティ貢献活動  CEDEC（Computer Entertainment Developers Conference） ⁃ コンピューター・エンターテイメント系カンファレンス  CEDEC運営委員 • 業界ロードマップの提示 • 招待講演の手配 • 公募講演の審査員 • イベント企画例：CEDEC CHALLENGE, VRNow!  Host : CESA（Computer Entertainment Supplier’s Association） ⁃ 経産省系列の一般社団法人規模 2016 2015 2014 セッション数 210 224 236 参加者総数 6768 6373 6564

16. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ①All in oneの3Dライブ配信対応カメラの選択肢は少ない  プロフェッショナル（映画） ⁃ Jaunt ONE ⁃ Google Yi Halo ⁃ NOKIA OZO  プロシューマー〜個人（動画、ライブ配信） ⁃ Insta360 Pro, Z CAM S1  個人（動画、ライブ配信、静止画） ⁃ Insta360 One/Air/Nano, Giroptic iO, ION360 U ⁃ 360Fly 4K Pro ⁃ NIKON KeyMission 360, KODAK 4KVR360 ⁃ RICOH THITA S, Sumsung Gear 360, ＊太字はライブ配信対応 200-500万円 50万円 5万円価格

19. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 【脱線】視差のある状況でスティッチングをするためには深度情報が必要  Optical Flow ⁃ Optical Flowを使ったDepth Estimationが主流になりつつある ⁃ リアルタイムスティッチングには適応されていない  Sparse estimation ⁃ Facebook x24, x6 ⁃ 今年の終わりにリリース ⁃ ポジショントラッキング対応（頭を振る程度） Facebook 360, Facebook update, 20 April 2017, viewed 22 August 2017, https://www.facebook.com/Facebook360/posts/1913021515582981

20. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ②コンテンツに適した機材へと組み替えられる 360 4K 2D：一般的な360度ライブ配信用途 180 4K 3D：グラビアなど近距離のコンテンツ用途＊本講演で話す範囲はこれ 360 4K 3D：一般的な360度3D ライブ配信用途例：KODAK SP260 4K 複数台の組み替え Back to Back Stereo Quad

25. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. SHOWROOM VRで使うVRカメラは？数万円数百万円 SHOWROOMはこっち寄り Ricoh Company, Ltd. RICHO THETA S. https://theta360.com/ja/about/theta/s.html. (accessed 2017-08-22) NOKIA. OZO+ PROFESSIONAL VIRTUAL REALITY CAMERA. https://ozo.nokia.com/eu/ozo-professional-vr-camera/. (accessed 2017-08-22)

27. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. データの流れ：ライブ配信全体 PC 引用： http://gopro.com http://www.kolor.com/ http://www.video-stitch.com/ Media server スマートフォン（クライアントアプリ） HDMI HDMI internet internetカメラ１カメラ２

28. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. データの流れ：PC内部 HDMI HDMI PCIe PCIe PCIe 配信ソフトウェア internet PCIe GPU PC カメラ２カメラ１ HDMI ①カメラ→キャプチャーボード→GPU ②GPU内部の処理 ③GPU→キャプチャーボード ④キャプチャーボード→キャプチャーボードキャプチャーボード

32. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 【紹介】180度3D機材構成：3D ステレオVR 完組みセット http://www.entapano.com/jp/index.html  カメラ：GoPro Hero 5  リブケージ：Back-Bone M12  レンズ：Entanya M12 220  リグ：Entanya 3D Stereo Rig

34. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 【紹介】180度3D機材構成：ハイエンド（年内リリース）  カメラ：Sony α6500 - Panasonic GH5  マウント：E or MFT  レンズ：Entaniya MFT 200  リグ：Entaniya製リグ http://www.entapano.com/jp/index.html

36. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ①カメラ→キャプチャーボード→GPU  キャプチャーボードのSDKで対応する解像度とフレームレートとピクセルフォーマットを表示 Supported video input display modes: 525i59.94 NTSC 720 x 486 29.97 FPS 8-bit YUV 10-bit YUV ------ ------ ------ ------ ------ ------ ------ 625i50 PAL 720 x 576 25 FPS 8-bit YUV 10-bit YUV ------ ------ ------ ------ ------ ------ ------ 1080p23.98 1920 x 1080 23.976 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080p24 1920 x 1080 24 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080p25 1920 x 1080 25 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080p29.97 1920 x 1080 29.97 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080p30 1920 x 1080 30 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080i50 1920 x 1080 25 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080i59.94 1920 x 1080 29.97 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080i60 1920 x 1080 30 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080p50 1920 x 1080 50 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080p59.94 1920 x 1080 59.9401 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 1080p60 1920 x 1080 60 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 720p50 1280 x 720 50 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB ------ ------ 10-bit RGBXLE 10-bit RGBX 720p59.94 1280 x 720 59.9401 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB ------ ------ 10-bit RGBXLE 10-bit RGBX 720p60 1280 x 720 60 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB ------ ------ 10-bit RGBXLE 10-bit RGBX 2K DCI 23.98p 2048 x 1080 23.976 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 2K DCI 24p 2048 x 1080 24 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 2K DCI 25p 2048 x 1080 25 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 2160p23.98 3840 x 2160 23.976 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 2160p24 3840 x 2160 24 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 2160p25 3840 x 2160 25 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 2160p29.97 3840 x 2160 29.97 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 2160p30 3840 x 2160 30 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 4K DCI 23.98p 4096 x 2160 23.976 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 4K DCI 24p 4096 x 2160 24 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX 4K DCI 25p 4096 x 2160 25 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX

41. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. NVIDIA GPU Direct for Video  NVIDIA GPU Direct for VideoをサポートするGPU NVIDA “NVIDIA GPU Direct for Video”. https://developer.nvidia.com/gpudirectforvideo#Developer (accessed 2017-08-19)

42. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. NVIDIA GPU Direct for Video  NVIDI GPU Direct for Videoをサポートするキャプチャーボード OpenGL DIRECTX CUDA AJA ◯ ◯ Blackmagic Design ◯ △ Bit flow ◯ Deltacast ◯ Delta Path ◯ DVS ◯ Matrox Active ◯ ◯ ◯ *自己調査

44. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. GPUに来たらShaderでYUV422を解凍する  該当部分のGLSL Shaderコード float Y, Cb, Cr, r, g, b; int true_width = textureSize(sampler, 0).x * 2; if (fract(floor(texcoord.x * true_width + 0.5) / 2.0) > 0.0) Y = texture2D(sampler, texcoord).a; // odd:Y1 else Y = texture2D(sampler, texcoord).g; // even:Y0 Cb = texture2D(sampler, texcoord).b; Cr = texture2D(sampler, texcoord).r; // Y: Re-scaling [16..235] to [0..1] range // C: Re-scaling [16..240] to [-0.5 .. + 0.5] range Y = (Y * 256.0 - 16.0) / 219.0; Cb = (Cb * 256.0 - 16.0) / 224.0 - 0.5; Cr = (Cr * 256.0 - 16.0) / 224.0 - 0.5; // Convert to RGB using Rec.709 conversion matrix (see eq 26.7 in Poynton 2003) r = Y + 1.5748 * Cr; g = Y - 0.1873 * Cb - 0.4681 * Cr; b = Y + 1.8556 * Cb; return vec3(r, g, b); 参考：Rec.709：https://en.wikipedia.org/wiki/Rec._709

46. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. まとめ：システムの実装：①カメラ→キャプチャーボード→GPU  円周魚眼レンズで重要なこと、視野角、射影方式  カメラで重要なこと、解像度、フレームレート、ピクセルフォーマット  キャプチャーボード→PCIe→GPUの転送速度に注意して選定する  圧縮されたテクスチャーのTexture filterはポイントサンプリングを使う

55. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 球のレンダリング 55  該当部分のGLSL Shaderコード float fTh = v_texcoord0.y * M_PI; float fDe = v_texcoord0.x * 2.0 * M_PI; float fR = sin( fTh ); vec3 vN; vN.x = fR * sin( fDe ); vN.y = cos( fTh ); vN.z = fR * cos( fDe ); vec4 vN4 = u_mIT0 * vec4( vN, 1.0 ); vN = normalize( vN4.xyz ); // -Z -X to +X float th2 = acos( vN.z ); vec3 vN0xy = vec3( vN.x, vN.y, 0.0 ); float lN0xy = length( vN0xy ); float ph2 = acos( vN.x / lN0xy ); if ( vN.y < 0.0 ) ph2 = 2.0 * M_PI - ph2; float r_uv = u_fK * CAMERA_FUNC( ( M_PI - th2 )/CAMERA_FUNC_2 ); vec2 uv; uv.x = 0.5 + r_uv / u_fAspctRatio * cos( -ph2 ); uv.y = 0.5 + r_uv * sin( -ph2 ); vec3 vRGB = texture2D( UYVYtex0, uv ).rgb;

64. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. PCI-Express HDMI HDMI PCIe PCIe PCIe PCIe GPU カメラ２カメラ１ HDMI キャプチャーボード 2160p30fps(YUV422)：3840x2160x2x30 ≒ 0.5 (GB/s) 0.5(GB/s) 0.5(GB/s) 0.5(GB/s) 1.0(GB/s) 0.5(GB/s) PCIe Gen1.1 x4 2.0(GB/s)/1.0(GB/s) PCIe Gen1.1 x4 2.0(GB/s)/1.0(GB/s) 0.5(GB/s) PCIe Gen1.1 x4 2.0(GB/s)/1.0(GB/s) PCIe Gen3 x16 64.0(GB/s)/32.0(GB/s) キャパシティ実際

66. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ２台のカメラの映像の同期  キャプチャーボードSDKのコールバック関数 ⁃ HRESULT PlayoutDelegate::ScheduledFrameCompleted (IDeckLinkVideoFrame* completedFrame, BMDOutputFrameCompletionResult result) ライブ配信の場合、同期を取らなくても誤差は蓄積しない

67. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. まとめ：システムの実装：③GPU→キャプチャーボード  PCI-Expressを流れるデータ量を計算し、マザーボードのPCI-Expressの仕様と照らし合わせ、キャパシティ内であることを確認する。  PCI-ExpressはFull duplexである。  ライブ配信の場合、複数台あるカメラの誤差はそれぞれ蓄積しないため、カメラ同士互いに同期を取らなくても大丈夫。OpenGLのレンダリングとそれぞれのカメラだけ同期させておく。

70. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 配信ソフトウェアによるキャプチャーボードの認識  OBSなどの配信ソフトウェアは、キャプチャーボードのOutputからのストリーミングを認識しない。このため、次のどちらかを行う ⁃ PCのアプリがエンコードしてRTMPで話す ⁃ もう１枚キャプチャーボードを用意して、PCのアプリのOutputのストリーミングをInputへパススルーする 70

CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente(20)

Similar a CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

Similar a CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case(20)

Último

Último(6)

CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

Notas del editor