Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a DeNA TechCon2019 How to implement live streaming client using Unity
Similar a DeNA TechCon2019 How to implement live streaming client using Unity (20)
DeNA TechCon2019 How to implement live streaming client using Unity
- 2. #denatechcon 資料掲載にあたっての変更点 • P11, P12, P15, P19, P20, P21, P25, P35, P68, P70, P71, P78, P80に講演の際の文言を追加 • P82に募集要項を追加
- 4. #denatechcon 自己紹介：小倉豪放 (Takeyuki Ogura) 仕事 • Engineer • 専門分野：CG、GPU Computing、ゲーム • プロトタイピング、モデリング、3Dプリンター • サービス • カメラフィルター →Comm • VRライブ配信システム →SHOWROOM VRライブ配信 • 経歴 • SEGA -> Microsoft -> … -> Startup ->DeNA • 趣味 • 旅行 • 電子工作
- 5. #denatechcon Created game titles（ support / prototyping 含まない ） • Aqua Forest（iOS） • PHYZIOS Studio（iOS, PC） • PHYZIOS Sculptor（iOS） • Rendering、UI • Ninety Nine Nights（Xbox360） • Optimization • Shenmue Ⅰ (Dream Cast) • Shenmue Ⅱ (Dream Cast) • Motion library • Rendering library • Effects • Sonic the Fighters （Arcade） • Real-time character morphing • Virtua Cop 2 (Arcade、Saturn) • Breakable obstacles • Physics engine • Virtua Fighter 4 (Arcade) • 3D character motion library • Rendering effects • Virtua Fighter 2 (Arcade) • User interface / advertizing Credit Name as Takeyuki Ogura and Goho Ogura
- 6. #denatechcon コミュニティ貢献活動：CEDEC運営委員 ゲーム、コンピューター・エンターテイメントの開発者向けカンファレンス 講演 基調講演 展示 交流会 CEDEC（Computer Entertainment Developers Conference）
- 7. #denatechcon コミュニティ貢献活動：CEDEC運営委員 2019 2018 2017 2016 2015 2014 セッション数 ? 254 238 210 224 236 参加者総数 ? 8890 7997 6768 6373 6564 CEDEC 参加者、規模 国内最大規模＝CEDEC 9000人 世界最大規模＝GDC（Game Developers Conference）28,000人
- 8. #denatechcon コミュニティ貢献活動：CEDEC運営委員 CEDEC 参加者内訳 CEDEC2018 職種別割合 CEDEC2018 参加者年齢別割合
- 9. #denatechcon コミュニティ貢献活動：CEDEC運営委員 Hosted by : CESA（Computer Entertainment Supplier’s Association） 経産省系列の一般社団法人 CEDEC 参加者内訳
- 11. #denatechcon このセッションにおける用語 • 配信者 • ライブ配信する人 • 配信クライアント • ライブ配信するスマートフォン アプリケーション •視聴者 • ライブ視聴する人 •視聴クライアント • ライブ視聴するスマートフォン アプリケーション ＊画像はイメージで実際とは異なる場合があります。 安易にユーザーという言葉が 使えません。 多くの場合、配信クライアント と視聴クライアントは同じ クライアントアプリです。
- 12. #denatechcon 今日話すこと：スマートフォン＋Unityのライブ配信クライアント Media streaming service Unity視聴クライアント internet rtmp Uinty配信クライアント internet rtmp / hls … edge origin load balancer このセッションで話す範囲は◯の範囲です。
- 14. #denatechcon プロトタイピングの作業 実装 今日話すこと • Unityからライブ配信 ① 何ができるのか ② 具体的な実装方法のポイント ③ 今後どうなっていくのか 技術リサーチ サービス企画提案
- 15. #denatechcon 今日話すこと • Unityからライブ配信 ① 何ができるのか（30％） ② 具体的な実装方法のポイント（60％） ③ 今後どうなっていくのか（10％） エンジニア向け： Unity2018.2 2018.3 + iOS12 で実装する場合のポイント 新しいもの好き向け： 5G, カメラ, AIなどの影響 サービス企画向け： ライブ配信デモ Unityで作るメリット ユースケースの提案 プロトタイピングの範囲は広いため、このセッションで話す範囲は広くなります。
- 17. #denatechcon 何ができるのか：ポイント • キャプチャーした映像ではなく、視聴者に見せた い映像を配信できる • アプリケーションをインストールさせずに映像を 届けられる。SNSで拡散できる • Unityの豊富なAssetが使える
- 22. #denatechcon 何ができるのか：ポイント • キャプチャーした映像ではなく、視聴者に見せた い映像を配信できる • アプリケーションをインストールさせずに映像を 届けられる。SNSで拡散できる • Unityの豊富なAssetが使える
- 23. #denatechcon Unityの豊富なAssetが使える：69,271点（2019/2/1） Characters Animals Creatures Humanoids Robots Environments Dungeons Fantasy Historic Industrial Landscapes Roadways Sci-Fi Urban Props Clothing Electronics Exterior Food Furniture Guns Industrial Interior Tools Weapons Vegetation Flowers Plants SpeedTree Trees Vehicles Air Land Sea Space 3D Characters Environments Fonts GUI Icons Textures&Materials Abstract Brick Building Concrete Fabric Floors Food Glass Metals Roads Sky Stone Water Wood 2D Applications Machine Learning Services Analytics Billing Add-Ons Audio Ambient Fantasy Nature Noise Sci-Fi Urban Music Electronic Orchestral Pop Rock World Sound FX Animals Creatures Foley Transportation Voices Weapons Templates Packs Systems Tutorials Tools AI Animation Audio Camera GUI Input Management Integration Level Design Localization Modeling Network Painting Particles&Effects Physics Sprite Management Terrain Utilities Version Control Video Visual Scripting VFX Particles Environment Fire&Explosions Spells Shaders DirectX11 Fullscreen&Camera Effects Substances 引用： https://assetstore.unity.com
- 25. #denatechcon 現実：典型的な状況 ＊画像はイメージで実際とは異なる場合があります。 キャプチャーボード＋PC or コンソール 9割弱がスマートフォンから配信 7割強〜8割弱がスマートフォンで視聴 ライブ配信PF internet 配信 ゲーム実況 internet 配信 Media streaming service internet 視聴 視聴者 ライブ配信PFの配信者とゲーム実況者は別セクター です。
- 27. #denatechcon 論点：スマートフォンのゲームをやる人は配信するのか • ライブ配信の前提となっていたこと • 撮影、キャプチャーした映像を使う • 配信者の動機が必要（わざわざ撮影してまで、わざわざキャプチャー してまで…） • 前提を覆す • キャプチャーした映像を使うのではなく、視聴者に見せたい映像を サービス側でつくる • ゲームエンジンは強力なリアルタイム編集ツール • 配信者に依存しない内容にする。サービス、アプリの機能にする • 機械的な方が5Gの恩恵あり
- 30. #denatechcon 現実：Unityで制作されるゲーム • iOS/Androidゲーム（有料・無料）の上位1000 中38%がUnityを使用 • 四半期24億のデバイスがUnity製ゲームを実行 • Unity製のモバイルアプリケーションのインス トール数は、160億 引用：https://licensecounter.jp/unity/
- 31. #denatechcon 何ができるのか：まとめ • キャプチャーした映像ではなく、視聴者に見せた い映像を配信できる • ゲームエンジンは強力なリアルタイム編集ツール • 配信者に依存しない内容にする • アプリケーションをインストールさせずに映像を 届けられる。SNSで拡散できる • Unityの豊富なAssetが使える
- 36. #denatechcon 映像
- 37. #denatechcon Unity - Low-level Native Plugin Interface 引用：https://docs.unity3d.com/ja/current/Manual/NativePluginInterface.html 〜中略〜 参考：https://bitbucket.org/Unity- Technologies/graphicsdemos
- 44. #denatechcon renderTexture.GetNativeTexturePtr()でのIDをネイティブ側に渡す var texture = mainCamera.targetTexture; System.IntPtr ptr = texture.GetNativeTexturePtr(); LLNRPI.SetTextureFromUnity(ptr, texture.width, texture.height);
- 47. #denatechcon renderTextureを使ってrenderTargetに正投影でレンダリング RenderTexture RenderTerget polygon （© UTJ/UCL）
- 49. #denatechcon 音声
- 51. #denatechcon 音声のプログラミング • 映像と音声はデータを取る周期が違う • フレームレート: 30frame • システムサンプリング周波数: 24KHz • Dsp Buffer Size：Best Latency → length: 256 とすると… 24KHz = 800 * 30 = 256* 93.75 １フレームにUpdateと同じ回数呼ばれる保証がない →映像と音声はデータを取る周期が違う しかし、動画、ストリーミングでは映像と音声を同期する必要がある
- 52. #denatechcon 音声のプログラミング • Unityのシステムサンプリング周波数（デフォル ト）：24KHz • スピーカーの再生周波数：48KHz • iPhone6s以降：48KHz固定 →スピーカーの再生周波数に合わせるか、 24KHzのデータを時間軸で引き延ばす （24KHzのAudioBufferを作れなかった）
- 53. #denatechcon Unity - Native Audio Plugin SDK 参考： https://docs.unity3d.com/ja/current/Manual/AudioMixerNativeAudioPlugin.html 参考：https://bitbucket.org/Unity- Technologies/nativeaudioplugins Unity Native Audio Plugin SDK float[] float[] inbuffe r outbuffe r ProcessCallback() source mixer listene r Audio Mixerを通っているため、Unity内でイフェクトがかけられた音声 を取り出すこと、もしくはNativeでイフェクトをかけることが可能 UIなどの値
- 54. #denatechcon フロー ProcessCallback()が呼ばれる inbufferの内容をPCM音源のフォー マットに変換してaudioBufferに書く audioBufferをsampleBufferに渡す Audio Managerでサンプリング周波数 を設定 Unity iOS audioBufferを定義 inbufferの内容をoutbufferへコピー
- 55. #denatechcon システムサンプリング周波数を設定 • Audio Manager • Edit→Project Settings→Audio • System Sample Rate • 0はOSのデフォルト • iOS/Androidのデフォルトは24000 • 48000にしておく • DSP Buffer Size • Best Latency
- 57. #denatechcon ProcessCallback()が呼ばれる UNITY_AUDIODSP_RESULT UNITY_AUDIODSP_CALLBACK ProcessCallback( UnityAudioEffectState* state, float* inbuffer, float* outbuffer, unsigned int length, int inchannels, int outchannels)
- 58. #denatechcon inbufferの内容をoutbufferへコピー memcpy(outbuffer, inbuffer, sizeof(float) * length * inchannels);
- 59. #denatechcon inbufferの内容をPCM音源のフォーマットに変換してaudioBufferに書 く int16_t *ab = (int16_t *)audioBuffer; for (unsigned int n = 0; n < length; n++) { float li = inbuffer[n * inchannels]; int16_t sli = (int16_t)(li * 32768); ab[ n ] = sli; }
- 65. #denatechcon スマートフォンの進化 • インカメラは顔の動きを細かく把握するように • アウトカメラはデュアルカメラへ • 単眼RGBカメラでもDepthが取れるように • 顔認識、ポーズ推定のライブラリが出回る • NPUが積まれ、推論がより強く • 通信環境が5Gへ
- 66. #denatechcon インカメラは顔の動きを細かく把握するように •iPhone X TrueDepth • 赤外線のドットを3万個照射し て、赤外線カメラで撮影する • Neural Engineにて3D形状を把 握する • $16.50 Dot ProjectorFront CameraInfra Camera
- 68. #denatechcon Depthでできること 3D Photo (Facebook) Portrait mode (iPhone X) Portrait Matte Depth 背景除去Original 現時点のデュアルカメラとDepthを使ってできることは限定的である。 デュアルカメラの２眼の距離が瞳孔間距離65mm周辺になると、 3DのVRライブ配信が可能。 技術的には可能で、そうした専用機材は既にあるが、需要が少ないのでスマートフォンではやっていない。5G待ち
- 71. #denatechcon NPU • NVIDIA DLA • Google Edge TPU • Apple Neural Engine • ARM ML ハードウェアによるインファレンス側の強化 NVIDIA, Googleは目下IoT、自動車用途 Neural Engineは既にiPhone Xで使用されている ARMも参入
- 72. #denatechcon 5G（第５世代通信技術） • 高速・大容量：20Gbps（4G の 20倍） • 低遅延：1ms（4G の 1/10倍以下） • 多接続：10^6デバイス/km^2（4G の 10倍以上）
- 74. #denatechcon 直近で恩恵があるのはストリーミング • 4G LTEでVRライブ配信を実際にやっ たときの数字 • Maker Faire Tokyo 2017 • VR180 解像度4K 帯域10Mbps • １分：75MB/m • １時間：4.5GB • ８時間：36GB • Maker Faire Tokyo 2016 • 360 解像度2K 帯域3kbps • １時間：1.35GB • ８時間：10.8GB • 通信料金 • IIJMIO 10GB/月プラン 2500円 • データオプション 30GB 5000円 4Gでは8時間でパケ死する 5Gで1/10の値段になると現実的
- 76. #denatechcon これまでと考え方が逆 〜4G •自分のスマホの電波が 通じている＝使用して いる基地局の付近にい る 5G •自分の位置が基地局に 正確に捕捉されている ＝電波が通じる
- 77. #denatechcon 街中で普及するまで時間がかかる • 多大なインフラ投資が必要 • 電波の直進性が高い、減衰しやすい • 基地局のアンテナが沢山必要 • フォーミング • エッジサーバーの性能が必要 • 最初はイベント会場などから
- 79. #denatechcon まとめ
Notas del editor
- エンジニアの小倉と申します。 サービスから少し離れたところで プロトを作ったり、何かを調査するといった仕事をしております。 コード書く以外に、3Dモデリング、3Dプリントしたり、モーションキャプチャー、VRカメラの撮影、など 〜のデータがないと先に進みませんの〜に該当する部分は、ほぼ一人でやると言った感じで 具体的なサービスとして表に出ることは少ないのですが、プロジェクトにかかりっきりになるような時があり、 SHOWROOMでVRでライブ配信（実写の方）などを すごい昔になりますが、カメラフィルターなど それ以前の仕事も実は、 プロダクト、サービスをつくるよりも、プロト、先行開発をキャリアとしてきました あたらしいゲームハードが出る時はハードウェアそれそのものもプロトのときから触るようなこと ライブラリ整備、ハードの限界性能を試す、そういうことが多かった … .
- プロトタイプばかり制作しているが、制作もやっていて、制作したものがこれら。 ２３年ぐらい うち半分がアーケード、ゲームコンソール もう半分がスタートアップ、DeNA
- CEDECというコンピューターエンターテイメントのカンファレンスの運営委員 Computer Entertainment Developers Conferenceの略 大小200のカンファレンス 展示 交流会 写真はポケモンGoのNianticの開発者、川島さん野田さん
- 毎年、現地に6000人以上参加 2017からオンライン講演枠により、2000人上乗せ 年々参加者が増加 GDCの1/3
- 参加者内訳 左にグラフ： エンジニアが多いがエンジニアだけではない アーティスト、プランナ、学生、ディレクタと続く そもそも、ゲーム、エンターテインメント産業は、人種のるつぼ、 プログラム書く人、絵を描く人、企画作る人、作曲する人、など普通はこんな近くで一緒に仕事しない それが起きるのがゲーム、エンターテインメント産業 職種に縛られずいろんな職種の講演を聴いているのがわかる ダイバージェンスがある、そしてCEDECは国内最大規模である（世界最大はGDC25000人） 右のグラフ： 20年の歴史があるが、別にコンソールの古い人が来る場所ではない 主流は30代、20代、いまだと30代が減って10代が増える傾向にある
- 2019年は9/14日-16日までの3日間 募集期間：2019年２月１日（金）〜４月１日（月） ちょうどいま募集中 主催はCESA 経産省系列の社団法人 CESAは他にもTGS、ゲーム白書など
- なんでこんな話を先にするかというと 自分の講演はだいたい、30%、よくて半分ぐらいしかわからない、あるいは興味ない、と言われる →だから先にしておきます
- ライブサービスやると、単純にユーザーと言葉が使えない
- https://support.google.com/youtube/contact/brand_request?hl=en
- 録画しますというのはある程度
- ①②③それぞれ興味をもつ人が違うものなので、違和感を強く感じると思う →それが普通 ①プランナー、プロデューサー ②エンジニア、アーティスト ③インベスター 半分興味あるが後は興味なし どういうことかというと、
- ①②③それぞれ興味をもつ人が違うものなので、違和感を強く感じると思う →それが普通 ①プランナー、プロデューサー ②エンジニア、アーティスト ③インベスター 半分興味あるが後は興味なし どういうことかというと、
- どうゆうユーザー体験に結びつくの？ 提案ベースです
- すでにやっていること、足らない部分 今後の提案
- https://www.emstudio.jp/use/
- レンダリングパワー食います
- https://qr.quel.jp/form_bsc_url.php
- 雑にタグだけ持ってきた
- どうゆうユーザー体験に結びつくの？ 提案ベースです
- 大前提、配信者のITリテラシーは期待できない そもそも両者が近かったら、ゲームエンジンでライブ配信という話がもっと早く出ていた
- ゲーム実況やってる人ではないと思うけれど、 Vtuberはある程度こういう機材を持ってる人だけで進められたため、供給過剰になったのでは？ 配信者 機材使い 違う →配信者が自然に（自分のも追っている機材、お金ではない動機）
- これが鍵を握る 5Gの恩恵はこちらの方が受けられる
- 配信者に依存する配信者の取り合い→事務所依存 書かないけど言っとこうと思うこと＝資金決済法 事務所通さないといけないBtoB、 どんなに個々の人を支援するというビジョンをもっても中間搾取をされる。また、そうされやすい国である
- スマホの50％以上 Switchの50％以上
- どうゆうユーザー体験に結びつくの？ 提案ベースです
- それぞれ違う経路からデータを取り出す必要がある
- マルプレクサ コンテナに積む librtmp(GPL)
- マルプレクサ コンテナに積む librtmp(GPL)
- 基本的にネイティブからの入力を前提にしている ここをネイティブへの出力に使う プラグインのロード、アンロード、その他どう動かすかというところはbitbucketのコードを参考に
- ネイティブOpenGLの方でBindするとこのTextureが使える
- iOS5からある 具体的な使い方はいろんなところに出てるのでそこを参考に
- これ、コンソールなどをやってる人から見ると 無駄なレンダリング
- 別にここから取り出せますとは言ってない けれど、ここからインターセップトします
- フローは単純 だけど落とし穴が多い
- Best Latency クオリティ犠牲でもレイテンシ優先
- １秒間分
- これをやらないと音がならない
- モノラル
- マルプレクサ コンテナに積む librtmp(GPL)
- どうゆうユーザー体験に結びつくの？ 提案ベースです
- 5Gはいま急いで進めなくてもいいんじゃないかという インフラ投資が多くなる →進める必要はないが、議論や実験はたくさんした方がいい
- 自分は中をよく開けます モジュール１つ１つはそれこそ数百円というレベル
- スマートフォンから映像をストリーミングするという点において影響ありそうなところを紹介
- インカメラは生活くさい
- アウトカメラは普通のデジタルカメラのような進化をしている
- わざわざTrueDepthというのには理由がある
- 上２つは大きいので、IoT向け 主に車 下２つはモバイル向け Neural Engineについてはあまり資料が出ていない「
- 通信速度 4G 1Gbps 5G 10Gbps～20Gbps程度 20倍以上 それに合わせ、通信容量も改善される。それは4Gと比較した場合、1000倍程度に引き上げることが目指されている。 遅延 4G 数十ミリ秒程度 5G 1ミリ秒以下 自動運転：100km 4G 危険察知→ブレーキ1.4m 5G 2.8cm 遠隔手術
- 金は広く浅く徴収される ドコモ、レンタサイクルなど まさにIoT
- 低遅延＝レスポンスは地味に需要
- ダイポール やり型 eLTE 6G 28G 1.8 200mw 個人出力 2.4 28 1周波数が下がる
- 基地局のアンテナ20-30倍増やす 周波数が高い→光に近い性質→直進 周波数高い、回折（かいせつ）しづらい
- 歩きスマホは人類の黒歴史
- カメラ、センサー類が充実 通信環境も充実 あいだにリアルタイム編集があると価値が出ると思うが、そこも強くなるとよい と思う