Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.
Cargando en…3
×
1 de 46

20160625 Google I/O Extended 報告会 Fukuoka 2016 "Audio and Music"

1

Compartir

Descargar para leer sin conexión

2016-06-25
Google I/O Extended 報告会 Fukuoka 2016 での講演資料
"Audio and Music"

Libros relacionados

Gratis con una prueba de 30 días de Scribd

Ver todo

Audiolibros relacionados

Gratis con una prueba de 30 días de Scribd

Ver todo

20160625 Google I/O Extended 報告会 Fukuoka 2016 "Audio and Music"

  1. 1. Google I/O Extended 報告会 Fukuoka 2016 “Audio and Music” 2016-06-25 @yukio_tada #io16jp https://ja.wikipedia.org/wiki/ひよ子
  2. 2. /45 agenda 1. “Android high-performance audio” ‐ May 19 15:00-16:00 ‐ https://youtu.be/F2ZDp-eNrh4 2. “Spatial Audio and Immersion – VR’s Second Sense” ‐ May 20 9:00-10:00 ‐ https://youtu.be/Na4DYI-WjlI 3. “What’s next for the web?” ‐ May 19 13:00-14:00 ‐ https://youtu.be/bK6Ah68jEX8 4. Android Pro Audio ブース展示 1
  3. 3. /45 example of android music apps ‐ DRC – Polyphonic Synthesizer ‐ https://play.google.com/store/apps/details?id=com.imaginand o.drc ‐ https://youtu.be/F2ZDp-eNrh4?t=2m2s ‐ edjing Scratch – digital vinyl ‐ https://play.google.com/store/apps/details?id=com.djit.apps.e djing.scratch ‐ https://youtu.be/F2ZDp-eNrh4?t=3m47s ‐ KORG iKaossilator ‐ http://www.korg.com/jp/products/software/ikaossilator/ ‐ https://youtu.be/F2ZDp-eNrh4?t=4m23s ‐ Android 版は未リリース ‐ ROLI NOISE ‐ https://roli.com/products/noise ‐ https://youtu.be/F2ZDp-eNrh4?t=5m5s ‐ Android 版は未リリース 2
  4. 4. /45 “Latency” and “Glitch” ‐ Latency: 遅延 ‐ 例) ドラムを叩いてから実際に音が出るまで ‐ 10ms(1/100秒)遅れると知覚できる ‐ プロの電子楽器の世界では(遅くとも)4ms以下が基準 ‐ 映像の世界は60fps(16.6ms)なので、音の方が要求が厳しい ‐ Gritch: 音切れ、ノイズ ‐ ブツッ、チリチリ、ブツブツ、… ‐ 何らかの原因で音声データの生成が間に合わなくなったときに起きる ‐ Android は iOS と比較してこれらの問題が発生しやすい ‐ Java ‐ 機種依存 ‐ Latency と Glitch はトレードオフ ‐ Latency 小 → バッファ小 → ちょっとした処理の遅れで Glitch 発生 ‐ これらを高いレベルで解決することが音楽アプリケーション実装の鍵 3
  5. 5. /45 WALT(入出力遅延測定ツール) 4 https://github.com/google/walt
  6. 6. /455
  7. 7. /456 サンプリングレートを ハードコーディングしない
  8. 8. /457
  9. 9. /458 バッファサイズが大きすぎる (48KHz x 4000 sample = 83ms)
  10. 10. /459
  11. 11. /4510
  12. 12. /4511
  13. 13. /4512
  14. 14. /45 Systrace 13
  15. 15. /4514
  16. 16. /45 Android Pro Audio ‐ Android M (API Level 23) で FEATURE_AUDIO_PRO flag 導入 ‐ Latency 20ms (目標10ms) ‐ 現時点での対応機種 ‐ Nexus 9 ‐ Nexus 5x ‐ Nexus 6P ‐ 引き続きハードメーカー・チップメーカーと連携しながら対応を 進めていく計画とのこと 15
  17. 17. /45 @ Day0 Intel Google I/O Party ‐ https://youtu.be/_YT0eXuN8oE 16
  18. 18. /45 nVIDIA SHIELD タブレット向けイメージ 17
  19. 19. /45 Samsung Professional Audio (SAPA) 18
  20. 20. /4519
  21. 21. /45 session summary ‐ 音楽アプリを開発する際には「latency」「glitch」を 減らすことが重要 ‐ 現時点で音楽アプリを開発する際のポイント ‐ (1) サンプルレートとバッファサイズを適切に設定する ‐ (2) バッテリセーブモードに入らないように定期的にタッチイ ベントを送る ‐ (3) Systraceを使って処理時間を測定しパフォーマンスを改善 する ‐ Android M から導入された「Android Pro Audio」の フレームワークを使うことのできる機種がこれから増 えていく見込みなので期待しましょう 20
  22. 22. /45 agenda 1. “Android high-performance audio” ‐ May 19 15:00-16:00 ‐ https://youtu.be/F2ZDp-eNrh4 2. “Spatial Audio and Immersion – VR’s Second Sense” ‐ May 20 9:00-10:00 ‐ https://youtu.be/Na4DYI-WjlI 3. “What’s next for the web?” ‐ May 19 13:00-14:00 ‐ https://youtu.be/bK6Ah68jEX8 4. Android Pro Audio ブース展示 21
  23. 23. /45 spatial audio(空間オーディオ)とは ‐ 音源との位置関係、壁などの反射、頭や耳の形、など を元に、実際の3D環境で聞こえる音を再現する技術 ‐ 簡単な例 ‐ 音源が近づいてくると音が大きくなる ‐ 音源が右側に移動すると右耳に入ってくる音が大きくなる ‐ 音が壁に反射すると反射した音が遅れて聞こえてくる ‐ 複雑な例 ‐ 壁の材質によって反射する音の音量や音質が変わる ‐ 頭を動かすと聞こえる音が変わる ‐ 耳の形による音の変化(周波数・位相差)を利用して、音源の前 後・上下を聞き分けることができる 22
  24. 24. /4523
  25. 25. /4524 初期化 SoundObject 生成 音を鳴らす room effect 設定
  26. 26. /4525
  27. 27. /4526
  28. 28. /45 GVR Sample Video ‐ https://youtu.be/I9zf4hCjRg0 27
  29. 29. /45 Sample code / apk 28 https://github.com/googlevr/gvr-unity-sdk/tree/master/Samples/SpatialAudio
  30. 30. /45 session summary ‐ spatial audio は VR やゲームアプリの臨場感を高める 上で重要な技術 ‐ Google VR SDK で spatial audio がサポートされてい る ‐ Gogole VR SDK は Unity・Android・iOS の3プラット フォームに対応 ‐ spatial audio は以下の4ステップで簡単に利用可能 ‐ 1) Initialize ‐ 2) Create a sound object ‐ 3) Play sound ‐ 4) Add room effects ‐ GitHub でサンプルの apk ファイルが公開されている のでまずはそれを試してみるのが良いのでは 29
  31. 31. /45 agenda 1. “Android high-performance audio” ‐ May 19 15:00-16:00 ‐ https://youtu.be/F2ZDp-eNrh4 2. “Spatial Audio and Immersion – VR’s Second Sense” ‐ May 20 9:00-10:00 ‐ https://youtu.be/Na4DYI-WjlI 3. “What’s next for the web?” 1. May 19 13:00-14:00 2. https://youtu.be/bK6Ah68jEX8 4. Android Pro Audio ブース展示 30
  32. 32. /45 session summary ‐ Progressive Web App, Web Bluetooth, Physical Web, Web USB, ...は割愛 ‐ Web MIDI ‐ MIDI: 楽器と楽器をつなぐためのプロトコル ‐ Web MIDI API: Web アプリケーションから MIDI 機器を制御する ための API ‐ Web MIDI API 実装状況 ‐ Chrome 43(2015-05)以降で標準サポート ‐ Firefox 実装進行中、レビュー段階 ‐ 楽器メーカーやアーティストから Web MIDI API に対応した Web アプリケーションがリリース、実用フェーズに ‐ Soundmondo for reface ‐ Madeon’s Adventure Machine 31
  33. 33. /45 Soundmondo 32 https://youtu.be/Zp_LI1UiCxo?t=1m
  34. 34. /45 Madeon’s Adventure Machine 33 http://www.madeon.fr/adventuremachine/
  35. 35. /45 agenda 1. “Android high-performance audio” ‐ May 19 15:00-16:00 ‐ https://youtu.be/F2ZDp-eNrh4 2. “Spatial Audio and Immersion – VR’s Second Sense” ‐ May 20 9:00-10:00 ‐ https://youtu.be/Na4DYI-WjlI 3. “What’s next for the web?” ‐ May 19 13:00-14:00 ‐ https://youtu.be/bK6Ah68jEX8 4. Android Pro Audio ブース展示 34
  36. 36. /4535 http://jamstik.com/
  37. 37. /4536 https://www.pioneerdj.com/ja-jp/product/controller/ddj-wego3/black/overview/ https://www.algoriddim.com/djay-android
  38. 38. /4537 https://roli.com/
  39. 39. /4538 http://www.korg.com/jp/products/software/ikaossilator/
  40. 40. /4539 https://youtu.be/QlDLX2wrwxE
  41. 41. /4540 https://youtu.be/dMK1OdfNN0E https://play.google.com/store/apps/details?id=com.yurisuzuki
  42. 42. /4541 https://youtu.be/kUslnbMCY0E
  43. 43. /45 おまけ 42
  44. 44. /45 Web Music Developers JP 43
  45. 45. /45 音楽アプリ(DJ)ハッカソンやります ‐ 日時: 7月30日(土) ‐ 場所: Google Japan (六本木) ‐ やること: DJ がライブで使えるような Web アプリを開発する ‐ 今回の特徴: 優秀作品は実際のライブイベントにてデビュー! ‐ 詳細は Web Music Developers JP の ML にて (近日発表) ‐ 過去のハッカソン(4回開催)の様子は、 ”Web Music Developers JP ハッカソン” で検索 44
  46. 46. /45 ありがとうございました! ‐ 本日の資料は slideshare で共有いたします ‐ @yukio_tada ‐ #io16jp 45

×