Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

はじめてのKinect for windows v2

13.003 visualizaciones

Publicado el

2014/09/24,26に行われた、東京エレクトロンデバイス株式会社主催「Kinect for Windows v2最新情報セミナー」の資料です。
大阪開催時に最初のスライドをいくつか追加しました。

Publicado en: Tecnología
  • Inicia sesión para ver los comentarios

はじめてのKinect for windows v2

  1. 1. はじめての Kinect for Windows v2 2014/09/24,26東京エレクトロンデバイス株式会社主催 Kinect for Windows v2最新情報セミナー Natural Software 中村薫
  2. 2. 自己紹介 中村薫 フリーランスで主にDepthセンサー系の仕事をしています アプリケーション開発、講演、ハンズオンセミナー、執筆など Microsoft MVP for Kinect for Windows kaorun55@naturalsoftware.jp Copyright © 2014 Natural Software.jp All rights reserved. 3
  3. 3. Copyright © 2014 Natural Software.jp All rights reserved. 4
  4. 4. はじめに Copyright © 2014 Natural Software.jp All rights reserved. 5
  5. 5. 大きな流れ・1 Copyright © 2014 Natural Software All rights reserved.
  6. 6. 大きな流れ・1 Copyright © 2014 Natural Software All rights reserved. Microsoft Intel Apple Google
  7. 7. 大きな流れ・2 Copyright © 2014 Natural Software All rights reserved. Intel RealSense Leap Motion
  8. 8. 注意事項 Copyright © 2014 Natural Software.jp All rights reserved. 9 Kinectv2のソフトウェアやハードウェア、 APIは暫定的なものであり、 正式版では変更される可能性があります。
  9. 9. ゴール •Kinect for Windows v2の概要を知る •Kinect for Windows v2の使いどころを知る •Kinect for Windows v1とv2の違いを知る Copyright © 2014 Natural Software.jp All rights reserved. 10
  10. 10. デモ Copyright © 2014 Natural Software.jp All rights reserved. 11
  11. 11. KINECTFOR WINDOWS V2 Copyright © 2014 Natural Software.jp All rights reserved. 12
  12. 12. Kinect for Windows v2を使う理由 •より高精度なデータ(Color,Depthなど) •体のより詳細な動き(関節の向きなど) •体の内面の検出、推定(表情など) •WinRT,Unityへの公式な対応 Copyright © 2014 Natural Software.jp All rights reserved. 13
  13. 13. Kinect for Windows v2を使わない場面 •複数のKinectを1PCで利用したい場合 •加速度センサーを利用したい場合 Copyright © 2014 Natural Software.jp All rights reserved. 14
  14. 14. Kinect v2 •2013年11月 –米国などでXbox Oneが発売(Kinect v2同梱) •2013年12月 –Kinect for Windows v2 DeveloperPreviewの発売開始 •2014年07月 –Kinect for Windows v2 PublicPreviewの発売開始 •2014年09月 –日本でXboxOneが発売 Copyright © 2014 Natural Software.jp All rights reserved. 15
  15. 15. Kinectfor Windows v2 •Xbox Oneに付属のKinectと同等 •2014年7月時点でオープンベータとしてリ リース(センサーはリリース版) Copyright © 2014 Natural Software.jp All rights reserved. http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900 16
  16. 16. 事例(旧バージョン) Copyright © 2014 Natural Software.jp All rights reserved. 17
  17. 17. 医療 http://www.youtube.com/watch?v=624N3-nIieI Copyright © 2014 Natural Software.jp All rights reserved.
  18. 18. リハビリ Copyright © 2014 Natural Software All rights reserved. http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063_2.html
  19. 19. アミューズメント Copyright © 2014 Natural Software.jp All rights reserved.
  20. 20. 仮想試着 http://www.facebook.com/photo.php?fbid=3392874617478 Copyright © 2014 Natural Software.jp All rights reserved.
  21. 21. 空中ディスプレイ Copyright © 2014 Natural Software.jp All rights reserved.
  22. 22. 現実世界へのインタラクション Copyright © 2014 Natural Software.jp All rights reserved. http://www.naturalsoftware.jp/blog/7906
  23. 23. Photo by Ben Lorph Kinectx 8台 Copyright © 2014 Natural Software All rights reserved.
  24. 24. KINECT FOR WINDOWS SDKV2の機能 Copyright © 2014 Natural Software.jp All rights reserved. 25
  25. 25. Kinectfor WindowsSDK v2 •2013年12月:DeveloperPreview •2014年07月:PublicPreview1407 •2014年08月:PublicPreview1408 •2014年09月:PublicPreview1409 Kinect for Windows Dev Centerで配布 直リンク:Kinect for Windows SDK 2.0 Public Preview Copyright © 2014 Natural Software.jp All rights reserved. 26
  26. 26. Kinect から送られてくるデータ Copyright © 2014 Natural Software.jp All rights reserved. Kinectfor Windows v2 アプリ カラー画像 Depth(距離)データ 赤外線画像 プレイヤー番号 体の情報(関節など) 音声データ Kinect for Windows SDK v2 Kinect サービス 27
  27. 27. Kinect for Windows SDKv2 Color:カラー画像 Depth:距離データ Body:体の情報(関節など) Copyright © 2014 Natural Software.jp All rights reserved. Audio:音声データ Infrared:赤外線画像 PlayerIndex:プレイヤー番号 28
  28. 28. Kinect for Windows SDKv2 Control: ユーザーインタフェース(NUI) Fusion: 3次元モデルの再構築 Face: 顔の情報(表情など) Copyright © 2014 Natural Software.jp All rights reserved. HDFace: 高精度の顔情報(3Dモデルなど) Speech: 音声コマンド認識 Gesture: ユーザー定義のジェスチャー 29
  29. 29. Kinect for Windows SDKv2 KinectStudio: Kinectデータの記録と再生 Visual Gesture Builder: ポーズやジェスチャーの作成 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v2 Configuration Verifier: ハードウェアが要求を満たして いるかチェックする 30
  30. 30. Kinectfor WindowsSDK v2 •現状では重心および心拍は含まれていない Copyright © 2014 Natural Software.jp All rights reserved. 31 http://www.youtube.com/watch?v=Hi5kMNfgDS4
  31. 31. KINECT FOR WINDOWS V2の仕様 Copyright © 2014 Natural Software.jp All rights reserved. 32
  32. 32. ハードウェア要求 対応OS(*) Windows8(x64) Windows8.1(x64) Windows Embedded 8(x64) Windows Embedded 8.1(x64) CPU Corei7 3.1GHz以上の64bitCPU メモリ 4GB以上 USBバージョン(*) USB3.0 USBホストコントローラー(*) IntelまたはRenesas グラフィック(*) DirectX11対応グラフィックカード Copyright © 2014 Natural Software.jp All rights reserved. 33 *:必須項目
  33. 33. KinectforWindows v2の仕様(1) Copyright © 2014 Natural Software.jp All rights reserved. Color画像 1920x1080 Depth画像 512x424 Depthセンシング方式 TOF(Time of Fright) Depth認識範囲 500mm-8000mm(Depth) 500mm-4500mm(Body) 水平視野角 70度 垂直視野角 60度 34
  34. 34. KinectforWindows v2の仕様(2) Copyright © 2014 Natural Software.jp All rights reserved. 人の検出 6人 人の骨格検出 6人 検出骨格数 25点/一人 手指検出 親指と指先 手のポーズ検出 グー、チョキ、パー 35
  35. 35. KinectforWindows v2の仕様(3) Copyright © 2014 Natural Software.jp All rights reserved. ジェスチャー ○ マイク 4つのマイク(マイクアレイ) 音声入力 ○ チルトモーター なし 加速度センサー △ (ハード的には実装されているらしい) 36
  36. 36. KinectforWindows v2の仕様(4) Copyright © 2014 Natural Software.jp All rights reserved. USB USB 3.0 1PCで複数Kinectの同時利用 × 1PCで複数アプリからの同時利用 ○ 37
  37. 37. 対応言語および開発環境 •Visual Studio 2012以降(Expressも可) –ネイティブ(C++) –マネージ(.NET:C#、VBなど) –WinRT(Windowsストアアプリ:C#、 HTML&JavaScriptなど) •Unity(Proが必要:C#) Copyright © 2014 Natural Software.jp All rights reserved. 38
  38. 38. 環境による利用できる機能の相違 ネイティブ マネージ WinRT Unity 基本ストリーム ○ ○ ○ ○ Control × ○ ○ × Fusion ○ ○ ○ × Face ○ ○ ○ × HD Face ○ ○ ○ × Speech ○ ○ × × Gesture ○ ○ ○ × Copyright © 2014 Natural Software.jp All rights reserved. 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。 39
  39. 39. KINECT FORWINDOWS V1とV2の比較 Copyright © 2014 Natural Software.jp All rights reserved. 40
  40. 40. センサーの仕様比較 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v1 Kinectv2 Color画像 640x480,1280x960 1920x1080 Colorフレームレート 30FPS,12FPS 30FPS,15FPS(暗所) Depth画像 80x69,320x240,630x480 512x424 Depthフレームレート 30FPS 30FPS Depthセンシング方式 LightCoding TOF(Time of Fright) Depth認識範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 400mm-10000mm(Extend) 500mm-8000mm 水平視野角 57度 70度 垂直視野角 43度(±27度:チルトモーター) 60度 41
  41. 41. センサーの仕様比較 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v1 Kinectv2 人の検出 6人 6人 人の検出距離範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 500mm-4500mm 人の骨格検出 2人 6人 検出骨格数 20点/一人 25点/一人 手指検出 × △(親指と指先) 手のポーズ検出 △ (Kinect Interaction:グー、パー) ○(グー、チョキ、パー) 42
  42. 42. センサーの仕様比較 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v1 Kinectv2 ジェスチャー △ (Kinect Interaction:入力支援) ○ マイク 4つのマイク(マイクアレイ) 4つのマイク(マイクアレイ) 音声入力 ○ ○ チルトモーター あり なし 加速度センサー あり APIとしては未公開 43
  43. 43. センサーの仕様比較 Copyright © 2014 Natural Software.jp All rights reserved. Kinect v1 Kinectv2 USBバージョン USB 2.0 USB 3.0 1PCで複数Kinectの同時利用 4台まで 1台 1PCで複数アプリからの同時利用 × ○ 44
  44. 44. アプリケーションから見る KINECT FORWINDOWS V1とV2の比較 Copyright © 2014 Natural Software.jp All rights reserved. 45
  45. 45. Depth Copyright © 2014 Natural Software.jp All rights reserved. Kinectv1 Kinectv2 Kinectv2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。 46
  46. 46. Depthセンシング方式(v1:Light Coding) ランダムな点を照射し、 歪みを計測する Copyright © 2014 Natural Software.jp All rights reserved. 47
  47. 47. 物 Kinect v2 壁 台 反射の時間を測る Depthセンシング方式(v2:ToF) Copyright © 2014 Natural Software.jp All rights reserved. 48
  48. 48. 骨格検出 Copyright © 2014 Natural Software.jp All rights reserved. 49
  49. 49. 全身の骨格検出数 Copyright © 2014 Natural Software.jp All rights reserved. Kinectv1: 20点/一人 Kinectv2: 25点/一人 50
  50. 50. 骨格検出数の追加 Copyright © 2014 Natural Software.jp All rights reserved. 51
  51. 51. 水平視野角 Copyright © 2014 Natural Software.jp All rights reserved. http://www.innovotion.co.jp/blog/2013/11/27/22/ 52
  52. 52. 垂直視野角 Copyright © 2014 Natural Software.jp All rights reserved. http://www.innovotion.co.jp/blog/2013/11/27/22/ 53
  53. 53. KINECT FOR WINDOWS SDK Copyright © 2014 Natural Software.jp All rights reserved. 54
  54. 54. 使用するライブラリ(マネージ) 基本ストリーム Microsoft.Kinect.dll Control Microsoft.Kinect.Wpf.Controls.dll Fusion Microsoft.Kinect.Fusion.dll Face Microsoft.Kinect.Face.dll HD Face Microsoft.Kinect.Face.dll Speech SpeechSDK Gesture Microsoft.Kinect.VisualGestureBuilder.dll Copyright © 2014 Natural Software.jp All rights reserved. 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。 55
  55. 55. 使用するライブラリ(ネイティブ) 基本ストリーム Kinect20.lib Control × Fusion Kinect20.Fusion.lib Face Kinect20.Face.lib HD Face Kinect20.Face.lib Speech SpeechSDK Gesture Kinect20.VisualGestureBuilder.lib Copyright © 2014 Natural Software.jp All rights reserved. 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。 56
  56. 56. 使用するライブラリ(WinRT) 基本ストリーム WindowsPreview.Kinect Control Microsoft.Kinect.Toolkit.Input Microsoft.Kinect.Xaml.Controls Fusion Microsoft.Kinect.Fusion Face Microsoft.Kinect.Face HD Face Microsoft.Kinect.Face Speech × Gesture Microsoft.Kinect.VisualGestureBuilder Copyright © 2014 Natural Software.jp All rights reserved. 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します。 57
  57. 57. 使用するライブラリ(Unity) •Unityパッケージ –K4W_Unity_XXXX_1(ProOnly).unitypackage Copyright © 2014 Natural Software.jp All rights reserved. 58
  58. 58. Kinect for Windows SDK v1からのデータ(参考) •ColorImageStream –RGB またはIR •DepthImageStream –Depth とPlayerIndex •SkeletonStream Copyright © 2014 Natural Software.jp All rights reserved. 59
  59. 59. Kinect for Windows SDK v2からのデータ •ColorFrameReader •DepthFrameReader •InfraredFrameReader •BodyIndexFrameReader •BodyFrameReader •LongExposureInfraredFrameReader •AudioBeamFrameReader •MultiSourceFrameReader Copyright © 2014 Natural Software.jp All rights reserved. 60
  60. 60. 改善点 •DepthとPlayerIndex(BodyIndex)が分離された –V1ではDepthとPlayerIndexがひとまとまりだった •ColorストリームとIRストリームを同時に読み込むこと ができる –V1ではColorとIRストリームは排他(PrimeSense系センサーの 仕様?) •AudioBeamにBodyIndexが関連付けられた –音声方向の人の判別が容易になった Copyright © 2014 Natural Software.jp All rights reserved. 61
  61. 61. データ取得の大まかな流れ Sensor Source Reader Frame Data Copyright © 2014 Natural Software.jp All rights reserved. 62
  62. 62. 初期化(マネージド) void Initialize() { // Kinectを開く kinect= KinectSensor.GetDefault(); kinect.Open(); // カラーリーダーを開く colorFrameReader= kinect.ColorFrameSource.OpenReader(); colorFrameReader.FrameArrived+= colorFrameReader_FrameArrived; } Copyright © 2014 Natural Software.jp All rights reserved. 63
  63. 63. データを取得する(マネージド) void colorFrameReader_FrameArrived( object sender, ColorFrameArrivedEventArgse ) { // カラーフレームを取得する using ( varcolorFrame= e.FrameReference.AcquireFrame() ) { if ( colorFrame== null ) { return; } // BGRAデータを取得する colorFrame.CopyConvertedFrameDataToArray(colorBuffer, ColorImageFormat.Bgra); // 処理する ... } } Copyright © 2014 Natural Software.jp All rights reserved. 64
  64. 64. まとめ Copyright © 2014 Natural Software.jp All rights reserved. 65
  65. 65. Kinect v2を使う理由および進化点 •より高精度なデータ(Color,Depthなど) •体のより詳細な動き(関節の向きなど) •体の内面の検出、推定(表情など) •WinRT,Unityへの公式な対応 Copyright © 2014 Natural Software.jp All rights reserved. 66
  66. 66. 情報源 •中村(MVP for Kinect) –http://www.naturalsoftware.jp/ •杉浦さん(MVP for Kinect) –http://unanancyowen.com/ –http://www.buildinsider.net/small/kinectv2cpp •初音さん(MVP for Visual Basic) –http://www.buildinsider.net/small/kinect2dp Copyright © 2014 Natural Software.jp All rights reserved. 67
  67. 67. 困ったときは •Kinect for Windows 好きの集まり(Facebookグループ) –https://www.facebook.com/groups/320184018036066/ •Tokyo MotionControlNetwork(Facebookページ) –https://www.facebook.com/TokyoMotioncontrolNetwork •TMCN forum(Facebookグループ) –https://www.facebook.com/groups/271384549699385/ Copyright © 2014 Natural Software.jp All rights reserved. 68
  68. 68. www.naturalsoftware.jp Copyright © 2014 Natural Software.jp All rights reserved. 69

×