Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

位置合わせや(屋内)測位に関する国際コンペと標準化

140 visualizaciones

Publicado el

位置合わせや(屋内)測位に関する国際コンペと標準化について報告する。

Publicado en: Ingeniería
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

位置合わせや(屋内)測位に関する国際コンペと標準化

  1. 1. 位置合わせや(屋内)測位に関する 国際コンペと標準化 蔵⽥武志123 1産業技術総合研究所 2筑波⼤学 3住友電気⼯業(株) 第24 回⽇本バーチャルリアリティ学会⼤会 ARToolKit 20 周年記念講演 (複合現実感研究委員会/3 次元ユーザインタフェース研究委員会)
  2. 2. (14.12.23) ウェアラブルAR (2000〜) [産総研初期/UW留学/⽇仏連携] サービス⼯学(2008~)/スマートワーク (2015〜) スマートフォンPDRデモ (2010) (世界初) PDR進⾏⽅向推定 [PLANS14] (仏IFSTTARの⽐較評価で最⾼性能) SfM, VSLAM (~2000)[筑波⼤・電総研] 本講演に関係する これまでの活動経緯 2 逐次型因⼦分解法 [CVPR00] vSRT+PDR (世界初) [ISMAR03] (引⽤数上位) WACL (Wearable Active Camera with Laser Pointer) [ISWC04] (査読最⾼スコア) 屋内測位 (2001〜) [産総研/企業共同研究/スタートアップ] 製造業クロスアポ出向[住友電⼯] (2018〜19) ハンドヘルドARでのポインティング [Interact13] (Honorary Mention) 屋内測位の現場適⽤ [⽇本VR学会論⽂誌11] 論⽂賞 屋内測位に基づく改善⽀援 [ICServ13] ベストペーパー 国際コンペ・標準化 (2010〜) *xDRベンチマーキング PDRベンチマーク標準化委員会 (2014-) xDR Challenge (2015-) *vSRTベンチマーキング TrakMark (2010-) ISO/IEC SC 24委員 (2012-) [ISO/IEC 18520:2019] (国際規格開発賞) 理事⻑賞 (2016)
  3. 3. XR・⼈間拡張とスマートワーク: Operator 4.0 3 Romero D., Stahre J., Wuest T., Noran O., Bernus P., Fast-Berglund Å., Gorecky D., Towards an Operator 4.0 Typology: A Human- Centric Perspective on the Fourth Industrial Revolution Technologies. CIE46, pp. 1-11, (2016) Romero, D., Bernus, P., Noran, O., Stahre, J., Fast-Berglund, Å., The Operator 4.0: Human cyber-physical systems & adaptive automation towards human-automation symbiosis work systems. In: APMS, (2016)
  4. 4. TrakMark (2010~) 4 MARで⽤いるビジョンベースの位置合わせ・トラッキング (vSRT: vision-based Spatial Registration and Tracking)⼿法 のベンチマーキングのための草の根活動(SIM-MR)
  5. 5. TrakMarkデータセットの例 5 Film Studio Package NAIST Campus Package Nursing Home Package 物理センサ(ジャイロ・超⾳波複合センサ/ロータリーエンコーダ)を⽤いて、カメラ位置姿勢を計測 対応点データを⼿動で作成し、PnP問題を解くことでカメラ位置姿勢を計算 カメラ位置姿勢を作成し、仮想化現実モデルを⽤いて画像を⽣成
  6. 6. Computer vision分野における ベンチマークデータセット • Tsukuba stereo dataset (筑波⼤画像⼤⽥/中村)研) • Middlebury multi-view stereo data 6
  7. 7. 平面を対象とした ベンチマークデータセット (metaio) Leberknecht, S. and Benhimane, S. and Meier, P. and Navab, N., “A Dataset and Evaluation Methodology for Template-based Tracking Algorithms”, ISMAR 2009 http://www.metaio.com/research/a-dataset-and-evaluation-methodology-for- template-based-tracking-algorithms/ 7
  8. 8. 屋外環境での トラッキング評価用データセット http://www.metaio.com/research/an-outdoor-ground-truth-evaluation-dataset-for- sensor-aided-visual-handheld-camera-localization/ 8
  9. 9. トラッキングコンペティション2016@VR学会⼤会 (MARのためのvSRTコンペ) チーム名 1st 2nd 2nd: CEST 4 3 1st: 慶應A 4 4 慶應B 2 2 熊本 0 0 筑波A 0 0 3rd: 筑波B 3 3 (+1) 筑波C 3 2 筑波D 0 0 ⽴命館 1 1 3rd: 府⼤⾼専 3 3 チャレンジ成功数
  10. 10. 物差しは⼤切 [制度設計/規制ビジネス]︓ 誤差評価 • ⾃然特徴点の再投影誤差(Re-projection error) – CVでよく⽤いられる評価指標 – 特徴点の近くにない(外挿的な位置の)仮想物体の投影誤差がわか らない • 仮想点(物体)の投影誤差(PEVO: Projection Error of a Virtual Object) – 機械学習で⾔えば、再投影誤差は訓練データでの検証、PEVO (も しくは3D PEVO)はテストデータでの検証のようなもの︖︕ 推定したカメラパラメータ における投影⾯ 真値のカメラパラメータ における投影⾯ 仮想点 10 PEVO
  11. 11. 草の根から標準へ 11 • TrakMark(SIM-MR)でのデータセット整備、コンペ開催 – 3種の神器からなる参照フレームワーク(⼯程、指標、試⾏セット) の精緻化 – デジュール標準(ISO/IEC)に(規格適合チェックの追加) – 産業界との連携が⼗分にできたとは⾔えない 草の根 デジュール標準 + 規格適合 Conformance
  12. 12. ISO/IEC 18520 12 評価指標 + ベンチマーキング 工程 試行セット (データセット) + 規格適合 + Ichikari, Ryosuke and Kurata, Takeshi and Makita, Koji and Taketomi, Takafumi and Uchiyama, Hideaki and Kondo, Tomotsugu and Mori, Shohei and Shibata, Fumihisa, Reference Framework on vSRT-method Benchmarking for MAR, ICAT-EGVE (2017).
  13. 13. ベンチマーキング⼯程と登場⼈物 13
  14. 14. 評価指標 14 PEVO: Projection error of virtual objects, which is the most direct and intuitive indicator for vSRT methods for MAR vSRT: Vision-based spatial registration and tracking ISMAR 2015 Tracking competition
  15. 15. 試⾏セット(データセット+実物) 15 The City of Sights: An Augmented Reality Stage Set
  16. 16. 試⾏セット(データセット+実物) 16 ISMAR 2014 Tracking competition ISMAR 2015 Tracking competition
  17. 17. 規格適合 チェックシート 17 ISMAR2015トラッキング コンペの例 ISMAR 2015 Tracking competition
  18. 18. Default Schedule (Three years) 18 Stage code Stage Work Item 0 month 12 month +6 month +12 month +6 month
  19. 19. ⼀⻑⼀短な屋内測位技術 19 低コストで様々な 測位技術を紡ぐ ・現場ごとに適した 測位技術を組み合わせ ・精度とコストを両⽴屋内測位 技術マップ 誰︖/隠れに弱い 隠れに弱い 隠れに弱い 消費電⼒ が⼤きい ⾼コスト低精度
  20. 20. xDR VDR: (Vibration-based) Vehicle Dead Reckoning [Worldʼs first, 2015] [Relative positioning] xDR: PDR+VDR PDR: Pedestrian Dead Reckoning, [Worldʼs first Smartphone demo, 2010] 20
  21. 21. 速度 向き モデルベースの速度推定 センサ姿勢の推定 センサ校正 ⾼度 (階) 推定 進⾏⽅向の推定 様々な測位技術を紡ぐxDR (PDR&VDR) 21 歩⾏者⽤速度推定モデル ⾞両⽤速度推定モデル • 安価: 加速度、ジャイロ、磁気、気圧の10軸センサを利⽤ • 低消費電⼒: 画像を⽤いた⼿法と⽐較し1/20以下 • 「柔軟な」屋内測位を実現: • 測位インフラなしでも測位を継続 • 様々な測位技術からの結果を線(形、速度、向き)で紡ぐ VDR:VDR: Vibration-based Vehicle Dead Reckoning, ⾞輪 型移動体[フォーク リフト, 台⾞等]⽤ 相対測位 [世界初] PDR: Pedestrian Dead Reckoning, 歩⾏者⽤相対 測位 [スマホデモ︓ 世界初]
  22. 22. 産総研でのxDR研究の歴史 22
  23. 23. PDRの世界動向 2010年以降、世界各国でPDRのR&Dプレイヤーが 露出しはじめた。 Movea (France) Sensor Platforms (USA) CSR (UK) TRX (USA) Trusted Positioning (Canada) 23 Qualcommが買収InvenSenseが買収InvenSenseが買収 村田製作所と提携 Audience社が買収
  24. 24. なぜPDRベンチマーク︖ • PDRの研究開発や実⽤化を進めている企業や⼤学 が国内外で急増 – IPIN 2015では,国内学会では考えられない頻度で PDRというキーワードが⾶び交っていた. • PDRは相対測位。GPSやWi-Fi測位のような絶対 測位とは異なる評価⽅法が必要 • 仕様書や論⽂に、どのように性能を表記すればよ いかを統⼀していく必要性 24 Benchmark Indicators + Benchmarking Processes Trial Set (Dataset)+
  25. 25. PDRベンチマーク 標準化委員会 25 • 加⼊組織 (43組織)(2019.9.13現在) – 旭化成(株)、アジア航測(株)[南]、(株)インテック、NECネッツエス アイ(株)、(株)MTI、(株)KDDI総合研究所、国際航業(株)、澁⾕⼯業 (株)、クウジット(株)、(株)GOV、サイトセンシング(株)、シャープ (株)、杉原SEI(株)、住友電気⼯業(株)、(株)ゼンリンデータコム、 (株)電通国際情報サービス、トーヨーカネツ(株)、 ⽇本IBM(株)、 (株)⽇⽴製作所、ビッグローブ(株)、富⼠通(株)、(株)フレームワー クス[渡辺]、マルティスープ(株)、(同)ミルディア、(株)村⽥製作所、 (株)メガチップス、(株)リクルート[⽜⽥]、(株)リコー、レイ・フロ ンティア(株) – 愛知⼯業⼤学[梶]、学習院⼤[中澤]、神奈川⼯⼤[⽥中]、慶⼤[春⼭、 神武、中島]、九⼤[島⽥、内⼭]、筑波⼤[善甫、蔵⽥]、名⼤[河⼝]、 奈良先端科学技術⼤[新井]、 北陸先端科学技術⼤[岡⽥]、新潟⼤[牧 野]、⽴命館⼤[⻄尾、村尾]、 産総研、HASC、Lisra (敬称略、順不同) • 歴代委員⻑︓ – 2014/5-2018/4 蔵⽥武志(産業技術総合研究所) – 2018/5- 河⼝信夫(名古屋⼤学) 最初から産業界と連携
  26. 26. 評価指標に関する検討項⽬例 26 センサー内部要因 • センサのオフセット・感度 センサー外部要因 • ⼈的要因︓保持・装着状態,歩⾏者特性,歩⾏以 外の動作の種類や量,位置情報を⾒ながら歩くか (フィードバックループができているか) • 環境要因︓ルート形状、⻑さ、歩⾏可能エリアの 形状、磁場、気圧、温度等の環境 初期条件,計測条件 • 初期⽅位設定 • センサー校正 • 個⼈ごとのパラメーター設置 • 連続計測時間 評価の視座 • PDR単体でどこまでできるのかの評価 • ハイブリッド測位に組み込む際のPDRの扱いやす さの評価
  27. 27. 評価⽅式 ①歩行データを 順次アップロード 精度 PDR1 PDR2 データ1 xxx xxx データ2 yyy yyy データ3 … データ4 ②サーバ側でPDRアプリ をシミュレーション ③位置推定精度を評価 サーバ 歩行者1 歩行者2 歩行者3 歩行者4 データ1 データ2 データ3 データ4 • 全チームが同じデータで評価されるので公平
  28. 28. 評価例 正解軌跡 推定軌跡
  29. 29. 最終結果 Error Avg. [m] Error SD. Team Freshers 12.96 9.21 TUT USL 13.06 7.78 No PDR, No future. 3.49 1.69 Kohei Kanagu 10.67 6.53 Team UCLAB (unofficial) 46.93 9.37 (evaluation by 231 traces)
  30. 30. データ収集結果 • 経路種類 ︓ 5 • 端末種類 ︓ 4 • 被験者数 ︓ 105 90 • 歩⾏データ ︓ 343 229 • データサイズ︓ 660MByte • LIDAR データ︓ 2.5Gbyte • PDR Challenge CorpusとしてUbicomp2016で 公開 特徴︓オンサイトコンペでデータ収集︕
  31. 31. 32 これまでの屋内測位コンペ PerfLoc by NIST EvAAL/IPIN Competitions Microsoft Competition@IPSN コンペのシナリオ 約30 シナリオ (主に緊急時対応シナリオ) スマートハウス/ アシストリビングシナリオ 最⼤精度を競う (現実的シナリオなし) 含まれる歩⾏動作 歩⾏/⾛⾏/後退/横歩き/ ほ ふく前進/カート/エレベータ (決まれらえたルート・CP 上を主催側の⼈間が計測) 歩⾏/階段/電話動作/横歩き 等(決まれらえたルート・CP 上を主催側の⼈間が計測) 操作者次第 (競技者⾃⾝が 操作できる) コンペの種類(オンサ イトorオフサイト) オフサイトコンペと上位者 のオンサイト評価 個別のオンサイトとオフサ イトコンペ部⾨ オンサイト コンペ対象の⼿法 腕にスマホを装着して計測 (IMU, WiFi, GPS, Cellular) オフサイト: スマホベース オンサイト : スマホベース / その他のデバイス許可(別部 ⾨) 2D:インフラに頼らない⼿ 法 3D:インフラ設置も許可 テストデータの量 1 ⼈× 4 デバイス × 30 シナリオ 開催年度と部⾨による (例 9データ, 2016T3) N/A テストデータ 時間⻑ 合計16 時間 開催年度と部⾨による (例 15分 (2016T1,T2), 2 時間(2016T3)) N/A 評価⼿法 SE95 (3次元95パーセン タイル誤差) CE75 (2次元75パーセンタ イル誤差) 平均誤差 歴史/備考(PDR Challenge関係) 1回 (2017-2018) 8 回(2011,2012,2013, (EvAAL),2014,2015(+ETRI ), 2016, 2017, 2018 (EvAAL/IPIN)) 5回 (2014,2015,2016,2017, 2018) これまでのコンペでは産業界シナリオでの実⽤性能を測るのは困難 CE: Circular Error, SE: Spherical Error
  32. 32. 33 これまでの xDR Challengesシリーズのコンペ Ubicomp/ISWC 2015 PDR Challenge PDR Challenge in Warehouse Picking in IPIN 2017 xDR Challenge for Warehouse Operations 2018 Scenario 歩⾏者ナビゲーション 物流倉庫内のピッキング作業 (特定の産業シナリオ) ピッキングやフォークリフト 運転などの物流倉庫作業 Walking /motion スマートフォンを持ち,画⾯ を⾒ながらの連続歩⾏ 歩⾏だけでなくピッキング業務 に纏わる様々な動作を含む 歩⾏だけでなく物流倉庫にお けるピッキング,フォークリ フト運転業務中の様々な動作 を含む On-site or off-site データ計測: オンサイト 評価: オフサイト オフサイト オフサイト コンペ対 象の⼿法 PDR+MAP PDR+BLE+MAP+WMS PDR/VDR+BLE+MAP+WMS Number of people and trial 90⼈, 229 試⾏ 8 ⼈, 8 試⾏ 34 ⼈+ フォークリフト6台, 170 試⾏(PDR) + 30 試⾏ (VDR) Time per trial 数分 約3時間 約8 時間 Evaluation metric 平均誤差, 誤差標準偏差 統合誤差評価 (測位精度, 軌跡の⾃然さ, 物流 倉庫特有の評価の項⽬) 統合誤差評価 (測位精度, 軌跡の⾃然さ, 物 流倉庫特有の評価の項⽬) Remark 学会参加者がデータ計測の 被験者として貢献. 得られた データは HASCコーパスとし て公開 (http://hub.hasc.jp/) PDRだけでなく,BLEやWMS, MAPを⽤いた統合測位を⽤いて, 物流倉庫での実⽤性能を競う PDR部⾨とVDR部⾨の2部⾨ 構成,物流倉庫の典型的動作 を紹介する動作をMoCapで計 測してCG動画で紹介
  33. 33. 相対測位(xDR)の誤差蓄積指標 34 • 初期位置(補正位置)からの 誤差蓄積スピード • コンペ開催を重ねていくう ちに⾃然と提案された指標 参考︓ • 誤差蓄積勾配 • EAG: Error Accumulation Gradient • PDRベンチマーク標準化 委員会で命名
  34. 34. BUP (BLE Unreachable Period)による誤差蓄積の評価 • PDRによる誤差累積を評価するために,BLE信号を部分的に 意図的に削除 • 正解値情報をBUPの前後に提供 • BUP内外でCE(絶対誤差)を評価(CE i/o BUP) BUP (CE in/outside BUP)の導⼊により BLE(絶対測位⼿段)への依存傾向等がわかる 表︓BUP内外の誤差と誤差累積スピードの⽐較 CE: Circular Error EAG: Error Accumulation Gradient 35
  35. 35. xDR Challenge in Industrial Scenarios 2019 • PDR Challengeシリーズの後継コンペをIPIN2019 @ピサ(イタリア)の正式コンペ部⾨として開催(Track5) • 公開されたセンサデータをもとに推定した軌跡を提出 ⇒オフサイト形式のコンペ • 物流倉庫を卒業して,外⾷,製造現場を対象に • 屋内測位と親和性の⾼い⾏動認識の部⾨も開催 • 結果発表︓9/30-10/3
  36. 36. 製造業の従業員計測部⾨ • 製造業の⼯場の従業員の測位性能を競う部⾨ • コンペの詳細︓ – 計測端末︓BIGLOBE BL-02 – 補正⽤BLEビーコン︓富⼠通 PulsarGum(光発電) – ビデオ撮影により正解位置を取得,補正⽤に部分的に 正解位置を公開予定(前年までのと同様) 工場のレイアウト (障害物配置)センサ装着位置工場のイメージ
  37. 37. 外⾷業の従業員計測部⾨ • 料理搬送⽤ロボットと和装の従業員が共存する サービス現場の従業測位の性能を競う部⾨(+ 動作認識) • コンペの詳細︓ – 計測端末︓Nexus5(PDR⽤), TSND151(⼿⾜計測⽤) – 補正⽤BLEビーコン︓Aplix Smartphone フロアプラン 端末の装着例 https://www.youtube.com/watch?v=mo_pWVBQKU0
  38. 38. 賞品・賞⾦ • スポンサーのご協⼒により,賞⾦・賞品を授与 • 製造業トラック – 1位︓15万+BL-02P or 10万+BL-02P+TECCO+PulsarGum – 2位︓10万+BL-02P • 外⾷トラック – 1位︓15万+BL-02P or 10万+BL-02P+PDRmini+PulsarGum – 2位︓10万+BL-02P • 賞品 TECCO (GOV) BL02P(BIGLOBE) PDR mini (杉原SEI) PulsarGum(富⼠通)
  39. 39. 草の根から標準へrev 40 • 実践的な評価指標が草の根活動から提案(PEVO, 3D PEVO, EAG, CE i/o BUP) • 産学連携は標準化を活きた活動にする上で必須 • 技術ノウハウがわかってしまうような評価指標は注意 • できれば、認証ビジネス等に繋がれば 草の根 (産官学) 標準化 競争・共創促進 認証ビジネス 等
  40. 40. おわりに︓オープンXとR&Dエコシステム 41 戦略的にオープンX (腹⿊く)

×