SlideShare a Scribd company logo
Enviar búsqueda
Cargar
Iniciar sesión
Registrarse
修士論文
Denunciar
harmonylab
Seguir
28 de Mar de 2022
•
0 recomendaciones
•
672 vistas
1
de
32
修士論文
28 de Mar de 2022
•
0 recomendaciones
•
672 vistas
Descargar ahora
Descargar para leer sin conexión
Denunciar
Tecnología
修論のパワポ
harmonylab
Seguir
Recomendados
交差点の交通流におけるシミュレーション環境 を用いた深層強化学習に関する研究
harmonylab
753 vistas
•
28 diapositivas
ロードヒーティング制御における深層学習を用いた路面画像認識に関する研究
harmonylab
789 vistas
•
28 diapositivas
2021 haizoku
harmonylab
302 vistas
•
38 diapositivas
Outfit net fashion outfit recommendation with attention based multiple instan...
harmonylab
867 vistas
•
31 diapositivas
2021 haizoku
harmonylab
300 vistas
•
38 diapositivas
Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image S...
harmonylab
1K vistas
•
19 diapositivas
Más contenido relacionado
La actualidad más candente
Recursively Summarizing Books with Human Feedback
harmonylab
909 vistas
•
37 diapositivas
RAPiD
harmonylab
972 vistas
•
31 diapositivas
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
harmonylab
2.3K vistas
•
47 diapositivas
AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill...
harmonylab
1.3K vistas
•
21 diapositivas
2019 08 20_dl
harmonylab
5.5K vistas
•
20 diapositivas
歩行支援機能を有する前腕支持型四輪歩行器の開発に関する研究
harmonylab
727 vistas
•
27 diapositivas
La actualidad más candente
(20)
Recursively Summarizing Books with Human Feedback
harmonylab
•
909 vistas
RAPiD
harmonylab
•
972 vistas
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
harmonylab
•
2.3K vistas
AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill...
harmonylab
•
1.3K vistas
2019 08 20_dl
harmonylab
•
5.5K vistas
歩行支援機能を有する前腕支持型四輪歩行器の開発に関する研究
harmonylab
•
727 vistas
2021 09 29_dl_hirata
harmonylab
•
829 vistas
単語の分散表現を用いた俳句における取り合わせの評価に関する研究
harmonylab
•
1.2K vistas
ECサイトにおける商品紹介文の作成支援システムの開発と評価に関する研究
harmonylab
•
704 vistas
Real-Time Semantic Stereo Matching
harmonylab
•
3.8K vistas
深層強化学習による自動運転車両の経路探索に関する研究
harmonylab
•
1.3K vistas
言語モデルを用いた俳句評価器の構築と性能評価に関する研究
harmonylab
•
751 vistas
Which is Plagiarism: Fashion Image Retrieval based on Regional Representation...
harmonylab
•
3.3K vistas
Efficient_Communication_in_Multi-Agent_Reinforcement_Learning_via_Variance_Ba...
harmonylab
•
3.6K vistas
Semi-Supervised Neural Architecture Search
harmonylab
•
952 vistas
DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry ...
harmonylab
•
2.8K vistas
深層強化学習による自動運転車両の追い越し行動の実現に関する研究
harmonylab
•
1.1K vistas
灯油配送計画の最適化に向けた ヒューリスティクスの開発に関する研究
harmonylab
•
853 vistas
2020年 研究室配属説明会 スライド資料
harmonylab
•
622 vistas
Ai勉強会20170127
harmonylab
•
8.3K vistas
Similar a 修士論文
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
harmonylab
468 vistas
•
32 diapositivas
深層学習を用いたバス乗客画像の属性推定 に関する研究
harmonylab
412 vistas
•
28 diapositivas
Self-supervised Learning of Adversarial Example:Towards Good Generalizations...
harmonylab
443 vistas
•
21 diapositivas
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
harmonylab
822 vistas
•
18 diapositivas
MLP-Mixer: An all-MLP Architecture for Vision
harmonylab
612 vistas
•
25 diapositivas
A Study on Generation of Deformed Route Maps using Octilinear Grid
harmonylab
406 vistas
•
43 diapositivas
Similar a 修士論文
(20)
Efficient Deep Reinforcement Learning with Imitative Expert Priors for Autono...
harmonylab
•
468 vistas
深層学習を用いたバス乗客画像の属性推定 に関する研究
harmonylab
•
412 vistas
Self-supervised Learning of Adversarial Example:Towards Good Generalizations...
harmonylab
•
443 vistas
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
harmonylab
•
822 vistas
MLP-Mixer: An all-MLP Architecture for Vision
harmonylab
•
612 vistas
A Study on Generation of Deformed Route Maps using Octilinear Grid
harmonylab
•
406 vistas
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
harmonylab
•
337 vistas
A Generalist Agent
harmonylab
•
805 vistas
Feature Erasing and Diffusion Network for Occluded Person Re-Identification
harmonylab
•
613 vistas
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
harmonylab
•
360 vistas
Emotionally Intelligent Fashion Design Using CNN and GAN
harmonylab
•
569 vistas
All That’s ‘Human’ Is Not Gold Evaluating Human Evaluation of Generated Text
harmonylab
•
359 vistas
Towards Total Recall in Industrial Anomaly Detection
harmonylab
•
1.1K vistas
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
harmonylab
•
462 vistas
Outracing champion Gran Turismo drivers with deep reinforcement learning
harmonylab
•
494 vistas
ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic
harmonylab
•
406 vistas
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
harmonylab
•
734 vistas
Fine Grained Fashion Similarity Prediction by Attribute Specific Embedding Le...
harmonylab
•
321 vistas
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
harmonylab
•
279 vistas
SIGSPATIAL 2020 参加報告資料
Tomoki Saito
•
2.1K vistas
Más de harmonylab
Voyager: An Open-Ended Embodied Agent with Large Language Models
harmonylab
337 vistas
•
44 diapositivas
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
harmonylab
588 vistas
•
36 diapositivas
ReAct: Synergizing Reasoning and Acting in Language Models
harmonylab
645 vistas
•
50 diapositivas
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
harmonylab
278 vistas
•
32 diapositivas
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
harmonylab
269 vistas
•
25 diapositivas
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
harmonylab
371 vistas
•
35 diapositivas
Más de harmonylab
(15)
Voyager: An Open-Ended Embodied Agent with Large Language Models
harmonylab
•
337 vistas
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
harmonylab
•
588 vistas
ReAct: Synergizing Reasoning and Acting in Language Models
harmonylab
•
645 vistas
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
harmonylab
•
278 vistas
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
harmonylab
•
269 vistas
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
harmonylab
•
371 vistas
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
harmonylab
•
853 vistas
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
harmonylab
•
381 vistas
A Study on the Generation of Clothing Captions Highlighting the Differences b...
harmonylab
•
470 vistas
A Study on Clothing Recommendation Information Presentation System Based on C...
harmonylab
•
379 vistas
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-D...
harmonylab
•
955 vistas
2022年度調和系工学研究室配属説明会資料
harmonylab
•
200 vistas
CKL_about_panf2022.pdf
harmonylab
•
123 vistas
Solving Quantitative Reasoning Problems with Language Models
harmonylab
•
465 vistas
MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence ...
harmonylab
•
465 vistas
Último
gtk4_gem_usage.pdf
ssuser0ef4681
9 vistas
•
6 diapositivas
機械学習モデルを REST API としてサービングするシステム開発における上流プロセスの絞り込みと効果検証(PM学会2023年度秋季研究発表大会 発表資料)
NTT DATA Technology & Innovation
18 vistas
•
21 diapositivas
HarukiShinkawa_FIT2023
Matsushita Laboratory
17 vistas
•
24 diapositivas
ReonHata_JSAI2023
Matsushita Laboratory
12 vistas
•
33 diapositivas
IGDA Japan SIG Audio #20-1 室内・野外でのマイク収録と整音.pdf
IGDA Japan SIG-Audio
79 vistas
•
31 diapositivas
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
Matsushita Laboratory
20 vistas
•
23 diapositivas
Último
(7)
gtk4_gem_usage.pdf
ssuser0ef4681
•
9 vistas
機械学習モデルを REST API としてサービングするシステム開発における上流プロセスの絞り込みと効果検証(PM学会2023年度秋季研究発表大会 発表資料)
NTT DATA Technology & Innovation
•
18 vistas
HarukiShinkawa_FIT2023
Matsushita Laboratory
•
17 vistas
ReonHata_JSAI2023
Matsushita Laboratory
•
12 vistas
IGDA Japan SIG Audio #20-1 室内・野外でのマイク収録と整音.pdf
IGDA Japan SIG-Audio
•
79 vistas
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
Matsushita Laboratory
•
20 vistas
20230912JSSST大会基調講演_丸山.pdf
Hiroshi Maruyama
•
147 vistas
修士論文
1.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. バス乗客ODデータの推定における深層学習を 用いた人物追跡に関する研究 A Study on Person Tracking Using Deep Learning in Estimating Bus Passenger OD Data 北海道大学 大学院情報科学院 西浦 翼
2.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 研究背景 2 乗合バス事業の経常収支率は平成27年以降悪化傾向にある[1] 業務・サービスの改善が求められる – 路線計画・ダイヤの効率化 • バス乗客OD(Origin-Destination)データの収集 – 車内安全確保 • 移動人物,荷物の検出 – 混雑状況配信 平成27年~令和元年 その他地域 大都市部 計 [1] 国土交通省令和元年度乗合バス事業の収支状況について,https://www.mlit.go.jp/report/press/jidosha03_hh_000326.html
3.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 各種サービスに必要なデータの収集について 3 • 路線計画,ダイヤの効率化 – 乗客OD(Origin - Destination)データ • 車内安全確保 – バス車内人物の動態情報 • 混雑状況配信 – 乗車中の人数情報 「バス停別乗降者数 」: バス停毎に何人乗り降りしたか バス車内にカメラを設置 安価に実現 (バス車内モニタリングシステム) 本研究の対象
4.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 4 研究目的 • バス車内モニタリングシステムを用いた OD 推定手法の提案 – バス停別乗降者数の推定 • 本発表の内容 – 人物追跡によるバス乗降者数の推定手法の提案 • バス停ごとのバス乗降口の映像を取得 • バス乗客の検出と乗車/降車の判定 – 乗降口カメラ映像の検証データによる評価 • 人物追跡の精度をトラッキング指標で評価 • 乗降者数を真値と比較
5.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. バス停別乗降者数推定の流れ 5 バス停毎に乗車・降車の 映像を撮影 乗降者数推定 アルゴリズム 想定するシステム 乗降映像 データ バス停別 乗降者数データ バス停別 乗降者数 映像データ カメラ映像 データの収集 データの処理 乗車口画像 降車口画像
6.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 6 乗降口画像を用いた OD 推定の難しさ • カメラの設置位置の制約による画角の限界 • 手すりや人物同士のオクルージョン • 太陽光による明るさの変化 • 個人情報の取り扱い • デバイスの耐久性,配線工事,車載機の性能等の制約
7.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 7 バス乗降者数の推定アルゴリズムの概要 1. 人物検出器による動画の各フレームにおけるバス乗客の検出 2. 複数フレームにまたがって映るバス乗客の追跡 3. バス乗客ごとの乗車/降車の判定と数え上げ … … … … … … … … 同一人物 … … … … 乗車客 非乗車客 バス乗客の 検出結果 入力: バス停ごとの 乗車/降車口 カメラ動画 出力: バス停での 乗車/降車 の人数
8.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 8 1. 人物検出器によるバス乗客の検出 • 動画のフレームごとに人物検出器を適用 … … … … バス乗客の 検出結果 • 使用する人物検出器 – 高い精度で推論可能な YOLOR [2] – MSCOCO [3] データセットを学習 – 確信度 40% 以上で "Person" クラスと 推定された結果をバス乗客とする – 体の一部のみ映る乗客やバスに乗り 込まない人物を除外する • 人物検出器の推定結果から面積 30,000 ピクセル以下の矩形を除外 バス乗客から除外される 人物検出結果 [2] Chien-Yao Wang and I-Hau Yeh and Hong-Yuan Mark Liao “You Only Learn One Representation: Unified Network for Multiple Tasks”(2021), arXiv [3] Lin et al. “Microsoft COCO: Common Objects in Context”(2015), arXiv
9.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 9 2. 複数フレーム間のバス乗客の追跡(1/2) • 人物追跡手法 MPNTrack [4] の適用 – バス乗客の矩形ごとに ID を付与する – 同一人物に対し同一 ID を与えるよう学習 • MPNTrack の特徴 – Message Passing Network を応用したモデル – 2020年の複数人物追跡ベンチマーク MOT20 で高精度 • 同一人物に付与する ID の入れ替わりによる誤判定が少ない • 撮影角度の変化やオクルージョンが頻繁なバス車内動画に 対し有効と考え採用 … … … … 乗客ID: A 乗客ID: B バス乗客の 検出結果 [4] Guillem Braso and Laura Leal-Taixe “Learning a Neural Solver for Multiple Object Tracking”(2021), arXiv
10.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 10 2. 複数フレーム間のバス乗客の追跡(2/2) • 人物追跡手法 MPNTrack の学習データ – ResNet-50 による画像特徴量抽出の事前学習:ImageNet – 人物追跡の学習 • 同一人物を複数の角度から撮影した複数のデータセット – Market-1501 [5] » 精華大学内の市場にて6台のカメラで撮影 » 1,501人に対する 32,670 枚の画像 – CUHK03 [6] » 香港中文大学にて5台のカメラで撮影 » 1,360人に対する 13,164 枚の画像 – DukeMTMC [7] » デューク大学にて8台のカメラで撮影 » 702人に対する 36,411 枚の画像 [5] Liu, Weiyang et al.” Scalable Person Re-identification: A Benchmark”, IEEE,2015 [6] Ristani,Ergys et.” Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking”,European Conference on Computer Vision workshop on Benchmarking Multi-Target Tracking,2016 [7] Wei Li et al .” DeepReID: Deep Filter Pairing Neural Network for Person Re-Identification”, CVPR, 2014 Market-1501 の画像例 DukeMTMC の画像例 CUHK03 の画像例
11.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 11 3. バス乗客ごとの乗車/降車判定(1/3) • 乗降客の判定と数え上げ – 乗客 ID ごとに乗車/降車の行動の有無を判定 – 該当する乗客 ID の総数をバス停別乗降数とする • 乗車口動画における乗車客 ID の総数:乗車数 • 降車口動画における降車客 ID の総数:降車数 • ルールベースによる乗車/降車判定 – 乗車口/降車口カメラは固定箇所に取り付け – 動画の特定領域で検出された人物を乗車/降車とみなす … … … 乗車客 非乗車客 … 乗客ID: A 乗客ID: B
12.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 12 3. バス乗客ごとの乗車/降車判定(2/3) • 次の条件を全て満たす乗客 ID を乗車客と判定 – 乗客 ID を初めて検出した際の矩形中心が乗車口範囲に収まる • 乗車口範囲はカメラ設置位置をもとに意図的に決定する – 乗客 ID が乗車口動画の先頭 40 フレームで検出されていない • 乗車口動画の撮影開始から 40 フレーム後に乗車ドアが開くため – 乗客 ID を検出した矩形中心の移動距離が閾値を下回る • x 軸に関する移動距離と y 軸に関する移動距離の積が 500 を下回る • 乗車口のすぐ外側にとどまり続ける人物を除外するため 乗車客を初めて検 出した際の矩形 非乗車客を初めて 検出した際の矩形 乗車口範囲
13.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 13 3. バス乗客ごとの乗車/降車判定(3/3) • 次の条件を全て満たす乗客 ID を降車客と判定 – 乗客 ID を最後に検出した際の矩形中心が降車口範囲に収まる • 降車口範囲はカメラ設置位置をもとに恣意的に決定する – 乗客 ID が降車口動画の末尾 40 フレームで検出されていない • 降車口動画の撮影終了の 40 フレーム前に降車ドアが閉まるため – 乗客 ID を検出した矩形中心の移動距離が閾値を下回る • x 軸に関する移動距離と y 軸に関する移動距離の積が 500 を下回る • 降車口のすぐ手前にとどまり続ける人物を除外するため 降車口範囲 降車客を最後に 検出した際の矩形 同じ降車客が最初に 検出された際の矩形 矩形中心の移動距離 が閾値を上回る
14.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 14 実験目的 • 乗降口カメラ映像の検証データによる評価 – 人物検出器の評価 – 人物追跡器の学習と評価 – 人物検出器と人物追跡器を組み合わせて人物追跡の評価 • 検証用動画データ – 撮影環境 • バス:札幌市内を走行する2路線(南95,南4) 以降バス1,バス2 • 動画本数:バス1(乗車6本,降車12本) バス2(乗車12本,降車15本) – 撮影機器 • 乗降口に広角カメラを各1台ずつ設置 • 動画撮影後,顔にモザイク処理をしてから保存
15.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 15 検証データ • 検証用バス車内動画 – 乗降口共通設定 • フレームレート 4 fps • 動画構成:開扉前10秒~閉扉後10秒 – 乗降口相違点 • フレームサイズ (乗車口882x826,降車口1024x768) • 明るさ 乗車口 降車口
16.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 16 検証データ バス1 フレーム数 乗降客数 矩形数 矩形密度 最大値 818 12 290 1.2 最小値 97 1 11 0.1 平均値 171 3 79 0.5 フレーム数 乗降客数 矩形数 矩形密度 最大値 3,018 10 467 1.1 最小値 94 1 13 0.1 平均値 230 2 74 0.4 バス2 • 検証データの概要 – 始点ではドアを開けたまま乗客を待つ
17.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 17 評価指標(物体検出) IOU (Intersection Over Union) IOU = :GT :Prediction ∈ [0, 1] TP(True Positive) : IOU > 閾値(0.5)で検出 FN(False Negative) : 検出できなかったGT FP(False Positive) : 誤検出したPrediction 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 = 𝑇𝑃 全𝑃𝑟𝑒𝑑𝑖𝑐𝑡𝑖𝑜𝑛 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 = 𝑇𝑃 全𝐺𝑇 AP(Average Precision) AP = AP1 + AP2 + AP3 IOU = 0.8 IOU = 0.9 IOU = 0.8 IOU = 0.3 FP FP FN TP TP TP Precision Recall 曲線 AP1 AP2 AP3 ∈ [0, 1]
18.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 18 実験1 • 人物検出器の選定 – YOLORとYOLOv5で比較 – どちらもMSCOCOを使って学習済み – 各モデルの確信度(conf)の閾値を 0.2~0.6 で実験 conf = 0.8 conf = 0.9 conf = 0.8 conf = 0.3 人物検出器 conf = 0.1
19.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 19 実験結果 AP YOLOR conf=0.2 48.6% YOLOR conf=0.3 55.4% YOLOR conf=0.4 60.5% YOLOR conf=0.5 58.3% YOLOR conf=0.6 54.2% YOLOv5 conf=0.2 55.2% YOLOv5 conf=0.3 54.9% YOLOv5 conf=0.4 54.7% YOLOv5 conf=0.5 54.0% YOLOv5 conf=0.6 52.7% • 人物検出器の選定 – YOLORの conf 0.4 を採用
20.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 評価指標(物体追跡) 20 成功例 ・正解データと同じようにモデルが軌跡を出力 ・IoU > 0.5で成功 :prediction :GT
21.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 21 評価指標(物体追跡) ・正解データを予測できていないGTの数 :prediction :GT FN FN FN(False Negative)
22.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 22 評価指標(物体追跡) :prediction :GT FP FP FP(False Positive) ・正解データにマッチしない予測した矩形の数
23.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 23 評価指標(物体追跡) IDSW(ID Switch) ・正解データと対応する軌跡が存在するが,途中でIDが変わる :prediction 2 :GT :prediction 1 IDSW
24.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 24 評価指標(物体追跡) • IDSW:IDが誤って切り替わる回数 • MOTA:トラッキング全体(detection+Re-ID)を評価 MOTA = 1 − 𝐹𝑁+𝐹𝑃+𝐼𝐷𝑆𝑊 𝐺𝑇 • IDF1:IDの割当の精度(Re-ID)を評価 IDF1= 2𝐼𝐷𝑇𝑃 2𝐼𝐷𝑇𝑃+𝐼𝐷𝐹𝑃+𝐼𝐷𝐹𝑁 • 乗降者数の誤差率 誤差率 = 1 動画数 |真値 − 予測値| 真値 ∗ 100 主な評価指標
25.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 25 実験2 • 以下の設定で MPNTrack を学習,評価 – 評価も GT の矩形情報を使用 – ID が正しく割り振られるかを検証 バス1 乗車 12本 バス2 乗車 6本 バス1 降車 15本 バス2 降車 18本 条件1 学習 評価 条件2 評価 学習 条件3 学習 評価 条件4 評価 学習 条件5 学習 評価 学習 評価 条件6 評価 学習 評価 学習 人物追跡器 MPNTrack ID1 ID2 ID3 ID4
26.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 26 実験結果 動画本数 総乗降者数 IDSW MOTA IDF1 条件1 12本 32人 4 0.995 0.937 条件2 6本 32人 0 0.996 0.957 条件3 15本 25人 11 0.988 0.963 条件4 18本 25人 2 0.997 0.993 条件5 27本 64人 21 0.989 0.951 条件6 24本 50人 0 0.998 0.999 • MOTA,IDF1の値が高く十分学習できている • 乗降口をまとめて処理しても大きい差はない • オクルージョンに伴って一部IDスイッチが発生 • GTなのでFP, FNは無い
27.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 27 実験結果 • IDスイッチの例 – オクルージョンによる映り方の変化
28.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 28 実験3 • 以下の設定でアルゴリズム全体を評価 – YOLORで人物検出後,MPNTrackで人物追跡 – 学習モデルは条件1~条件4と同様 – 乗降者数が正しく推定できるかを検証 バス1 乗車 バス2 乗車 バス1 降車 バス2 降車 条件1 学習 評価 条件2 評価 学習 条件3 学習 評価 条件4 評価 学習 人物検出器 YOLOR 人物追跡器 MPNTrack
29.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 29 実験結果 動画本数 乗降者数の 誤差率 FP FN IDSW MOTA IDF1 条件1 12本 16.9% 52 452 3 0.627 0.734 条件2 6本 27.1% 36 206 1 0.627 0.729 条件3 15本 13.6% 35 482 3 0.715 0.826 条件4 18本 38.2% 62 703 4 0.558 0.651 全体平均 51本 23.9% 46 461 2.75 0.632 0.735 • 誤差率が23.9%と十分な精度を達成 (目標30%未満)
30.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 30 さらなる精度向上に向けた改善案 • IDスイッチの主要因 – オクルージョンによる矩形サイズの変化 – 車内の明るさの問題 – 人物検出の精度の問題 • さらなる改善 – YOLORの処理 • 画角が上からになるため人物検出が難しい • YOLORの追加学習
31.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 31 まとめ • バス乗客ODデータ推定の精緻化に向けて,トラッキングを用いたバ ス乗降者数の推定アルゴリズムを提案し,その検証を行った • 検証のために実際に運行する路線バスの乗降口にカメラを設置して 撮影およびアノテーションを行いデータセットを作成した • 人物検出器の精度比較を行った • 人物追跡器の学習及び評価を行い,十分な精度が確認できた • 人物検出器と人物追跡器を組み合わせて,十分な精度が確認でき, さらなる改善案を検討した
32.
Copyright © 2020
調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 32 研究業績 国内学会(口頭発表3件) • 西浦 翼, 横山 想一郎, 山下 倫央, 川村 秀憲, 佐藤 好美, 長谷川 怜, 平澤 幸 : 深層学習を用いた人物追跡手法によるバス乗降者数の 推定, 第20回データ指向構成マイニングとシミュレーション研究 会, オンライン (2021) • 西浦 翼, 横山 想一郎, 山下 倫央, 川村 秀憲: バス車内画像を用 た深層学習に基づく 混雑状況推定モデルの検証, 情報処理北海 シンポジウム2020, 41, オンライン (2020) • 西浦 翼, 横山 想一郎, 山下 倫央, 川村 秀憲:バス乗客ODデータ の推定における深層学習を用いた人物追跡に関する研究,社会 システムと情報技術研究ウィーク ,オンライン(2022,予定)