論文紹介：Temporal Action Segmentation: An Analysis of Modern Techniques
Denunciar
Toru TamakiSeguir
13 de May de 2023•0 recomendaciones•184 vistas
論文紹介：Temporal Action Segmentation: An Analysis of Modern Techniques
13 de May de 2023•0 recomendaciones•184 vistas
Descargar para leer sin conexión
Denunciar
Tecnología
Guodong Ding, Fadime Sener, Angela Yao, "Temporal Action Segmentation: An Analysis of Modern Techniques" arXiv2022 https://arxiv.org/abs/2210.10352
Toru TamakiSeguir
Recomendados
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話Yusuke Uchida
動作認識の最前線：手法，タスク，データセットToru Tamaki
画像キャプションと動作認識の最前線 〜データセットに注目して〜（第17回ステアラボ人工知能セミナー）STAIR Lab, Chiba Institute of Technology
動画認識サーベイv1（メタサーベイ ）cvpaper. challenge
Active Convolution, Deformable Convolution ―形状・スケールを学習可能なConvolution―Yosuke Shinya
![[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...](https://cdn.slidesharecdn.com/ss_thumbnails/dl10161-201016015214-thumbnail.jpg?width=384&height=256&fit=bounds)
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...Deep Learning JP
Más contenido relacionado
La actualidad más candente
【チュートリアル】コンピュータビジョンによる動画認識Hirokatsu Kataoka
![[DL輪読会]MetaFormer is Actually What You Need for Vision](https://cdn.slidesharecdn.com/ss_thumbnails/20220121metaformer-220121085750-thumbnail.jpg?width=384&height=256&fit=bounds)
[DL輪読会]MetaFormer is Actually What You Need for VisionDeep Learning JP
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with TransformersDeep Learning JP
コンピューテーショナルフォトグラフィNorishige Fukushima
【DL輪読会】WIRE: Wavelet Implicit Neural RepresentationsDeep Learning JP
【DL輪読会】Prompting Decision Transformer for Few-Shot Policy GeneralizationDeep Learning JP
![[DL輪読会]MetaFormer is Actually What You Need for Vision](https://cdn.slidesharecdn.com/ss_thumbnails/20220121metaformer-220121085750-thumbnail.jpg?width=2048&height=1162&fit=bounds)
![[DL輪読会]EfficientDet: Scalable and Efficient Object Detection](https://cdn.slidesharecdn.com/ss_thumbnails/191122dlseminar-191122013544-thumbnail.jpg?width=2048&height=1162&fit=bounds)
![[DL輪読会]PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection](https://cdn.slidesharecdn.com/ss_thumbnails/pvrcnn-200311050009-thumbnail.jpg?width=2048&height=1162&fit=bounds)
![[DL輪読会]Progressive Growing of GANs for Improved Quality, Stability, and Varia...](https://cdn.slidesharecdn.com/ss_thumbnails/kuboshizuma20180316-180525003941-thumbnail.jpg?width=2048&height=1162&fit=bounds)
![[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows](https://cdn.slidesharecdn.com/ss_thumbnails/swintransformer-210514020542-thumbnail.jpg?width=2048&height=1162&fit=bounds)
![[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...](https://cdn.slidesharecdn.com/ss_thumbnails/201912227dldiscriminativeleraningformanaouraspeechseparationusingdeepembeddingfeaturessumissionver2-191227001259-thumbnail.jpg?width=2048&height=1162&fit=bounds)
![SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～](https://cdn.slidesharecdn.com/ss_thumbnails/ts1-01-210607042113-thumbnail.jpg?width=2048&height=1162&fit=bounds)
Similar a 論文紹介：Temporal Action Segmentation: An Analysis of Modern Techniques
Structured Light 技術俯瞰Teppei Kurita
文献紹介：Selective Feature Compression for Efficient Activity Recognition InferenceToru Tamaki
文献紹介：Video Transformer NetworkToru Tamaki
文献紹介：An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleToru Tamaki
ICCV 2019 論文紹介 (26 papers)Hideki Okada
![[DL Hacks]Self-Attention Generative Adversarial Networks](https://cdn.slidesharecdn.com/ss_thumbnails/self-attentiongenerativeadversarialnetworks-180730075733-thumbnail.jpg?width=384&height=256&fit=bounds)
[DL Hacks]Self-Attention Generative Adversarial NetworksDeep Learning JP
![[DL Hacks]Self-Attention Generative Adversarial Networks](https://cdn.slidesharecdn.com/ss_thumbnails/self-attentiongenerativeadversarialnetworks-180730075733-thumbnail.jpg?width=2048&height=1162&fit=bounds)
![[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS](https://cdn.slidesharecdn.com/ss_thumbnails/quasi-recurrentneuralnetworks-170512014332-thumbnail.jpg?width=2048&height=1162&fit=bounds)
Más de Toru Tamaki
論文紹介：Learning With Neighbor Consistency for Noisy LabelsToru Tamaki
論文紹介：Temporal Sentence Grounding in Videos: A Survey and Future DirectionsToru Tamaki
論文紹介：Parameter-Efficient Transfer Learning for NLPToru Tamaki
論文紹介：Flamingo: a Visual Language Model for Few-Shot LearningToru Tamaki
論文紹介：Look for the Change: Learning Object States and State-Modifying Actions ...Toru Tamaki
論文紹介：LVIS: A Dataset for Large Vocabulary Instance SegmentationToru Tamaki
Último
遠隔お酌IoTLT2309.pptxYoshiaki Ito
CCoE実践者コミュニティ#1_CCoEが進めるセキュリティカイゼンの旅.pptxTomoaki Tada
松下研究室紹介_関西大学高槻キャンパスオープンキャンパスMatsushita Laboratory
gtk4_gem_usage.pdfssuser0ef4681
20230912JSSST大会基調講演_丸山.pdfHiroshi Maruyama
機械学習モデルを REST API としてサービングするシステム開発における上流プロセスの絞り込みと効果検証（PM学会2023年度秋季研究発表大会 発表資料）NTT DATA Technology & Innovation
論文紹介：Temporal Action Segmentation: An Analysis of Modern Techniques
- 1. Temporal Action Segmentation: An Analysis of Modern Techniques Guodong Ding, Fadime Sener, and Angela Yao arXiv2022 加藤樹，神谷広大（名工大玉木研） 2023/5/11
- 2. Introduction nTemporal Action Segmentation(TAS) • Untrimmed videoを時間的に分割 • 各セグメントはaction labelによってラベル付け • action labelはあらかじめ定義された領域から決定 n連続的な情報が必要 • 識別可能なフレームレベルの表現 • 長距離の時間的モデリング セグメント
- 3. Research
- 4. Task Description n入力：𝑥 = (𝑥!, 𝑥", … , 𝑥#) • 長さ𝑇でNアクションを持つビデオ nセグメント単位による出力：𝑆!:% = (𝑠!, 𝑠", … , 𝑠%) • ここで，𝑠! = (𝑐!, 𝑙!) • 𝑙!：セグメントの長さ • 𝑐!：アクションラベル • アクションの順序予測の研究で頻繁に使用 nフレーム単位による出力：𝑦!:# = (𝑦!, 𝑦", … , 𝑦#) • 𝑦"：フレームレベルのアクションラベル • 深層学習ベースの手法で頻繁に使用
- 5. Related Task nTemporal Action Detection / Localization (TAD/L) • アクションの開始と終了を検出し，ラベル付け nSequence Segmentation (SS) • 個々のシーケンスをセグメンテーション • オーディオ信号，モーションキャプチャで主流
- 6. Datasets nTASで使用されるデータセット • アクションの開始と終了の境界線がある • アクションラベルがアノテーションされている n50Salads [Stein&McKenna, UbiComp13] • 人間がサラダを作る50本の動画 • 作業面を上から見下ろす視点
- 7. Datasets Comparison n反復スコア：r(0 ≤ 𝑟 ≤ 1) • 0：シーケンス内で繰り返しが少ない • 1：シーケンス内で繰り返しが多い n順序変動スコア：v(0 ≤ 𝑣 ≤ 1) • 0：アクション間の関係が容易に入れ替え可能 • 1：アクションが厳密な順序に従う ：ユニークなアクション数 ：アクションの総数 ：R, G間の正規化平均編集距離
- 8. Supervision Type nFully-Supervised（完全教師あり） • 各フレームに対し，密なラベル有り．ロード時間多い． nSemi-Supervised（半教師あり） • ラベル有りと無しに分ける． nWeak-Supervised（弱教師あり） • フレームごとにアノテーションはしない． nUnsupervised（教師なし） • アクションラベル，動作境界情報，テキストデータ不要
- 9. Evaluation Measures nフレーム単位の評価 • Means of Frames(MoF) = 正しく予測したフレーム数 全フレーム数 • 欠点 • アクションフレームの偏りに影響される • セグメンテーションの質を反映できない nセグメント単位の評価 • F1スコア＝2 , #$%&'(')! ∗$%&+,, #$%&'(')!-$%&+,, • 𝑅𝑒𝑐𝑎𝑙𝑙と𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛の調和平均で求める • 閾値𝜏でセグメントを評価 • 編集距離 Edit-Score [Lea+, ECCV2016] • セグメント順序のみの正確さを表す
- 10. Frame-wise Representation nIDT(Improved Dense Trajectories) • 動作認識や映像理解に使用される手作業による特徴量抽出 nI3D(Inflated 3D ConvNet) • ビデオ理解のための特徴量抽出をするアーキテクチャ • Kinetics[Kay+, arXiv2017]による事前学習 n視覚的埋め込み(Visual Embedding) • フレーム予測学習タスクで使用 • 時刻𝑡の特徴入力に基づいて，𝑡 + 𝑠の特徴を予測 n時間的埋め込み(Temporal Embedding) • アクションとその順序を見つけるために使用
- 11. Temporal Modeling nフレーム単位での時間的モデリング • ネットワークの時間的受容野を拡大 • 特徴表現における動的な動きを集約させる • 事前学習されたフレーム単位の特徴はAction Recognition用 n動作境界情報の正確さ • 行動遷移中の曖昧さを学習するモデルで重要 nモデリングに対する取り組み • Recurrent Neural Networks (RNNs) • 順序に沿う共有パラメータで時系列を捉える • フレーム間の依存関係で，並列処理に限界 • Temporal Convolutional Networks (TCNs) • Transformer
- 12. TCNs and Transformer nTCNs • (a)Encoder-Decoder TCN [Lea+, CVPR2017] • U-Net方式で層ごとにPoolingとUpsampling • 時間分解機能を縮小し，拡大 • 計算コスト小，境界情報損失の可能性 • (b)Multi-Stage TCN [Farha&Gall, CVPR2019] • 徐々に畳み込みを大きくして拡大 • 時間分解機能は一定 • 計算コスト大，境界情報保持 nTransformer • Encoder • フレーム間でSelf-Attention(SA) • Decoder • 各層でCross-Attention(CA) • TASでの使用はまだ限定的
- 13. Fully-Supervised Approaches nRepresentation Learning • Bi-LSTM [Singh+, CVPR2016] • 特徴を双方向LSTMに入力してラベル予測 • TempAgg [Sener+, ECCV2020] • 現在の観測を長距離の観測に関連 nImproving Existing Archtecture • SSTDA+MS-TCN [Hung+, CVPR2020] • 自己教師モデルで，不要なラベル使用無し • BCN+MS-TCN [Wang+, ECCV2020] • 境界問題と過剰セグメンテーションへ対応 • C2F-TCN [Singhania+, arXiv2021] • 復号化層のアンサンブルを持つ
- 14. Performance of Fully-Supervised Rep:Representation Learning， Impro:Improving exisiting archtecture，TF:Transformer
- 15. Weakly-Supervised Approaches nTranscripts • ビデオ内とその時系列順序を付与 • アノテーションコストの大幅削減 • Two-stage • TASL [Lu and Elhamifar, ICCV2021] • Single-stage • NN-Viterbi [Richard+, CVPR2018] • CDFL [Lei and Todorovic, ICCV2019] nAction Set • アクションの集合のみ • 時系列，頻度，順序の情報無し • SCT [Fayyaz and Gall, CVPR2020] • ACV [Li and Todorovic, CVPR2021] nTimestamps Annotation • 特定の時間だけラベル付け • Timestamps [Li+, CVPR2021] nComplex Activity • アクションレベルの情報無し • CAD [Ding and Yao, TMM2022]
- 16. Performance of Weakly-Supervised Transcript + Two-Stage Transcript + Single-Stage Action Set Timestamps Annotation Complex Activity
- 17. Unsupervised Approaches nTwo-Stage Learning • 二つのステップを繰り返す • フレームクラスタ推定 • フレーム表現学習 • JVT [VidalMata+, WACV2021] nSelf-Supervised Learning • 自己教師学習ベースの表現学習 • ASAL [Li and Todorovic, CVPR2021] nSingle-Stage Learning • 動作境界の変化に応じたセグメント だけ行う • UDE [Swetha+, arXiv2021]
- 18. Performance of Unsupervised nDeviations,Missing,Repetitionsの柔軟性の評価 SS : Self-Supervised Learning
- 19. Semi-Supervised Approaches nSemiTAS [Ding&Yao, ECCV2022] • 二つの損失関数を設定 • アクション親和性損失 • アクション連続性損失 nICC [Singhania+, arXiv2021] • 対照学習により新しい特徴表現セットを学習 • 40%のラベル付けで，完全教師ありと同等の性能 CA：Complex Activity D%：ラベル付けの比率
- 20. Conclution nTASの技術の概要の説明，評価比較 • TASは急成長している分野 nまだ未開拓領域が多い • 行動の逐次モデリングで特徴学習に依存することが多い • 編集スコアなどの研究が少ない • セグメントレベルでのモデリング • 既存：フレーム単位での予測 • 理想：セグメントレベルでの予測 n欠落したアクションの扱い • 行動境界の不確実性は性能に大きな影響 • 境界の定義/ラベル付けの検討が必要