ECCV2020 Oral論文 完全読破(1/2)
•
12 recomendaciones•4,377 vistas
cvpaper.challengeにおいてECCVのOral論文をまとめた「ECCV 2020 報告」です。 ECCV2020 Oral論文 完全読破(2/2) [https://www.slideshare.net/cvpaperchallenge/eccv2020-22-238640597/1] pp. 7-10 ECCVトレンド pp. 12-81 3D geometry & reconstruction pp. 82-137 Geometry, mapping and tracking pp. 138-206 Image and Video synthesis pp. 207-252 Learning methods cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a ECCV2020 Oral論文 完全読破(1/2)
Similar a ECCV2020 Oral論文 完全読破(1/2) (20)
ECCV2020 Oral論文 完全読破(1/2)
- 1. ECCV 2020 Oral論文 完全読破 (1/2) cvpaper.challenge http://xpaperchallenge.org/cv
- 2. cvpaper.challenge? 日本のCV分野を強くするチャレンジ！ ◆ 論文読破・まとめ・発想・議論・実装・論文執筆に至るまで取り組む Survey Member: 約500名 Research Member: 約60名 （産総研/筑波大/東工大/電大/早大/慶大/東大/岐阜大/中部大） 年間1,000+本/合計4,000+本の論文まとめ 全てWeb上にて無料公開 25+本/年のTOP会議論文採択 含CVPRx2/ICRAx3/BMVC/ICCVW/CVPRW/ECCVW/ICPRx2 CVPR 2015/2018 完全読破チャレンジ ECCV 2018 網羅的サーベイ cvpaper.challengeの研究プロジェクト CV分野の今を映し, トレンドを創る挑戦 人を見ない人物行動認識 ECCV16WS Award ViEW16若手奨励賞 Dynamic Fashion Cultures MIRU17学生奨励賞 # イメージ図 NIDB Near-Miss Incident DB 交通事故解析/予測 ICRA18/CVPR18 3D-ResNets-PyTorch CVPR18/GitHub世界4位 その他多数のProj.が推進中 多読/精読により知見獲得 学生のトップ会議投稿&参加 網羅的動向把握からテーマ考案 HP: http://xpaperchallenge.org/ Twitter: @CVpaperChalleng
- 3. How to join cvpaper.challenge? http://xpaperchallenge.org/cv/recruit
- 4. 概要 ● CV分野のトップ会議ECCV 2020の論文まとめ ○ 現在までの会議速報/報告 ■ CVPR 2016 速報: https://www.slideshare.net/HirokatsuKataoka/cvpr-2016 ■ ECCV 2016 速報: https://www.slideshare.net/HirokatsuKataoka/eccv-2016 ■ CVPR 2017 速報: https://www.slideshare.net/cvpaperchallenge/cvpr-2017-78294211 ■ ICCV 2017 速報: https://www.slideshare.net/cvpaperchallenge/iccv-2017 ■ CVPR 2018 速報: https://www.slideshare.net/cvpaperchallenge/cvpr-2018-102878612 ■ CVPR 2019 速報: https://www.slideshare.net/cvpaperchallenge/cvpr-2019 ■ CVPR 2020 報告: https://www.slideshare.net/cvpaperchallenge/cvpr-2020-237139930 ○ 研究コミュニティcvpaper.challenge内で作成
- 5. 本資料はOral論文のまとめを記載 ● 本資料 ○ Oral論文 ■ 研究の概要，提案手法・新規性，結果 ■ ＋αの情報(github, project page, 読んだ感想など) ● 論文サマリ ○ Spotlight, Poster論文のまとめ 概要
- 6. Session 104本のOral論文の内訳(Program参照) ● 3D geometry & reconstruction (4本) ● 3D geometry & reconstruction (10本) ● Geometry, mapping and tracking (12本) ● Image and video synthesis (14本) ● Learning methods (7本) ● Looking at humans (13本) ● Low level vision (13本) ● Recognition & detection (13本) ● Segmentation & scene Interpretation and description, language (12本) ● Video & action understanding (6本) ECCV 2020 Oral
- 8. ECCV2020の動向・気付き • ECCV 2020 ONLINE – 最も大きな違いは現地開催 -> オンライン開催 • COVID-19による影響 • ECCV Portalサイトをオープン
- 9. ECCV2020の動向・気付き https://www.youtube.com/watch?v=NLP5mTuaOFE • ECCV 2020 ONLINE – 投稿数5,150本，採択数1,360本（採択率26.0%） • エリアチェア(AC) 1,926人，査読者2,830人で捌く • AC 一人あたり25本を処理
- 10. ECCV2020の動向・気付き https://www.youtube.com/watch?v=NLP5mTuaOFE • ECCV 2020 ONLINE – Google がNo.1 – 企業はGoogle, Facebook, Microsoft等 – Facebookを抑えて中国の3大学が上位にランクイン！ – Stanford Univ., MIT, CMUより上位に5つの中国の大学がランクイン！
- 12. 3D geometry & reconstruction
- 13. ・三次元点群に曲面をフィッティングするロバストな手法の提案 ・PointNetで各点ごとの重みを推定し重み付き最小二乗法でフィッティングする DeepFit: 3D Surface Fitting via Neural Network Weighted Least Squares まとめた人：Naoya Chiba
- 18. ・服の3Dデータセット，再構成のベースラインの提案 Deep Fashion3D: A Dataset and Benchmark for 3D Garment Reconstruction from Single Images まとめた人：Hayata Ebisawa
- 21. ・2D-3D対応情報を一切必要としない，PnP問題のSolver提案 ・シミュレーション，実データ共に，既存手法を上回る性能と主張 Solving the Blind Perspective-n-Point Problem End-To-End With Robust Differentiable Geometric Optimization まとめた人：Yoshiyuki Yamariku
- 25. +αの情報 ・著者コード(PyTorch)：[リンク] ・ECCV Oral Youtube：[リンク] ・ECCV2020には3本の論文を通している研究室 ・CVPR/IROS等への実績も多い ・Blind PnP問題の研究として，今後も引用されていくと思われる．
- 26. ・衣服と人物モデルの推定を経由し，衣服のサイズが異なる場合どうなるかを推定 ・実計測による衣服のセグメンテーションとSMPL+Gのデータセットを準備し公開 SIZER: A Dataset and Model for Parsing 3D Clothing and Learning Size Sensitive 3D Clothing まとめた人：Naoya Chiba
- 31. ・Implicit Field Regressionによる三次元メッシュの生成 ・サンプリング手法の見直しによる高速な学習の実現 ・明示的な対称性の活用により隠れにロバストなメッシュ推定 Ladybird: Quasi-Monte Carlo Sampling for Deep Implicit Field Based 3D Reconstruction with Symmetry まとめた人：Naoya Chiba
- 33. 結果 サンプリング戦略について，サンプル点のDiscrepancyと再構成誤差で評価 三段階のサンプリングのうち，一段階目と三段階目の部分を変更して比較 ・一段回目（空間全体からサンプリング）： Grid, Jitter (Grid+Gaussian noise), Sobol ・二段階目（メッシュに近い領域に絞る）：距離に応じた確率分布，ここは固定 ・三段階目（メッシュ付近でのサンプリング）： Random, FPS Discrepancy（低いほうが良い） 再構成誤差（低いほうが良い）
- 35. +αの情報 ・著者コード：https://github.com/FuxiCV/Ladybird （リポジトリのみ） ・データセット：ShapeNetCore-v1 https://www.shapenet.org/ ・project page：https://sampling.mpi-inf.mpg.de/2020-xu-ladybird.html ・どちらかというとGraphics屋さんでSamplingに詳しい研究チームが CVにおけるImplicit Fieldの研究を進めた成果，という印象 ・Implicit FieldをNNで近似する研究において，学習時・推論時ともに サンプリング戦略や積分の近似が重要な要素となりうるため， このような研究例はこの界隈での基礎固めとなりうる
- 36. ・撮影点(x,y,z)と見る方向(θ,φ)に対応する画像のRGBと密度を予測 ・輝度場を写真にRenderingする際の関数を最適化することで提案手法を実現 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis まとめた人：Koki Madono
- 41. +αの情報 ・著者コード(PyTorch)：[https://github.com/bmild/nerf] ・データセット：[https://drive.google.com/drive/folders/128yBriW1IG_3NJ5Rp7APSTZsJqdJdfc1] ・project page：[http://tancik.com/nerf] ・Video : [https://youtu.be/JuH79E8rdKc]
- 42. ・任意の与えられた状態から，カメラの位置を推定するためのSQPnPのアプローチ ・高速かつグローバルに収束する非多項式である手法の提案 A Consistently Fast and Globally Optimal Solution to the Perspective-n-Point Problem まとめた人：anonymous
- 46. +αの情報 ・ SQPnP is available at https://github.com/terzakig/sqpnp. ・.[1] Lu, C.P., Hager, G.D., Mjolsness, E.: Fast and globally convergent pose estimation from video images. IEEE Transactions on Pattern Analysis and Machine Intelligence 22(6), 610–622 (2000) ・[2]Schweighofer, G., Pinz, A.: Globally optimal O(n) solution to the PnP problem for general camera models. In: British Machine Vision Conference. pp. 1–10 (2008)
- 47. ・CGレンダリングにおけるPhong BRDFにヒントを得て、新しいサーフェスモデル「Phong Surface」の提案 ・トラッキングシステムにおいてはモデル表面の滑らかさと方位特性が重要なのでそれらを 持ちつつ最小構成なモデル The Phong Surface: Efficient 3D Model Fitting using Lifted Optimization まとめた人：Teppei Kurita
- 51. +αの情報 ・Microsoft Mixed Reality & AI Labs ・著者ページ：https://www.microsoft.com/en-us/research/people/jinshen/publications/
- 52. ・単眼画像からステレオ画像と視差画像を生成し，生成した画像を学習に用いることで，ス テレオ深度推定ネットワークの推論性能が向上することを示した． ・ステレオ視差推定データセットのData augmentation手法という位置づけ． Learning Stereo from Single Images まとめた人：Shoji Sonoyama CGのみで学習した場合と提案手法を用いて学習した場合の比較
- 53. Contributions ・ 単眼画像からステレオ学習画像を生成するパイプラインを提案したこと． ・ 従来のステレオ学習画像生成手法に比べて，シンプルで効果的なステレオ学習画 像が生成できることを示したこと． ・ CG画像を用いた学習よりも，本手法により生成したステレオ学習画像を用いた方が ，未知ドメインへの汎化性能が高いことを示したこと．
- 55. 提案手法のポイント ・ 単眼深度推定で得られる深度画像は境界が曖昧[*1] なので，Sobel filterを適用し，深度画 像をRefineする．これによりステレオ視差推定の性能が向上する． ・合成できない領域は他の単眼画像で穴埋めする． [*1]単眼深度推定の学習Lossに平滑化項が含まれるためだと考えられる(まとめた人の私見)． Depth refineによる，ステレオ視差推定の性能向上 合成できない領域への穴埋め例
- 56. 結果. 画像生成方法の違いによる性能評価 ・画像生成方法の違いによる推定精度を従来手法と提案手法で比較する． ・生成画像で学習し，PSMNetにて評価する． ・評価対象のデータセットはKITTI {2012, 2015}, ETHI3D, Middleburryを使用し，っ評価 指標はend-point-error(EPE)とする． ・提案手法が最も良い性能が得られていることが読み取れる． 学習画像の生成方法の違いによるEPEの違い
- 58. ・Implicit Functionによる三次元形状表現とパラメトリックな3Dモデルを 組み合わせた，人体の三次元形状の再構成手法 ・人体のパーツごとにImplicit Functionで衣服込み（外側）の形状を推定してから 対応を求めて人体表面（内側）をパラメトリックに記述する Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction まとめた人：Naoya Chiba
- 63. ・単一のRGB画像から3Dシーンを再構築する手法 ・レイトレースに基づくskip-connectionを用いて局所情報を伝達 ・空間内のオブジェクトを共通の座標フレーム内に再構築しオクルージョンに対応 CoReNet: Coherent 3D scene reconstruction from a single RGB image まとめた人：Ryosuke Araki
- 64. 提案手法・新規性 ・単一のRGB画像を入力して，シーン内の物体ごとにメッシュセットを出力 ・物体の形状，カメラからの相対的な姿勢，クラスラベルを同時推定 ・ray-traced skip conn.（赤矢印）でenc.からdec.に情報を伝播 →enc.の情報をカメラのピンホールを通過させて dec.に投影させるイメージ 出力：各グリッド内の 原点からのオフセット 3D decoderのグリッド： 分解能がk倍低い
- 65. 結果 ・データ：ShapeNet（合成データ，単一物体） ・ray-traced skip conn.で性能が向上 ・high-realism画像でも結果が向上 ・SoTAとの比較 ・ours h5のモデルが最も高性能 ・Pix2VoxよりmIoU 2.8%↑， Pix2Vox++よりmIoU 1.9%↑
- 66. 結果 ・データセット：Pix3D（実データ，単一・複数物体） ・model h7でテスト，実データを混ぜてfine tuningを行う →高いmIoU（Set1: 33.3%, Set2: 23.6%）が得られた ・複数の物体でも（物体同士がオクルージョンしていても）再構成可能（すごい）
- 68. ・ステレオ深度推定をよりロバストに推定する問題設定． ・ドメイン変化に強いDomain-invariant Stereo Matching Network(DSMNet)を提案． ・CGで学習/実画像で推論を行った場合に既存手法よりも性能が高いことを示した． Domain-invariant Stereo Matching Networks まとめた人：Shoji Sonoyama 提案手法(DSMNet)と既存手法(GANet)の比較
- 69. 提案手法・新規性 ・ドメイン変化を正規化するDomain Normalization layer(DN)と，アーチファクトや歪みの 影響を軽減するStructure-preserving Graph-based Filtering(SGF)を提案． ・これらを組み込んだのがDSMNet． 既存の正規化手法と DNの比較 DSMNetのネットワーク構造
- 71. 結果2. ドメイン変化に対する性能評価 ・CGで学習した既存手法/fine tuningした既存手法/CGで学習した提案手法を比較． ・fine tuning済みの従来手法よりも，CGで学習した提案手法の方が性能が良いことを示し た． 既存手法との性能比較 (全てCGで学習) 実画像で学習した既存手法と CGで学習した提案手法の比較
- 73. ・三次元点群のオートエンコーダーの提案 ・学習時にメッシュの情報を利用したオートエンコーダーと同時に学習することで 再構成の性能を向上 Intrinsic Point Cloud Interpolation via Dual Latent Space Navigation まとめた人：Naoya Chiba
- 75. 結果 ・DFAUST，SURREAL，SMALで学習・評価．汎化性能をみるためSCAPEでも評価 ・各既存手法/最適化ベース（高計算コスト）と比較し，幾何的な歪みが少なく 再構成も高精度にできた
- 77. ・SoftPoolNetと呼ばれるエンコーダー /デコーダーアーキテクチャを導入 することで，パッチ変形操作のシミュレーショ ンを行い，精度の3Dオブジェクトの完成方法を 提案 SoftPoolNet: Shape Descriptor for Point Cloud Completion and Classification まとめた人：宮城直（ Sunao Miyagi）
- 78. 提案手法・新規性 ・SoftPoolNetと呼ばれるエンコーダー /デコーダーアーキテクチャを 導入することで，複数の機能をアクティブ化し、必 要な順列を維持しながらより多くの情報を保持する ための改善
- 81. +αの情報 ・Yida Wang [https://www.researchgate.net/profile/Yida_Wang] David Joseph Tan[http://campar.in.tum.de/Main/DavidTan] Nassir Navab[https://scholar.google.de/citations?user=kzoVUPYAAAAJ&hl=ja] Federico Tombari[https://scholar.google.com/citations?user=TFsE4BIAAAAJ&hl=ja] Technische Universitat Munchen, Google Inc ・project page：[https://www.merl.com/research/license#KCNet] ・この研究室は毎年のように CVPRに論文を通している Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling CVPR'18. https://arxiv.org/abs/1712.06760 Adversarial Semantic Scene Completion from a Single Depth Image 2018 International Conference on 3D Vision (3DV)
- 82. Geometry, mapping and tracking
- 83. ・四元数を用いることで回転にロバストな特徴を学習するカプセルモジュール ・分類と回転方向推定を同時に行い有効性を確認 Quaternion Equivariant Capsule Networks or 3D Point Clouds まとめた人：工藤 航
- 86. +αの情報 ・GitHubリポジトリ : https://github.com/yongheng1991/qec_net ・Oralビデオ : https://www.youtube.com/watch?v=LHh56snwhTA ・CVPR2019にこの著者が出した「3D Point Capsule Networks」の拡張 ・↑はCVPR2019のチュートリアルの一つにもなっていて盛り上がっている ・カプセルネットワークの例に漏れず学習データの数が多く必要 ・点群＋capsuleの特徴として密度に敏感なことに留意
- 87. ・6Dの教師ラベル不要な自己教師あり学習による6D物体姿勢推定手法 (a)：合成画像（RGB）で物体姿勢を学習 (b)：リアル画像（RGB-D）で(a)の姿勢推定結果をrefinementするように学習 Self6D: Self-Supervised Monocular 6D Object Pose Estimation まとめた人：Ryosuke Araki
- 89. 結果 ・w/o Real pose label手法と比較して大きな精度向上，w/ Real pose手法に匹敵 LineMODデータセットでの比較結果 HomebrewDBデータセットでの比較結果 LineMOD Occlusionデータセットでの比較結果
- 92. ・複数枚の画像を入力とし，画像毎のDepthとPoseを推定する問題設定． ・Geometryを考慮したポーズ推定を行うことで少ない入力数と初期化時のノイズに対して 優れたロバスト性を達成した． DeepSFM: Structure From Motion Via Deep Bundle Adjustment まとめた人：Shoji Sonoyama, 宮城直（Sunao MIyagi） 従来手法と提案手法の違い
- 95. 結果2 ETHデータセットでの評価 ・Structure from motion (SfM)手法により、従来のBAと新しいディープラーニング技術の両 方のメリットをもたらすことができる。 提案手法と既存手法との定量比較 提案手法と従来手法の定性比較
- 97. ・画像のデータベースマップのジオメトリを難読化することで，プライバシー保護を行う提案 Privacy Preserving Structure-from-Motion まとめた人：宮城直（ Sunao MIyagi）
- 101. +αの情報 ・データセット：[https://research.cs.cornell.edu/1dsfm/] ・project page：[https://inf.ethz.ch/] [https://cvg.ethz.ch/] ・この研究室は毎年のようにCVPRに論文を通している CVPR 2018「StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation」 CVPR 2017「 Designing Effective Inter-Pixel Information Flow for Natural Image Matting」
- 102. ・実世界において3次元物体をVision&Languageを用いて特定するタスク ・このタスクにおいて，詳細なカテゴリ分類(同環境下において複数個の椅子が存在する中か ら特定の椅子を分類)をするために必要なデータセットとネットワークを提案 ReferIt3D: Neural Listeners for Fine-Grained 3D Object Identification in Real-World Scenes まとめた人：anonymous
- 103. 提案手法・新規性 ・83,572件の発話から構成されるSpatial Reference in 3D(Sr3D)とAMTのreference gameから収録した41,503件の対話から構成されるThe Natural Reference in 3D(Nr3D) を提案 ・Visual encoderとLanguage encoderの2つから構成され2つの特徴をDynamic Graph Convolution Network を用いてfusion
- 105. +αの情報 ・著者コード(PyTorch)：[リンク] ・データセット Nr3D：[リンク] Sr3D / Sr3D +：[リンク] ・project page：[リンク] ・Stanford Univ.のLeonidas J. Guibas先生の3D系激強研究室[リンク] ・ECCV2020 8本採択，CVPR2020 9本採択
- 106. ・ステレオマッチングにおいて，対応点間のlocal transformationを用いた最適化ネットワー クを用いて，精度改善する手法を提案． ・三角測量，Camera Localizationの実験で，精度が向上することを確認． Multi-View Optimization of Local Feature Geometry まとめた人：Yoshiyuki Yamariku
- 109. 結果 ・Camera Localizationの精度評価．ETH3D benckmnarkを使用． ・SIFTへの手法適用では変化なし．他の特徴量(SURF/学習ベース4種)では精度改善を確 認した．
- 110. +αの情報 ・著者コード(C++/Python)：[リンク] ・project page：[リンク] ・Qualitative Examples (YouTube)：[リンク] ・３次元計測技術の研究では有名なMarc Pollefeysの研究室の論文 ・CVPR・ECCV・ICCVで多くの論文が採択されている
- 111. ・カメラ姿勢を推定するため局所特徴量を弱教師学習によって学習する， CAmera Pose Supervison(CAPS)というアーキテクチャを提案． Learning Feature Descriptors using Camera Pose Supervision まとめた人：Shoji Sonoyama 提案手法の概要 (a)SfMによるカメラ姿勢の推定 (b)カメラ姿勢からのエピポーラ線の計算 (c)推定した対応関係
- 112. ・局所特徴量の学習に，カメラ姿勢を利用するEpipolar lossとCylcle consistency lossを提 案． ・ピクセル間の対応関係を微分可能にする，Differential matching layerの提案． ・ネットワークを高速に動作させるcoarse-to-fine arichitectureの採用． ・弱教師データとして，SfMによって得られたカメラ姿勢を学習データとして使用． 提案手法・新規性 Epipolar lossとCycle consistency lossの図示 (a)ピクセルレベルでの対応関係 を微分可能にするdifferential matching layer (b)高速動作のための coarse-to-fine architecture
- 114. 結果2. 3D復元性能の比較 ・ETH 3Dデータセットを用いて，従来手法と提案手法の3D復元性能を評価． ・従来手法に比べて，同等以上の画像枚数を3D復元に使用できることを示した． 従来手法と提案手法の比較＠ ETH 3Dデータセット
- 115. +αの情報 ・著者コード：https://github.com/qianqianwang68/caps ・project page：https://qianqianwang68.github.io/CAPS/ ・CVPR 2020のbest paper(https://arxiv.org/abs/2005.04551)と同じく，学習・推論にエピポーラ拘束を 用いている． ・今後も3D復元関連でエピポーラ拘束を取り入れた手法が出てきそう．
- 116. ・ interesting scenesを記憶・識別するためのtranslation-invariant visual memory の提 案．さらに，長期学習、短期学習，オンライン学習の3段階の学習アーキテクチャを設計し た． Visual Memorability for Robotic Interestingness via Unsupervised Online Learning まとめた人：saito.t
- 117. 提案手法・新規性 ・backpropagationなしで学習できる，novel translation invariant 4-D visual memoryを提 案した． ・長期学習、短期学習，オンライン学習の3段階の学習アーキテクチャを設計した．
- 118. 結果 ・area under curve of online precision (AUC-OP) の評価指標で評価を行った
- 119. 結果 ・writing protocol, memory capacity, translational invariance, capability of losing interestsの定量的な評価
- 121. ・過去の軌道とHDマップから軌道予測を行う，動き予測モデルの提案 Learning Lane Graph Representations for Motion Forecasting まとめた人：saito.t
- 122. 提案手法・新規性 ・地図のトポロジーを抽出する Lane Graph Convolutional Network(LaneGCN)を提案し た ・LaneGCNとActorNETで出力した情報を融合させて軌道予測を行う
- 124. +αの情報 ・著者HP Ming Liang[リンク] Raquel Urtasun[リンク] ・この研究室は2013年から毎年CVPRに論文を通している ・ラスト著者のRaquel Urtasun氏はECCV2020にて12本採択されている
- 125. ・単眼深度推定のためのデータセットであるMPSDの生成手順の発表 Mapillary Planet-Scale Depth Dataset まとめた人：Yuta Kambayashi
- 129. ・車車間通信(Vehicle-to-Vehicle)を用いて自動運転車の認知と行動の予測精度を改善するような V2VNetを提案 ・同じローカルな交通シーンにおける、自動運転車の複数視点を得るためのデータセット V2V-Simを作成 V2VNet: Vehicle-to-Vehicle Communication for Joint Perception and Prediction まとめた人：Rei Tamaru
- 134. ● 歩行者の移動経路予測タスク．過去の履歴から局所的目的地(endpoint)の尤度マッ プ，候補地点を求め，他の歩行者も考慮しながら経路予測． It is not the Journey but the Destination: Endpoint Conditioned Trajectory Prediction まとめた人：Ryota Suzuki
- 135. 提案手法・新規性 ● 過去の履歴，到達地点の分布をエンコードした特徴でCVAEにより統合して予測到達 地点をエンコード，Social Poolingで最終的に経路を予測． ● 細かく工夫を入れている様子．
- 138. Image and Video synthesis
- 139. - 可逆なモデルを利用したImage Rescaling (画像の縮小→拡大) - 低周波成分と高周波成分を明示的に分離して学習 - 可逆なモデルを用いることで，高周波成分の潜在変数を指定の分布へ近づけるように 定式化でき，高精度な復元を実現 Invertible Image Rescaling まとめた人：uchida
- 140. 提案手法・新規性 - RealNVP-likeな可逆なモデルを利用 - 出力は縮小した画像と高周波成分の潜在変数 - 実際の逆変換時は出力した潜在変数は利用できない → 何らかの分布からサンプルしたい - 再構成誤差，縮小画像への制約に加え，入出力画像の分布を一致させる - モデルの可逆性から，高周波成分の潜在変数を指定した分布に近づけることと同値 可逆性を利用すると …
- 141. 結果 - PSNR/SSIMによる定量評価 - 従来法の組み合わせに対し，平均的に 5[dB] (for x2)以上精度向上 - 1[dB]でも相当すごいという肌感 - 出力画像の比較
- 142. +αの情報 - 著者コード(PyTorch)：pkuxmq/Invertible-Image-Rescaling) - データセット：train: (DIV2K, ), test: (Set5, Set14, BSD100, Urban100) - その他 - MSRAのインターン中の成果 - 主著(北京大学), 第4著者(トロント大)はインターン生 - 最終著者はTie-Yan Liu - LightBGMの最終著者 - 所感 - クライアント側の計算能力が考慮されていないため応用先が不明瞭
- 143. ・graphベースのGANで家のレイアウト(間取り)を生成する手法の提案 ・建築家にとって家の間取りを設計するのは時間的コストが大きい ・Conv-MNPを用いて，ダイヤグラムから、部屋のレイアウト生成を行う，DatasetとModel の提案。 ・graphベースのGANで学習をすることで，部屋の関係性なども考慮し，より顧客の需要に 最適なレイアウトが生成できた。 House-GAN: Relational Generative Adversarial Networks for Graph-constrained House LayoutGeneration
- 145. 結果 ・提案手法と競合となるベースラインとの比較 ・3つの指標を基に評価した所，House-GANが最も高精度だった． （精度が良い結果1番目:シアン色，2番目:オレンジ色，3番目マゼンタ色）
- 146. +αの情報 ・著者コード(PyTorch)：[リンク] ・データセット：[リンク] ・LIFULL HOME’S datasetは国立情報学研究所が提供するデータセット ← LIFULL HOME’S datasetの例
- 147. ● インターネット画像から，時間付きライトフィールドであるPlenoptic functionをDeepに 求め，近傍の新規視点画像を生成する．整った視点が用意されない，インターネット画 像の寄せ集めから，時間による見えの変化も加味したライトフィールドを再構成するた めの手法を提案． Crowdsampling the Plenoptic Function まとめた人：Ryota Suzuki
- 149. 結果
- 151. ・GANのエンコード部分の操作を行うmodel-rewriting手法の提案 ・LPIPS距離を計測などすることで存在しないデータの生成に対する有効性を確認 Rewriting a Deep Generative Model まとめた人：Koki Yasuda
- 152. 提案手法・新規性 ・画像の一部のImage EditingのためのGANのエンコーダーネットワークを提案した ・変更する範囲の元を K, 先をVとして、K・Vは層の出力(The keys are single-location input features, and the values are patterns of output features.) ・全てのパラメータではなく、１つの層のみの重みを変更するようにした→Image Editingの被害を最小限に ・同じ層で出力される出力の距離そのものを最小化する関数を目的関数として選んだ
- 156. MatryODShka: Real-time 6DoF Video View Synthesis using Multi-Sphere Images ・360° ステレオ映像を6DoFレンダリング用のmulti-sphere imageに変換する手法 ・学習ベースの手法で"in the wild"のビデオにも適用可能 まとめた人：Yukitaka Tsuchiya
- 157. 提案手法・新規性 ・ODS(omnidirectional stereo)からSSV(sphere sweep volumes)を作成 ・V coordsは360°画像の歪みに適用するために導入 ・SSVから各MSI(multi-sphere image)のブレンド率を求める ・リアルタイムで6DoFの映像を合成する
- 158. [22]E-LPIPS: Robust Perceptual Image Similarity via Random Transformation Ensembles https://arxiv.org/abs/1906.03973 結果 ・E-LPIPS, SSIM, PSNRでベースラインとの数値評価 ・E-LPIPS[22] は比較的新しい評価指標で，VGG16の特徴を計算比較する
- 160. +αの情報 ・著者コード：[https://github.com/brownvc/matryodshka] 8/25の時点では "Code release coming soon!"の状態 ・project page：[http://visual.cs.brown.edu/projects/matryodshkawebpage/] 10分のプレゼンビデオ/Supplemental Video(従来手法との比較)の視聴が可能
- 161. ・dubbed deep hashing targeted attack(DHTA)の提案 ・P2Sのコスト関数の最適化の定式化を行う Targeted Attack for Deep Hashing based Retrieval まとめた人：Takashi Imoto
- 163. 結果 ・画像と動画の分類で精度を評価する
- 164. 結果 ・targeted mean average precision(t-MAP)を使って精度を評価する ・画像、動画共に従来の手法に比べて精度が上がっていることがわかる
- 165. ・クラス条件付き生成モデル（BigGAN）で画像を投影する手法の提案 Transforming and Projecting Images into Class-conditional Generative Networks まとめた人：Nana Shirakashi
- 170. ・マルチタスク学習が単一タスクの学習より、Adversarial Attackに対してロバストであること を証明および実証した Multitask Learning Strengthens Adversarial Robustness まとめた人：Aki Nakano
- 172. 結果 （1）Multitask attackに対するロバストネス ・出力の次元数（ランダムサンプリングするピクセル数、同時学習を行うタスクの数）が大き くなるほど、脆弱性が低くなり、精度向上が見られた ・ Adversarial attackの強さによらず、同様の トレンドが観測された
- 173. 結果 （2）Single task attackに対するロバストネス ・複数タスクだけでなく、単一タスクに絞ったadversarial attackに対してもロバストネスを示 した ↑ Cityscapeデータセットに関するスコア →Taskonomyデータセットに関するスコア
- 174. +αの情報 ・著者コード：https://github.com/columbia/MTRobust（9/7現在コード未公開） ・データセット：https://www.cityscapes-dataset.com, http://taskonomy.stanford.edu ・Supplementary Materialとgithubが未公開 ・マルチタスクを検証する際に追加する順序は関係ないのか？ ・Corollary 1でタスク同士が完全に独立なら、という前提条件が書いてあるが、扱っている タスクはかなり互いにdependentなはず（https://consistency.epfl.ch/Cross_Task_Consistency_ARXIV2020.pdf)
- 175. ・決定境界付近のセマンティックなAEsを作り出し、Data Augmentationすることで 訓練データのout-of distributionをカバーするような訓練が可能となる手法を提案。 ・物体検出のクラスconfidenceを改善し、精度の向上を達成した。 Towards Automated Testing and Robustification by Semantic Adversarial Data Generation まとめた人：Hideki Tsunashima
- 177. 結果 ・本提案手法で既存の検出器を誤検出させることができるかを確認 ・位置 (Pos) と外見 (Appear) を変化させたもので調査
- 178. ・COCO、VOCにおいては提案手法であるSemantic Adversary (SA) を2つの オブジェクトに掛け、何度もSAで訓練したモデルを誤検出させるSAを作成 してData Augmentationとして用いると精度が向上する (e.g. SA#2 x4) ・BDD100kにおいては外見を変更したSA-Appが最も精度が上がる 細かい表の見方は論文中の Section 4.3を見るのが早い 結果
- 179. +αの情報 ・著者コード：なし ・project page：なし ・トップカンファでは常連のMax Planck Institute所属 ・2019年はCVPRに7本通すなどの強豪研究室 ・この研究室において人によってはコードを公開している人もいるが、公開して ない人もまちまちといった感じ コード公開しない文化の研究室ではないようなので、メールで問い合わせれば コードを提供してもらえる可能性がなきにしもあらず？
- 180. ・衛星画像と3次元点群を入力として高品質な建物の外観を復元する Synthesis and Completion of Facades from Satellite Imagery まとめた人：Teppei Kurita
- 185. ・形も変化させられるCycleGANベースの手法の提案 Cross-Domain Cascaded Deep Translation まとめた人：kiyo
- 189. +αの情報 ・著者コードは今後公開予定とのこと ・データセット ・Kaggle Cat and Dog：https://www.kaggle.com/tongpython/cat-and-dog ・MSCOCO (Zebra, Elefant, Giraffe,)：https://cocodataset.org
- 190. ・CycleGANベースの教師なしスケッチ→画像変換手法を提案 ・スケッチ → グレースケール画像 → カラー画像 のように２ステージに分けて学習させるこ とで品質向上 ・stage2ではAdaINを使うことで、参照画像のスタイルを再現可能 Unsupervised Sketch-to-Photo Synthesis まとめた人：Shoma Iwai
- 195. ・敵対的なノイズ生成器を用いて生成した敵対的サンプルを学習 ・ノイズや破損を含むデータに対してより頑健 A Simple Way to Make Neural Networks Robust Against Diverse Image Corruptions まとめた人：Keita Goto
- 196. 提案手法・新規性 ・敵対的ノイズ生成器を提案 ・ガウスのノイズを、損失を最大化するよう学習した CNN により変形 ・生成ノイズを用いて学習（敵対的学習; Adversarial Training） ・敵対的摂動と比べて、敵対的学習後のモデルは通常のノイズに対してより頑健
- 197. 結果 ・破損やノイズを含む ImageNet-C を用いて学習＆評価 ・ノイズを含む場合と含まない場合における正解率を比較 ・従来の敵対的学習は、一般のノイズに対する頑健性にあまり寄与しない
- 198. 結果 ● 敵対的ノイズ生成器を用いた学習と、ガウスノイズの場合を比較 ● 各データに対する、モデルを騙すことができる最小のノイズのLpノルムから、その中央 値を用いて頑健性を検証 ● ガウスノイズで学習したモデル (GNT) と比べて、提案手法 (ANT) の頑健性が 高いことを確認
- 199. 結果 ● 他のモデルと ImageNet-C における正解率を検証
- 200. +αの情報 ● 敵対的摂動の転移性や耐転移性の議論につながると考えられる ● NNで敵対的摂動を生成するための方法とも ● その他 ○ 著者コード(PyTorch)：[https://github.com/bethgelab/game-of-noise] ○ ImageNet-C：[https://github.com/hendrycks/robustness]
- 201. ・悪天候下における視覚タスクを支援する画像生成手法としてForkGANを提案 ・Localization、Semantic Segmentation、物体検出における精度向上を確認 ForkGAN: Seeing into the Rainy Night まとめた人：Naoki Oomori
- 207. Learning methods
- 208. ・ネットワークの構造と重みを同時に最適化するNeural Architecture Search (NAS) 手法 の提案：MuSNAS ・生成されたネットワークをNSGANetV2と呼ぶ NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search まとめた人：藤中彩乃
- 209. 提案手法・新規性 ・upper level surrogate：オンライン学習によるネットワークの構造最適化 ・lower level surrogate：ファインチューニングによる重み最適化 ・あらゆる入力サイズ，層数，カーネルサイズに対応
- 213. MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution ■ CNNのWidth (Conv層のfilter数)と入力画像のResolutionを複数set用いる Mutual Learningを提案 ■ 少ないパラメータ数で高精度なImageNetの分類，その他タスクへの応用
- 214. 提案手法・新規性 ■ Mutual Learning ○ Full Network（通常のCNN） ○ Full Networkのwidthを {0.25x, α1x, α2x} したsub network ○ 入力画像をランダムにリサイズ {224, 192, 160, 128} 通常のクラス分類 Softmax CrossEntropy Full NetworkとのKLD
- 215. 結果 ■ Imagenetで実験 ■ 従来手法のUS-Net (Universally Slimmable Network)よりも低FLOPS&高精度
- 216. +αの情報 ■ Mutua Learningで学習したモデルをDetectionやSegmetationに転用することは有用 [Github] https://github.com/taoyang1122/MutualNet
- 217. ・Batch NormalizationやWeight Standardizationに代わる、新たな最適化手法Gradiant Centralizationを提案 ・実装が簡単（なんと１行！）で、損失関数の改善を確認 Gradient Centralization: A New Optimization Technique for Deep Neural Networks まとめた人：Yoshiki Yamamoto
- 219. 結果 ・GCを用いると、早期に勾配のL2-Normや最大値が小さくなる効果を確認 （ResNet50 trained on CIFAR100） ※勾配が大きすぎると、急激に重みが変化するので、収束しにくくなる
- 220. 結果 ・その結果、GCを使うことによって、Train-LossやTest-Accuracyが上昇した ・(Mini-ImageNet trained on ResNet50.他のデータもあるので論文参照のこと)
- 222. Post-Training Piecewise Linear Quantization for Deep Neural Networks ・効率よくDNNの重みを量子化するために、 長い尾を持つベル型分布を持つテンソル値を正確に近似するために、 PieceWise Linear Quantization (PWLQ) スキームを提案 ・様々なタスクにおいて優れた性能を発揮することを実験的に示した
- 226. S2DNAS: Transforming Static CNN Model for Dynamic Inference via Neural Architecture Search ・静的なCNNを動的なCNNに変換できるNAS(Neural Architecture Search)の提案 ・「動的」とは、入力の難易度に応じて計算する規模が変動するネットワーク構造 まとめた人：Masanori YANO
- 228. 結果 ・CIFAR-10及びCIFAR-100のデータセットで、提案手法と従来手法を比較 ・ResNet-20/56/110、VGG16及びMobileNetV2で、FLOPsを削減し正解率を維持
- 230. +αの情報 ・北京大学(Peking University)及びIBM China Research Laboratory ・ImageNetで評価した結果はなく、CIFAR-10/100のみの評価で査読を通過 ・動的な構造は、CVPR 2020でもRANet(Resolution Adaptive Networks)が提案 論文まとめ：http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/995 ⇒ 動的なCNNに変換するNASは、もう少し研究されて本論文が引用されるかも
- 231. ・学習の良し悪しの評価法の提案 ・学習のロス関数に対する勾配の調査法であるK-FACをレイヤーごとの学習の評価に利用 できると主張 ・この調査方法を用いてResNetにおけるBatchNormalizationは最後のLiner層の手前だけ に使うだけで良いことを確認。もともとのResNetよりも精度が向上。 Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs まとめた人：和田直己
- 235. ・Adaptive BN(Batch Normalization)による、効率的な枝刈り(Pruning)手法の提案 ・ResNet及びMobileNetV1のネットワーク構造で、有効性を確認 EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning まとめた人：Masanori YANO
- 239. +αの情報 ・project page：https://github.com/anonymous47823493/EagleEye ・Dark Matter AI Inc.(中国の企業)及び中山大学(Sun Yat-sen University)
- 240. 結果 ・単一ラベル画像 (Caltech-256 と ImageNet CLS-LOC) をセグメン テーションの学習に追加利用 ・僅かだが追加データで性能改善 (Testで0.3%) ・クローリングで収集したノイジーなデー タを追加利用 ・更に0.3%のTestの性能改善
- 241. ・新しいVision-LanguageタスクImage Captioning with Reading Comprehensionとその タスクのためのデータセットTextCapsを提案． ・SOTAな手法がTextCapsにおいてHuman精度とかなり差があることを示した． TextCaps: a Dataset for Image Captioning with Reading Comprehension まとめた人：Yue Qiu
- 242. 提案データセット・新規性 ・従来のImage captioningデータセットと比べ、TextCapsが画像中に含まれる文字の理 解、文字と視覚情報間の理解などが必要． ・他のデータセットと比べ，平均Captionが長い．Zero-shot ORC tokensがテストsetに大量 に含まれる．
- 243. 実験した手法 ・複数の既存手法及びHuman精度をBenchmarkした． ・BUTD (Bottom-up attention手法)；AoANet (Attention on Attention手法)； M4C手法 (multi-modalitiesをFuseした手法), 比較的に優勢 (構造は下図)
- 246. +αの情報 ・project page：https://textvqa.org/textcaps ・challenge page : https://textvqa.org/textcaps/challenge
- 247. ・血管, 神経膜, 道路網などの構造の描写に使う 2 値画像を生成するタスク. ・実画像の topology (ループの構造など) を学習させるために, GAN の生成器の loss に topology GAN loss を導入. ・新たに提案した topology-aware な評価指標などを用いて, 有効性を確認. TopoGAN: A Topology-Aware Generative Adversarial Network まとめた人：古川 遼
- 248. 提案手法・新規性 ・Topology GAN loss は, 実・生成画像から各々 1 次のパーシステント図を計算し, 得られ たパーシステント図の集合の間の距離を測ることで計算される. ・Topology GAN loss を用いた学習をすることで, 実画像に近い topology の構造を持った 画像を生成できるようになった.
- 249. 結果 ・5つのデータセットで, 生成画像の定量評価を行った. ・提案した loss を用いた GAN (TopoGAN) は, 既存手法より精度がよかった. ・Unbiased MMD と Betti score は新たに提案された topology-aware な評価指標.
- 250. 結果 ・5つのデータセットで, 生成画像の定性評価を行った. ・TopoGAN から生成された2値マスク画像は, よりはっきりとした境界とより完全なループを 持つ.
- 251. 結果 ・生成したマスクが, 2値セグメンテーションの downstream タスクに有効かを検証. ・実画像・生成画像・実画像+生成画像の 3 パターンでモデルを訓練. ・実画像 + 生成画像 (TopoGAN) で訓練したモデルが一番高い Dice score となった.
- 252. +αの情報 ・使用されたデータセット ・CREMI ・ISBI12 ・Retina ・CMP Facade Database ・Google Map からスクレイピングされたデータ ( Pix2Pix で用いられたもの)