【DL輪読会】WIRE: Wavelet Implicit Neural Representations

•Download as PPTX, PDF•

0 likes•756 views

Deep Learning JP

2023/1/20 Deep Learning JP http://deeplearning.jp/seminar-2/

Technology

DEEP LEARNING JP
[DL Papers]
“WIRE: Wavelet Implicit Neural Representations”
Presenter: Takahiro Maeda D2
(Toyota Technological Institute)
http://deeplearning.jp/

目次
1. 書誌情報
2. 概要
3. 研究背景
4. 提案手法
5. 実験結果
6. 考察・所感
2

1. 書誌情報
紹介論文
タイトル: WIRE: Wavelet Implicit Neural Representations
出典: ArXiv (2023. 1)
著者: Vishwanath Saragadam et. al.
所属: Rice University
選書理由
NeRFなどのImplicit Neural Representation (INR) と，
活性化関数との相性について初見だったため
※引用は最後にまとめてあります．特に明示が無い場合は紹介論文から引用
3

2. 概要
4
WIRE
• NeRFなどの画像用INRの活性化関数にWaveletを提案
• Waveletが画像表現に適しているため，正しい帰納バイアスを
獲得
• ノイズ除去，SR，任意視点生成などで精度向上

3. 研究背景
5
• Implicit Neural Representations （INR)
近年，INRの性能は，活性化関数に大きく左右されるらしいと
判明
[1]
• Grid-based 手法
• INR (NeRF)
𝜃
(座標）
MLP
重み保持
グリッドデータ保持
• 保持すべきメモリが大き
い
• 解像度が限定される
• コンパクトな重みのみを
保持
• 任意解像度で生成可
[2]

3. 研究背景
6
• 活性化関数とINRの性能
– ReLU (default NeRF) 処理重，精度悪，ノイズ耐性悪
– Sine波 (SIREN[3])，Gaussian[4] 処理軽，精度良，ノイズ耐性悪
• 直線で自然信号を近似するため，より層を重ねる必要
• 細部の再現には，positional encodingなどの追加の工夫必要
• 周期的な信号に強
い
• 局所的な信号に強い
• 曲線を持つため，少ない層数で自然信号を近似
可
• 表現力が高いため，ノイズ信号も近似してしま
う

3. 研究背景
7
• 連続Wavelet変換
– 局所的な波の集合によって，信号を時間-周波数空間へ変換
– 非定常な信号（現実におけるほぼすべての信号）の解析によく用いられる
– JPEGの上位互換であるJPEG2000でも用いられる
[5]
Wavelet

4. 提案手法
8
• WIRE: Wavelet Implicit Neural Representations
– INRの活性化関数に Waveletを提案
– 局所的，周期的信号どちらにも対応可
– JPEG2000のようにWaveletが画像表現に適しているため，
正しい帰納バイアスを獲得できノイズへの頑健性向上
（これ以上の説明は無，デノイズでの精度向上で証明）
– ネットワーク内部では，Waveletを複素数のまま処理する
処理軽，精度良，ノイズ耐性良

5. 実験結果
9
• パラメータ選択
sine波，Gaussian単体よりも高い性能

6. 考察・所感
13
• 所感
– タスクごとに，現状より適したモデルは存在するはず
– INRの領域でも，モデル構造の最適化が進んでいる印象
– MLPが現段階では採用されているが，置き換わっていくのかもしれない

引用
14
[1] 図 http://www.sanko-shoko.net/note.php?id=js3z
[2] Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance
fields for view synthesis." Communications of the ACM 65.1 (2021): 99-
106.
[3] Sitzmann, Vincent, et al. "Implicit neural representations with periodic
activation functions." Advances in Neural Information Processing
Systems 33 (2020): 7462-7473.

引用
15
[4] Ramasinghe, Sameera, and Simon Lucey. "Beyond periodicity:
Towards a unifying framework for activations in coordinate-
mlps." European Conference on Computer Vision. Springer, Cham, 2022.
[5] https://friedrice-
mushroom.hatenablog.com/entry/2019/08/31/113915

What's hot

SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII

近年のHierarchical Vision TransformerYusuke Uchida

【メタサーベイ】Video Transformercvpaper. challenge

SSII2022 [SS1] ニューラル3D表現の最新動向〜ニューラルネットでなんでも表せる？？〜SSII

【メタサーベイ】Vision and Language のトップ研究室/研究者cvpaper. challenge

[DL輪読会]Flow-based Deep Generative ModelsDeep Learning JP

自己教師学習（Self-Supervised Learning）cvpaper. challenge

You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話Yusuke Uchida

【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)Deep Learning JP

【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)Deep Learning JP

【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"Deep Learning JP

[DL輪読会]SlowFast Networks for Video RecognitionDeep Learning JP

[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP

Masked Autoencoders Are Scalable Vision LearnersGuoqingLiu9

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

【DL輪読会】The Forward-Forward Algorithm: Some PreliminaryDeep Learning JP

【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? Deep Learning JP

[DL輪読会]Attentive neural processesDeep Learning JP

[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisDeep Learning JP

【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics

What's hot (20)

SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向

近年のHierarchical Vision Transformer

【メタサーベイ】Video Transformer

SSII2022 [SS1] ニューラル3D表現の最新動向〜ニューラルネットでなんでも表せる？？〜

【メタサーベイ】Vision and Language のトップ研究室/研究者

[DL輪読会]Flow-based Deep Generative Models

自己教師学習（Self-Supervised Learning）

You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話

【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)

【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)

【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"

[DL輪読会]SlowFast Networks for Video Recognition

[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing

Masked Autoencoders Are Scalable Vision Learners

【メタサーベイ】基盤モデル / Foundation Models

【DL輪読会】The Forward-Forward Algorithm: Some Preliminary

【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?

[DL輪読会]Attentive neural processes

[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features

More from Deep Learning JP

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP

【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP

【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP

【DL輪読会】マルチモーダル LLMDeep Learning JP

【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP

【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP

【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP

【DL輪読会】Hopfield network　関連研究についてDeep Learning JP

【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP

【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP

【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP

【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "Deep Learning JP

【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP

【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"Deep Learning JP

【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...Deep Learning JP

【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...Deep Learning JP

【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...Deep Learning JP

【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP

More from Deep Learning JP (20)

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners

【DL輪読会】事前学習用データセットについて

【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...

【DL輪読会】Zero-Shot Dual-Lens Super-Resolution

【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv

【DL輪読会】マルチモーダル LLM

【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...

【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition

【DL輪読会】Can Neural Network Memorization Be Localized?

【DL輪読会】Hopfield network　関連研究について

【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )

【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...

【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"

【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "

【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models

【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"

【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...

【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...

【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...

【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...

【DL輪読会】WIRE: Wavelet Implicit Neural Representations

1. DEEP LEARNING JP [DL Papers] “WIRE: Wavelet Implicit Neural Representations” Presenter: Takahiro Maeda D2 (Toyota Technological Institute) http://deeplearning.jp/

2. 目次 1. 書誌情報 2. 概要 3. 研究背景 4. 提案手法 5. 実験結果 6. 考察・所感 2

3. 1. 書誌情報紹介論文タイトル: WIRE: Wavelet Implicit Neural Representations 出典: ArXiv (2023. 1) 著者: Vishwanath Saragadam et. al. 所属: Rice University 選書理由 NeRFなどのImplicit Neural Representation (INR) と，活性化関数との相性について初見だったため ※引用は最後にまとめてあります．特に明示が無い場合は紹介論文から引用 3

4. 2. 概要 4 WIRE • NeRFなどの画像用INRの活性化関数にWaveletを提案 • Waveletが画像表現に適しているため，正しい帰納バイアスを獲得 • ノイズ除去，SR，任意視点生成などで精度向上

5. 3. 研究背景 5 • Implicit Neural Representations （INR) 近年，INRの性能は，活性化関数に大きく左右されるらしいと判明 [1] • Grid-based 手法 • INR (NeRF) 𝜃 (座標） MLP 重み保持グリッドデータ保持 • 保持すべきメモリが大きい • 解像度が限定される • コンパクトな重みのみを保持 • 任意解像度で生成可 [2]

6. 3. 研究背景 6 • 活性化関数とINRの性能 – ReLU (default NeRF) 処理重，精度悪，ノイズ耐性悪 – Sine波 (SIREN[3])，Gaussian[4] 処理軽，精度良，ノイズ耐性悪 • 直線で自然信号を近似するため，より層を重ねる必要 • 細部の再現には，positional encodingなどの追加の工夫必要 • 周期的な信号に強い • 局所的な信号に強い • 曲線を持つため，少ない層数で自然信号を近似可 • 表現力が高いため，ノイズ信号も近似してしまう

7. 3. 研究背景 7 • 連続Wavelet変換 – 局所的な波の集合によって，信号を時間-周波数空間へ変換 – 非定常な信号（現実におけるほぼすべての信号）の解析によく用いられる – JPEGの上位互換であるJPEG2000でも用いられる [5] Wavelet

8. 4. 提案手法 8 • WIRE: Wavelet Implicit Neural Representations – INRの活性化関数に Waveletを提案 – 局所的，周期的信号どちらにも対応可 – JPEG2000のようにWaveletが画像表現に適しているため，正しい帰納バイアスを獲得できノイズへの頑健性向上（これ以上の説明は無，デノイズでの精度向上で証明） – ネットワーク内部では，Waveletを複素数のまま処理する処理軽，精度良，ノイズ耐性良

9. 5. 実験結果 9 • パラメータ選択 sine波，Gaussian単体よりも高い性能

10. 5. 実験結果 10 • denoising

11. 5. 実験結果 11 • Super Resolution

12. 12 • Occupancy

13. 6. 考察・所感 13 • 所感 – タスクごとに，現状より適したモデルは存在するはず – INRの領域でも，モデル構造の最適化が進んでいる印象 – MLPが現段階では採用されているが，置き換わっていくのかもしれない

14. 引用 14 [1] 図 http://www.sanko-shoko.net/note.php?id=js3z [2] Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis." Communications of the ACM 65.1 (2021): 99- 106. [3] Sitzmann, Vincent, et al. "Implicit neural representations with periodic activation functions." Advances in Neural Information Processing Systems 33 (2020): 7462-7473.

15. 引用 15 [4] Ramasinghe, Sameera, and Simon Lucey. "Beyond periodicity: Towards a unifying framework for activations in coordinate- mlps." European Conference on Computer Vision. Springer, Cham, 2022. [5] https://friedrice- mushroom.hatenablog.com/entry/2019/08/31/113915

Editor's Notes

という論文を紹介します．
まず，書誌情報です．

【DL輪読会】WIRE: Wavelet Implicit Neural Representations

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

More from Deep Learning JP

More from Deep Learning JP (20)

【DL輪読会】WIRE: Wavelet Implicit Neural Representations

Editor's Notes