Enviar búsqueda
Cargar
[DeepLearning論文読み会] Dataset Distillation
•
Descargar como PPTX, PDF
•
0 recomendaciones
•
970 vistas
Ryutaro Yamauchi
Seguir
ALBERT 社内勉強会 2018/11/15
Leer menos
Leer más
Datos y análisis
Denunciar
Compartir
Denunciar
Compartir
1 de 11
Descargar ahora
Recomendados
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
モデルアーキテクチャ観点からの高速化2019
モデルアーキテクチャ観点からの高速化2019
Yusuke Uchida
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向
Yusuke Uchida
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
Stand alone self attention in vision models
Stand alone self attention in vision models
harmonylab
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
Kazuki Maeno
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Recomendados
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
モデルアーキテクチャ観点からの高速化2019
モデルアーキテクチャ観点からの高速化2019
Yusuke Uchida
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向
Yusuke Uchida
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
Stand alone self attention in vision models
Stand alone self attention in vision models
harmonylab
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
Kazuki Maeno
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
HiPPO/S4解説
HiPPO/S4解説
Morpho, Inc.
深層学習の数理
深層学習の数理
Taiji Suzuki
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
Takahiro Kubo
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
Deep Learning JP
【DL輪読会】論文解説:Offline Reinforcement Learning as One Big Sequence Modeling Problem
【DL輪読会】論文解説:Offline Reinforcement Learning as One Big Sequence Modeling Problem
Deep Learning JP
[DL輪読会]End-to-End Object Detection with Transformers
[DL輪読会]End-to-End Object Detection with Transformers
Deep Learning JP
CV分野におけるサーベイ方法
CV分野におけるサーベイ方法
Hirokatsu Kataoka
[AI05] 目指せ、最先端 AI 技術の実活用!Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
[AI05] 目指せ、最先端 AI 技術の実活用!Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
de:code 2017
[DL輪読会]Measuring abstract reasoning in neural networks
[DL輪読会]Measuring abstract reasoning in neural networks
Deep Learning JP
Más contenido relacionado
La actualidad más candente
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
HiPPO/S4解説
HiPPO/S4解説
Morpho, Inc.
深層学習の数理
深層学習の数理
Taiji Suzuki
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
Takahiro Kubo
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
Deep Learning JP
【DL輪読会】論文解説:Offline Reinforcement Learning as One Big Sequence Modeling Problem
【DL輪読会】論文解説:Offline Reinforcement Learning as One Big Sequence Modeling Problem
Deep Learning JP
[DL輪読会]End-to-End Object Detection with Transformers
[DL輪読会]End-to-End Object Detection with Transformers
Deep Learning JP
CV分野におけるサーベイ方法
CV分野におけるサーベイ方法
Hirokatsu Kataoka
La actualidad más candente
(20)
Optimizer入門&最新動向
Optimizer入門&最新動向
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
HiPPO/S4解説
HiPPO/S4解説
深層学習の数理
深層学習の数理
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
backbone としての timm 入門
backbone としての timm 入門
Data-Centric AIの紹介
Data-Centric AIの紹介
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】論文解説:Offline Reinforcement Learning as One Big Sequence Modeling Problem
【DL輪読会】論文解説:Offline Reinforcement Learning as One Big Sequence Modeling Problem
[DL輪読会]End-to-End Object Detection with Transformers
[DL輪読会]End-to-End Object Detection with Transformers
CV分野におけるサーベイ方法
CV分野におけるサーベイ方法
Similar a [DeepLearning論文読み会] Dataset Distillation
[AI05] 目指せ、最先端 AI 技術の実活用!Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
[AI05] 目指せ、最先端 AI 技術の実活用!Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
de:code 2017
[DL輪読会]Measuring abstract reasoning in neural networks
[DL輪読会]Measuring abstract reasoning in neural networks
Deep Learning JP
LUT-Network ~本物のリアルタイムコンピューティングを目指して~
LUT-Network ~本物のリアルタイムコンピューティングを目指して~
ryuz88
Getting Started with Deep Learning using Scala
Getting Started with Deep Learning using Scala
Taisuke Oe
ae-3. ディープラーニングの基礎
ae-3. ディープラーニングの基礎
kunihikokaneko1
Cvim saisentan-6-4-tomoaki
Cvim saisentan-6-4-tomoaki
tomoaki0705
ae-11. 実データの分析,意味の抽出,外れ値の判断
ae-11. 実データの分析,意味の抽出,外れ値の判断
kunihikokaneko1
SSA-SOINN
SSA-SOINN
SOINN Inc.
ICLR2020読み会 (neural-tangents)
ICLR2020読み会 (neural-tangents)
RyuichiKanoh
NeurIPS2019参加報告
NeurIPS2019参加報告
Masanari Kimura
論文紹介:Dueling network architectures for deep reinforcement learning
論文紹介:Dueling network architectures for deep reinforcement learning
Kazuki Adachi
[DL輪読会]10分で10本の論⽂をざっくりと理解する (ICML2020)
[DL輪読会]10分で10本の論⽂をざっくりと理解する (ICML2020)
Deep Learning JP
Similar a [DeepLearning論文読み会] Dataset Distillation
(12)
[AI05] 目指せ、最先端 AI 技術の実活用!Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
[AI05] 目指せ、最先端 AI 技術の実活用!Deep Learning フレームワーク 「Microsoft Cognitive Toolkit 」...
[DL輪読会]Measuring abstract reasoning in neural networks
[DL輪読会]Measuring abstract reasoning in neural networks
LUT-Network ~本物のリアルタイムコンピューティングを目指して~
LUT-Network ~本物のリアルタイムコンピューティングを目指して~
Getting Started with Deep Learning using Scala
Getting Started with Deep Learning using Scala
ae-3. ディープラーニングの基礎
ae-3. ディープラーニングの基礎
Cvim saisentan-6-4-tomoaki
Cvim saisentan-6-4-tomoaki
ae-11. 実データの分析,意味の抽出,外れ値の判断
ae-11. 実データの分析,意味の抽出,外れ値の判断
SSA-SOINN
SSA-SOINN
ICLR2020読み会 (neural-tangents)
ICLR2020読み会 (neural-tangents)
NeurIPS2019参加報告
NeurIPS2019参加報告
論文紹介:Dueling network architectures for deep reinforcement learning
論文紹介:Dueling network architectures for deep reinforcement learning
[DL輪読会]10分で10本の論⽂をざっくりと理解する (ICML2020)
[DL輪読会]10分で10本の論⽂をざっくりと理解する (ICML2020)
Más de Ryutaro Yamauchi
SfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法について
Ryutaro Yamauchi
Structure from Motion
Structure from Motion
Ryutaro Yamauchi
Group normalization
Group normalization
Ryutaro Yamauchi
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Ryutaro Yamauchi
[論文解説]Unsupervised monocular depth estimation with Left-Right Consistency
[論文解説]Unsupervised monocular depth estimation with Left-Right Consistency
Ryutaro Yamauchi
Hybrid computing using a neural network with dynamic
Hybrid computing using a neural network with dynamic
Ryutaro Yamauchi
Más de Ryutaro Yamauchi
(6)
SfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法について
Structure from Motion
Structure from Motion
Group normalization
Group normalization
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[論文解説]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[論文解説]Unsupervised monocular depth estimation with Left-Right Consistency
[論文解説]Unsupervised monocular depth estimation with Left-Right Consistency
Hybrid computing using a neural network with dynamic
Hybrid computing using a neural network with dynamic
[DeepLearning論文読み会] Dataset Distillation
1.
Dataset Distillation Deep Learning
論文読み会 2018/11/15 山内隆太郎
2.
書誌情報 • 著者:不明 • ICLR2019
提出済み • 査読中(https://openreview.net/forum?id=Sy4lojC9tm) • 採択されるかは微妙なところ
3.
Dataset Distillation
4.
Dataset Distillation • データセットを少数の画像に蒸留(distill)する •
蒸留データセットを使って学習させるとオリジナルデータセッ トを使った場合に近い精度が出る • 例) MNIST + LeNet オリジナル(60,000枚):99% 蒸留データ(10枚) :94% • 蒸留データセットでの学習は数ステップで収束
5.
Method
6.
Experiments 以下の二通りの設定で実験している 1. ネットワークの初期値を固定 • MNIST
:12.9% → 93.76%(全データ使うと99%) • CIFAR10:8.82% → 54.03%(全データ使うと80%) 2. ネットワークの初期値を分布pからランダムサンプリング • MNIST : 77.28% ± 4.45% • CIFAR10: 36.79% ± 1.18%
7.
Distilled Images
8.
Distilled Images
9.
まだちゃんと読めてないところ • §3.3の理論的解析 • §3.4の複数step,
複数epochへの拡張
10.
疑問 • 蒸留データセットはNNのパラメタ𝜃∗を含んでいるのでは? • LeNetのパラメタ数は約6万、28*28*10=7,840なので、対称性とか考 えるとあり得る気がする •
あるNNを使って作った蒸留データを別のアーキテクチャのNN の学習に使うとどうなるか?
11.
感想 • データセットをOptimizeするという発想は新しい • データ・重み・特徴表現の区別はしょせん恣意的なものなので、これ らの垣根を超える研究は今後増えてくると思われる •
Dynamic Convolution というテクニックがすでにある(convolution の kernel を ニューラルネットで生成) • https://openreview.net/forum?id=SkVhlh09tX • 蒸留データを解析することでなにか新しいことがわかるかも? • 直接の応用先はいまのところそんなになさそう • Fast Domain Adaptation • Fast Data Poisoning Attack などを提案してる。
Descargar ahora