Enviar búsqueda
Cargar
Large scale gan training for high fidelity natural
•
Descargar como PPTX, PDF
•
6 recomendaciones
•
18,925 vistas
K
KCS Keio Computer Society
Seguir
These slides were presented in Yagami-ai seminar.
Leer menos
Leer más
Tecnología
Vista de diapositivas
Denunciar
Compartir
Vista de diapositivas
Denunciar
Compartir
1 de 48
Descargar ahora
Recomendados
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
Kento Doi
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
Deep Learning JP
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Shogo Muramatsu
Recomendados
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
StyleGAN解説 CVPR2019読み会@DeNA
StyleGAN解説 CVPR2019読み会@DeNA
Kento Doi
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
[DL輪読会]逆強化学習とGANs
[DL輪読会]逆強化学習とGANs
Deep Learning JP
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Shogo Muramatsu
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
Variational AutoEncoder
Variational AutoEncoder
Kazuki Nitta
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化
Shunsuke Ono
新分野に飛び入って半年で業績を作るには
新分野に飛び入って半年で業績を作るには
Asai Masataro
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
[DL輪読会]Temporal Abstraction in NeurIPS2019
[DL輪読会]Temporal Abstraction in NeurIPS2019
Deep Learning JP
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Masahiro Suzuki
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
Deep Learning JP
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
Deep Learning JP
1次式とノルムで構成された最適化問題とその双対問題
1次式とノルムで構成された最適化問題とその双対問題
京都大学大学院情報学研究科数理工学専攻
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
Ryo Iwaki
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
Naoki Hayashi
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
Más contenido relacionado
La actualidad más candente
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
Variational AutoEncoder
Variational AutoEncoder
Kazuki Nitta
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化
Shunsuke Ono
新分野に飛び入って半年で業績を作るには
新分野に飛び入って半年で業績を作るには
Asai Masataro
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
[DL輪読会]Temporal Abstraction in NeurIPS2019
[DL輪読会]Temporal Abstraction in NeurIPS2019
Deep Learning JP
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Masahiro Suzuki
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
Deep Learning JP
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
Deep Learning JP
1次式とノルムで構成された最適化問題とその双対問題
1次式とノルムで構成された最適化問題とその双対問題
京都大学大学院情報学研究科数理工学専攻
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
Ryo Iwaki
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
La actualidad más candente
(20)
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Variational AutoEncoder
Variational AutoEncoder
深層生成モデルと世界モデル
深層生成モデルと世界モデル
信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化
新分野に飛び入って半年で業績を作るには
新分野に飛び入って半年で業績を作るには
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
[DL輪読会]Temporal Abstraction in NeurIPS2019
[DL輪読会]Temporal Abstraction in NeurIPS2019
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
1次式とノルムで構成された最適化問題とその双対問題
1次式とノルムで構成された最適化問題とその双対問題
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
Similar a Large scale gan training for high fidelity natural
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
Naoki Hayashi
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)
Morpho, Inc.
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
CMSI計算科学技術特論A (2015) 第12回 古典分子動力学法の高速化
CMSI計算科学技術特論A (2015) 第12回 古典分子動力学法の高速化
Computational Materials Science Initiative
あなたの心にBridgeSampling
あなたの心にBridgeSampling
daiki hojo
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
充足可能性問題のいろいろ
充足可能性問題のいろいろ
Hiroshi Yamashita
El text.tokuron a(2019).yoshii190704
El text.tokuron a(2019).yoshii190704
RCCSRENKEI
Non-autoregressive text generation
Non-autoregressive text generation
nlab_utokyo
ベイズ統計によるデータ解析
ベイズ統計によるデータ解析
Kunihiro Hisatsune
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
Eiji Uchibe
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
Deep Learning JP
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Naoki Hayashi
Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)
. .
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
Data assim r
Data assim r
Xiangze
GARCHSKモデルを用いた条件付き固有モーメントの実証分析
GARCHSKモデルを用いた条件付き固有モーメントの実証分析
Kei Nakagawa
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
Similar a Large scale gan training for high fidelity natural
(20)
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
【招待講演】パラメータ制約付き行列分解のベイズ汎化誤差解析【StatsML若手シンポ2020】
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
CMSI計算科学技術特論A (2015) 第12回 古典分子動力学法の高速化
CMSI計算科学技術特論A (2015) 第12回 古典分子動力学法の高速化
あなたの心にBridgeSampling
あなたの心にBridgeSampling
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
充足可能性問題のいろいろ
充足可能性問題のいろいろ
El text.tokuron a(2019).yoshii190704
El text.tokuron a(2019).yoshii190704
Non-autoregressive text generation
Non-autoregressive text generation
ベイズ統計によるデータ解析
ベイズ統計によるデータ解析
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Stanの紹介と応用事例(age heapingの統計モデル)
Stanの紹介と応用事例(age heapingの統計モデル)
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Data assim r
Data assim r
GARCHSKモデルを用いた条件付き固有モーメントの実証分析
GARCHSKモデルを用いた条件付き固有モーメントの実証分析
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Más de KCS Keio Computer Society
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
KCS Keio Computer Society
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
KCS Keio Computer Society
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
KCS Keio Computer Society
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
KCS Keio Computer Society
Control by deep learning
Control by deep learning
KCS Keio Computer Society
深層学習 第6章
深層学習 第6章
KCS Keio Computer Society
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
KCS Keio Computer Society
文章生成の未解決問題
文章生成の未解決問題
KCS Keio Computer Society
Word2vec alpha
Word2vec alpha
KCS Keio Computer Society
テンソル代数
テンソル代数
KCS Keio Computer Society
Hindsight experience replay
Hindsight experience replay
KCS Keio Computer Society
Kml 輪読514
Kml 輪読514
KCS Keio Computer Society
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
KCS Keio Computer Society
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 2~3章 輪読
KCS Keio Computer Society
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
KCS Keio Computer Society
Soft Actor Critic 解説
Soft Actor Critic 解説
KCS Keio Computer Society
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
KCS Keio Computer Society
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
KCS Keio Computer Society
Graph Convolutional Network 概説
Graph Convolutional Network 概説
KCS Keio Computer Society
AIを作ることと理解すること
AIを作ることと理解すること
KCS Keio Computer Society
Más de KCS Keio Computer Society
(20)
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
Control by deep learning
Control by deep learning
深層学習 第6章
深層学習 第6章
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
文章生成の未解決問題
文章生成の未解決問題
Word2vec alpha
Word2vec alpha
テンソル代数
テンソル代数
Hindsight experience replay
Hindsight experience replay
Kml 輪読514
Kml 輪読514
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 2~3章 輪読
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
Soft Actor Critic 解説
Soft Actor Critic 解説
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
Graph Convolutional Network 概説
Graph Convolutional Network 概説
AIを作ることと理解すること
AIを作ることと理解すること
Último
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Último
(10)
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Large scale gan training for high fidelity natural
1.
GANについて KCS AI班 理工学部学士3年 石井
智也 渡邉 寛悠 佐久間 拓哉
2.
1. GANについての説明 2. DCGAN 3.
BEGAN 4. SNGAN 5. SAGAN 自己紹介 石井智也 佐久間拓哉 渡邉寛悠 2019/1/26 2
3.
1.生成モデルとGANの概説 2019/1/26 3 担当:石井
4.
GANとは • 生成モデルと呼ばれる機械学習のモデルの1つ • 潜在変数を𝑧,
データを𝑥のように表した際𝑝(𝑧|𝑥)のような 形になるものは,データから潜在次元への分布をもとめ る確率モデルで,潜在変数 をラベルとみなすことで, いわゆる識別モデルとなる. • 対して生成モデルは𝑝(𝑥|𝑧)の表現を学習して,潜在分布か らデータを作成する. • GANは敵対的生成ネットワーク(Generative Adversarial Nets)の略称で2014年にIan Goodfellow が考案 2019/1/26 4
5.
生成モデルの利点 • 新規データのサンプリングができる • それはそう •
欠損値の補完 • 入力にノイズを加えたものに対し,デノイジングを学習するDAE(デノ イジングオートエンコーダ)といったものも存在する. • 欠損値 𝑥から本来の値を学習することによって,ノイズを除去するよう な〝ベクトル場〟を学習することができる • 生成結果が面白い • 学習のモチベーション的には結構重要(かも) 2019/1/26 5
6.
生成モデルの種類 名称 長所 短所 自己回帰モデル
生成画像は鮮明 学習が遅い 変分オートエンコーダ (VAE) 潜在変数の確率分布 が求まる 輪郭がぼやけやすい GANs 画像が鮮明 なものもある 学習が不安定 2019/1/26 6
7.
1枚で分かりそうなGAN(まじめ) • Min-Maxゲーム • min 𝐺 max 𝐷 𝔼
𝑥~𝑝 𝑑𝑎𝑡𝑎(𝑥) log 𝐷 𝑥 + 𝔼 𝑧~𝑝 𝑔𝑒𝑛(𝑧) log 1 − 𝐷 𝐺 𝑧 Discriminatorを本来の画像を 「本来の画像」として,認識 させる(最大化)ように学習 Discriminatorを生成画像を「偽物の画像」 として,認識させるよう(最大化)に学習 GeneratorはうまくDiscriminatorを だますようなサンプルを作らせる Discriminatorは正誤を正しく判別 できるように学習 2019/1/26 7
8.
1枚で分かりそうなGAN(いらすとや) 𝐺 𝐷 潜在変数𝑧 Generator 𝐺(𝑧) 𝑥 Discriminator こいつは偽物や! こっちは本物っぽい 2019/1/26 8
9.
1枚で分かるGANの進化(2014~2018) • Goodfellow氏のツイート 2019/1/26 9
10.
ざっと見るGANの歴史 • 2014 • Generative
Adversarial Networks • 2015 • DCGAN • Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks • 2016 • LSGAN (誤差関数:二乗誤差) • 2017 • Wasserstein-GAN(誤差関数:Earth-Mover距離) • WGAN-GP(誤差関数:上のヤツ+勾配への罰則) アーキテクチャの提案 CNNを学習に使用 誤差関数の試行錯誤 2019/1/26 10
11.
ざっと見るGANの歴史 • 2016 • Pix2Pix •
2017 • CycleGAN • Progressive-Growing GAN • サイズをだんだん大きくして高解像度の 画像を生成しよう! • 2018 • Spectral-Normalization GAN • Self-Attention GAN 画像データ→画像生成 高画質化 学習の安定化...? 2019/1/26 11
12.
2.DCGAN 2019/1/26 12 担当:佐久間
13.
GANの問題点 • 収束性 • モード崩壊 •
勾配消失 →学習が不安定で高解像度の画像を生成することが難しい CNNを利用しても高解像画像の生成は難しかった 2019/1/26 13
14.
DCGAN(Deep Convolutional GAN) •
DCGANはCNNを利用したGANのモデル • 学習をうまく進めるために様々なテクニックを用いている Radford et al. (2015)2019/1/26 14
15.
DCGANのテクニック① プーリング層を廃止 • Discriminatorではストライド2の畳み込みに置き換える • Generatorではfractionally-strided
convolutionでアップサンプ リング →ダウンサンプリング/アップサンプリングの重みを自ら 学習させる 2019/1/26 15
16.
DCGANのテクニック② 全結合層を廃止 • Discriminatorでglobal average
poolingに置き換える →パラメータが無くなることで過学習を防ぐ 2019/1/26 16
17.
global average pooling •
CNNの特徴マップをそれぞれクラスに割り当てる • 各特徴マップの平均によるベクトルをソフトマックス •パラメータが減るため過学習を抑制することができる •次元が減るためメモリの節約にもなる https://elix-tech.github.io/ja/2017/02/06/gan.html#dcgan2019/1/26 17
18.
DCGANのテクニック③ Batch Normalizationを利用 • Discriminatorの入力以外で適応 →パラメータの初期値に依存しにくくなる 勾配損失・爆発を防ぐ 2019/1/26
18
19.
Batch Normalization 𝑚個からなるミニバッチ𝐵 =
{𝑥1, … , 𝑥 𝑚}と学習されたパラメータ 𝛾, 𝛽に対して、ミニバッチ内での平均と分散を求める。 𝜇 𝐵 = 1 𝑚 𝑖=1 𝑚 𝑥𝑖 𝜎 𝐵 2 = 1 𝑚 𝑖=1 𝑚 𝑥𝑖 − 𝜇 𝐵 2 これらを使い、ミニバッチの各要素を次のように変換する 𝑥𝑖 = 𝑥𝑖 − 𝜇 𝜎 𝐵 2 + 𝜖 𝑦𝑖 = 𝛾 𝑥𝑖 + 𝛽 この手続きによって得られた{𝑦𝑖, … , 𝑦 𝑚}をBatch Normalizationの 出力とする 2019/1/26 19
20.
DCGANのテクニック④ Leaky ReLUを利用 • Generatorの出力層以外で適応 →での学習も可能にする Leaky
ReLU 𝑓 𝑥 = max(𝛼𝑥, 𝑥) DCGANでは𝛼 = 0.2 2019/1/26 20
21.
結果 2019/1/26 21
22.
3.BEGAN 2019/1/26 22 担当:渡邉
23.
2019/1/26 23
24.
2019/1/26 24
25.
2019/1/26 25
26.
2019/1/26 26
27.
2019/1/26 27
28.
2019/1/26 28
29.
2019/1/26 29
30.
2019/1/26 30
31.
参考文献等 • https://elix-tech.github.io/ja/2017/02/06/gan.html#dcgan • http://musyoku.github.io/2017/04/16/Boundary-Equilibrium- Generative-Adversarial-Networks/ •
https://qiita.com/underfitting/items/9c92be2d8ea42c612e88 2019/1/26 31
32.
4.Spectral Normalization GAN arXiv:1802.05957 2019/1/26
32 担当:石井
33.
SNGANの概要 • PFN(Preferred Networks)の宮戸氏+NII(国立情報学研究所)の吉田氏の論文 •
行列𝑊を最大特異値(=𝐿2ノルム)で割ることでLipschitz連続性を満たすよ うにさせ,Lipschitz定数をコントロールし安定性の向上を図った • この正規化層はDiscriminatorのみに設けてある. 2019/1/26 33
34.
Lipschitz連続ってなんだっけ • 写像𝑓の任意のドメインの2点𝑥, 𝑦に対して,作用前と作用後の 距離を定数𝐾で抑えられるときLipschitz連続(K-Lipschitz)という •
ちなみにこの時の𝐾はLipschitz定数と呼ばれる ∀𝑥, ∀𝑦, 𝑓 𝑥 − 𝑓 𝑦 2 ≤ 𝐾 𝑥 − 𝑦 2 • 入力値の微小摂動に対して,出力の変化が微小であることが保証されてい るため機械学習/深層学習分野では,小さな修正でこの条件を達成できる ようになることも相まってよく使われている. 2019/1/26 34
35.
行列のノルム • 集合𝑋の任意元𝑥に対し大きさとして扱える条件が満たされるような 𝑥
∈ ℝ1が定義され ているとき| 𝑥 |を𝑥のノルムという.(長さの一般化) • ベクトルの𝐿2ノルムはユークリッド距離に等しい • 行列の𝐿 𝑝ノルムは以下のように定義される 𝐴 𝑝 = sup 𝒙≠𝟎 𝐴𝒙 𝑝 𝒙 𝑝 = sup 𝒙 𝑝 =1 𝐴𝒙 𝑝 2019/1/26 35
36.
行列のノルム • 行列の𝐿2ノルムはスペクトルノルム(Spectral Norm)と呼ばれている •
先ほどの式は言い換えてしまえば単位ベクトルの入力に対する出力の最も大きく変形す る長さであるといえる • 𝑝 = 2のとき,直感的にこれは最大特異値(正方行列なら最大固有値)とわかる 𝐴 𝒙 ∈ 𝒙| 𝒙 2 = 1 𝐴𝒙 𝐴 2 2019/1/26 36
37.
Lipschitzノルム • Lipschitz連続は定義から任意元𝑥に対する勾配の𝐿2ノルムの 上界であるといえる.(∀𝑥, 𝑓
𝑥 + Δ𝑥 − 𝑓 𝑥 2 / Δ𝑥 2 ≤ 𝐾) • これを 𝑓 𝐿𝑖𝑝 のように表す.このノルムは劣乗法性( 𝑓 ∘ 𝑔 𝐿𝑖𝑝 ≤ 𝑓 𝐿𝑖𝑝 ⋅ 𝑔 𝐿𝑖𝑝 )が定義から成り立つ(証明略)ので,NNの𝑙層- 𝑙 + 1 層間の作用を ℎ𝑙 → 𝑊ℎ+1ℎ𝑙 𝐿𝑖𝑝 と表現し𝑙層目の活性化関数を| 𝑎𝑙 |と表せば,活性化 層が1-Lipschitzであるとき, 𝐿 層あるNNの射影𝐹のLipschitz Normは 各々の層の間の作用のLipschitz Normの総乗以下となる. 𝐹 𝐿𝑖𝑝 ≤ 𝑙=0 𝐿 ℎ𝑙 → 𝑊ℎ+1ℎ𝑙 𝐿𝑖𝑝 2019/1/26 37
38.
Lipschitzノルム • 射影 ℎ𝑙
→ 𝑊ℎ+1ℎ𝑙 は線形変換なのでこのLipschitz Normは 𝑊ℎ+1 2 である.したがって,各々の 𝑊ℎ+1 を𝐿2ノルムで割る ことで層の射影を1-Lipschitzに抑えることができるようになる • 結果としてNN全体のLipschitz Normが1以下に収まるといえる 𝐹 𝐿𝑖𝑝 ≤ 𝑙=0 𝐿 ℎ𝑙 → 𝑊ℎ+1 ℎ𝑙 𝐿𝑖𝑝 ≤ 1 2019/1/26 38
39.
結果 ピザ(論文内の例) 美少女(自分の実装の例) 2019/1/26 39
40.
5. Self-Attention GAN arXiv:1805.08318 2019/1/26
40 担当:石井
41.
Self-Attention GANの要点 • Spectrum
NormをGeneratorにも適用した • Two-Timescale Update RuleによってGANの学習速度が向上す ることが判明した • TTUR:GとDで異なる学習率を用いる • Arxiv:1706.08500 • 機械翻訳等で用いられるようなSelf-Attention層を考案した • 当時のSoTAを達成! 2019/1/26 41
42.
CNN層の問題点 • CNNはカーネルを走査的に適用するため,局所的受容野を持つ • そのため,大局的な受容野を持つためには何層も層を重ねる必 要がある. •
別の選択肢としてカーネルの大きさを大きくするという選択肢がある が,これでは局所的な畳込みによって得られる恩恵を失ってしまう • 3x3畳み込み層では物体に対して局所的なエッヂに対して反応する受容野を持つ ことが見込めるが13x13畳込み層ではこういった部分に対する反応が起きないか もしれない • 3x3を5回適用することと13x13を一回適用するとでは計算量の観点からも,局所 性の観点からでも性能が低下することが懸念される. • Self-Attention層により,大局的受容野を効率的に持つことが できる 2019/1/26 42
43.
Self-Attention機構 2019/1/26 43 • クエリが𝑓
𝑥 ,キーを𝑔(𝑥),バリューがℎ(𝑥)の辞書に対応している • 入力をℝ 𝐶×𝑁の形にする. • 論文中では𝑓 𝑥 = 𝑊𝑓 𝑥, 𝑊𝑓 ∈ ℝ 𝐶 8 ×𝐶 , 𝑔 𝑥 = 𝑊𝑔 𝑥, 𝑊𝑔 ∈ ℝ 𝐶 8 ×𝐶 で1x1畳み込み層で写像を定義 している • 𝑓 𝑥 の出力の転置と, 𝑔 𝑥 の出力を掛けて,ソフトマックスをする(行列𝜷とする) • 図中のAttention Mapに対応 𝑞𝑢𝑒𝑟𝑦と𝑘𝑒𝑦の類似度 正規化
44.
Self-Attention機構 2019/1/26 44 • 𝑓,
𝑔でどの画素とどの画素が似ているかを計算することができる. • 最後にℎ 𝑥 = 𝑊ℎ 𝑥, 𝑊ℎ ∈ ℝ 𝐶×𝐶をAttention Mapに掛ける. • 結果𝜎 𝑓 𝑥 𝑇 𝑔 𝑥 ℎ(𝑥)という演算と通して大局的受容野を持たせるように試みている • Self-Attentionの利点は下の隠れ層の全位置を参照できる点にある.
45.
Self-Attention機構 2019/1/26 45 • Self-Attentionの出力を𝑜として,もともとの入力𝑥に対して重み付き和を出力する •
𝑦 = 𝛾𝑜 + 𝑥(𝛾は0で初期化する) • 𝛾を学習パラメータとすることで次第にSelf-Attention機構が大局性を持って学習できる ようになる
46.
Self-Attention機構 2019/1/26 46 • 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛
𝑀𝑎𝑝の出力の例 • 一番左の画像のRGBに対応するAttentionMapが右の3つの画像である. • 色が似ている点に反応しなおかつ,長距離でも反応できていることが分かる.
47.
学習結果 2019/1/26 47 FIDはGANの精度(質)の評価 (低いほどGood) ISはGANの多様性の評価 (高いほどGood)
48.
おわり • 佐久間君が発表してくれなくて寂しかったです 2019/1/26 48
Descargar ahora