Enviar búsqueda
Cargar
Maxout networks
•
20 recomendaciones
•
11,827 vistas
Junya Saito
Seguir
論文紹介
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 12
Recomendados
数学パワーが世界を変える2020発表資料
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
MIRU2020チュートリアル講演資料
深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点
Taiji Suzuki
第五回Tokyo.Scipyでのトーク資料です。
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成
Nagi Teramo
PRML上巻勉強会 at 東京大学の資料です 詳細:https://www.facebook.com/PRML.Tokyo
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
2022/03/25 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
大阪大学夏季集中講義「データ科学特論I」 深層学習の数理を「表現能力」「汎化能力」「最適化能力」について解説
深層学習の数理
深層学習の数理
Taiji Suzuki
SSII2019 オーガナイズドセッション3「深層学習の高速化 ~高速チップ、分散学習、軽量モデル~」 6月14日(金) 10:35〜12:05 (メインホール)
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
Wang, Ziyu, et al. "Dueling network architectures for deep reinforcement learning." Proceedings of The 33rd International Conference on Machine Learning, PMLR 48:1995-2003, 2016.
論文紹介:Dueling network architectures for deep reinforcement learning
論文紹介:Dueling network architectures for deep reinforcement learning
Kazuki Adachi
Recomendados
数学パワーが世界を変える2020発表資料
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
MIRU2020チュートリアル講演資料
深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点
Taiji Suzuki
第五回Tokyo.Scipyでのトーク資料です。
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成
Nagi Teramo
PRML上巻勉強会 at 東京大学の資料です 詳細:https://www.facebook.com/PRML.Tokyo
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
2022/03/25 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
大阪大学夏季集中講義「データ科学特論I」 深層学習の数理を「表現能力」「汎化能力」「最適化能力」について解説
深層学習の数理
深層学習の数理
Taiji Suzuki
SSII2019 オーガナイズドセッション3「深層学習の高速化 ~高速チップ、分散学習、軽量モデル~」 6月14日(金) 10:35〜12:05 (メインホール)
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
Wang, Ziyu, et al. "Dueling network architectures for deep reinforcement learning." Proceedings of The 33rd International Conference on Machine Learning, PMLR 48:1995-2003, 2016.
論文紹介:Dueling network architectures for deep reinforcement learning
論文紹介:Dueling network architectures for deep reinforcement learning
Kazuki Adachi
ベイズ最適化を中心とした能動学習のためのモデリングやアルゴリズムの解説,適用例の紹介
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
SVMの基本的な数学を説明しています. ブログにもまとめてますので,どうぞ https://kenyu-life.com/2019/02/11/support_vector_machine/ 動画解説してます 「https://www.youtube.com/watch?v=TNOC0vyIL-g」
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
広島ベイズ塾で発表した,負の二項分布についての資料です。
負の二項分布について
負の二項分布について
Hiroshi Shimizu
2017年5月 会津大学にて行った『深層学習』勉強会第5回目のスライドです。ボルツマンマシンについて説明しました。
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
2021/10/15 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP
2017/8/21 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#13
PRML輪読#13
matsuolab
IIBMP2016(第五回生命医薬情報学連合大会)での招待講演の内容です。深層学習を生成過程の問題としてとらえて、なぜ表現を学習できるのかを説明した後に,深層生成モデル(VAE, GAN, 少しだけ自己回帰モデル, エネルギーモデル, モーメントマッチングモデルを紹介します。
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
Preferred Networks
2018/11/30 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
Deep Learning JP
2022/9/2 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
2017年2月17日に行われた統計数理研究所での研究集会『因果推論の基礎』での講演内容です(配布用の改変あり)。スライドだけだと口頭での説明がないので分かりにくい部分もあるかもしれません。 [http://www.ism.ac.jp/events/2017/meeting0216_17.html:title]
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
Faster Python Meet up LT会 #1(https://faster-python.connpass.com/event/124770/) で使った資料です。
Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化
Yusuke Fujimoto
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
テンソル代数、テンソル分解の基礎、ちょっとした応用の例をプレゼンしたものです。
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
須山敦志著 MLPシリーズベイズ深層学習の説明資料です。
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
BengioのDeep Learningの輪読会資料 http://www.deeplearningbook.org/ 10.7-10.14
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
2018/11/15 Deep Learning JP: http://deeplearning.jp/hacks/
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
Deep Learning JP
PRML上巻勉強会 at 東京大学の資料です。 この資料はChristopher M. Bishop 著「Pattern Recognition and Machine Learning」の日本語版「パターン認識と機械学習 上 - ベイズ理論による統計的予測」について補足説明を入れた上でなるべくわかりやすくしたものです。 本資料では第3章の前半、特に3.1節を中心に解説しています。 詳しくはこちらのサイト(外部)を御覧ください。 http://ibisforest.org/index.php?PRML
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
強化学習若手の会チュートリアル、部分観測マルコフ決定過程 (POMDP) 下での強化学習の基礎と応用の資料です。
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
上智大学宮本研究室の勉強会発表資料です.
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
論文紹介です。多腕バンディット問題の既存研究も紹介しています。
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
Junya Saito
多項分布とディリクレ分布の簡単な解説です。 正規分布とかはわかっている人向けです。 LDAの勉強などで使えるかも?
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
Más contenido relacionado
La actualidad más candente
ベイズ最適化を中心とした能動学習のためのモデリングやアルゴリズムの解説,適用例の紹介
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
SVMの基本的な数学を説明しています. ブログにもまとめてますので,どうぞ https://kenyu-life.com/2019/02/11/support_vector_machine/ 動画解説してます 「https://www.youtube.com/watch?v=TNOC0vyIL-g」
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
広島ベイズ塾で発表した,負の二項分布についての資料です。
負の二項分布について
負の二項分布について
Hiroshi Shimizu
2017年5月 会津大学にて行った『深層学習』勉強会第5回目のスライドです。ボルツマンマシンについて説明しました。
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
2021/10/15 Deep Learning JP: http://deeplearning.jp/seminar-2/
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP
2017/8/21 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
東京大学松尾研究室におけるPRML輪読資料です。
PRML輪読#13
PRML輪読#13
matsuolab
IIBMP2016(第五回生命医薬情報学連合大会)での招待講演の内容です。深層学習を生成過程の問題としてとらえて、なぜ表現を学習できるのかを説明した後に,深層生成モデル(VAE, GAN, 少しだけ自己回帰モデル, エネルギーモデル, モーメントマッチングモデルを紹介します。
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
Preferred Networks
2018/11/30 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
Deep Learning JP
2022/9/2 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
2017年2月17日に行われた統計数理研究所での研究集会『因果推論の基礎』での講演内容です(配布用の改変あり)。スライドだけだと口頭での説明がないので分かりにくい部分もあるかもしれません。 [http://www.ism.ac.jp/events/2017/meeting0216_17.html:title]
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
Faster Python Meet up LT会 #1(https://faster-python.connpass.com/event/124770/) で使った資料です。
Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化
Yusuke Fujimoto
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
テンソル代数、テンソル分解の基礎、ちょっとした応用の例をプレゼンしたものです。
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
須山敦志著 MLPシリーズベイズ深層学習の説明資料です。
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
BengioのDeep Learningの輪読会資料 http://www.deeplearningbook.org/ 10.7-10.14
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
2018/11/15 Deep Learning JP: http://deeplearning.jp/hacks/
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
Deep Learning JP
PRML上巻勉強会 at 東京大学の資料です。 この資料はChristopher M. Bishop 著「Pattern Recognition and Machine Learning」の日本語版「パターン認識と機械学習 上 - ベイズ理論による統計的予測」について補足説明を入れた上でなるべくわかりやすくしたものです。 本資料では第3章の前半、特に3.1節を中心に解説しています。 詳しくはこちらのサイト(外部)を御覧ください。 http://ibisforest.org/index.php?PRML
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
強化学習若手の会チュートリアル、部分観測マルコフ決定過程 (POMDP) 下での強化学習の基礎と応用の資料です。
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
上智大学宮本研究室の勉強会発表資料です.
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
La actualidad más candente
(20)
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
負の二項分布について
負の二項分布について
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
PRML輪読#13
PRML輪読#13
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
Tensor コアを使った PyTorch の高速化
Tensor コアを使った PyTorch の高速化
グラフィカルモデル入門
グラフィカルモデル入門
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
Deeplearning輪読会
Deeplearning輪読会
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
Más de Junya Saito
論文紹介です。多腕バンディット問題の既存研究も紹介しています。
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
Junya Saito
多項分布とディリクレ分布の簡単な解説です。 正規分布とかはわかっている人向けです。 LDAの勉強などで使えるかも?
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
論文紹介です。
Improving neural networks by preventing co adaptation of feature detectors
Improving neural networks by preventing co adaptation of feature detectors
Junya Saito
論文紹介です。
Acoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief Networks
Junya Saito
論文紹介
Deep Mixtures of Factor Analysers
Deep Mixtures of Factor Analysers
Junya Saito
論文紹介
Bayesian Efficient Multiple Kernel Learning
Bayesian Efficient Multiple Kernel Learning
Junya Saito
Más de Junya Saito
(6)
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Improving neural networks by preventing co adaptation of feature detectors
Improving neural networks by preventing co adaptation of feature detectors
Acoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief Networks
Deep Mixtures of Factor Analysers
Deep Mixtures of Factor Analysers
Bayesian Efficient Multiple Kernel Learning
Bayesian Efficient Multiple Kernel Learning
Último
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Key topics covered: - Understanding Ballerina's role in integrations: features and advantages - Designing and implementing REST APIs for integration - Designing and implementing GraphQL services with Ballerina - Monitoring and observing applications - Introduction to data integration
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
This is an introduction to MAPPO's paper.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Jue Wang, Wentao Zhu, Pichao Wang, Xiang Yu, Linda Liu, Mohamed Omar, Raffay Hamid, " Selective Structured State-Spaces for Long-Form Video Understanding" CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Selective_Structured_State-Spaces_for_Long-Form_Video_Understanding_CVPR_2023_paper.html
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan , "Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding" arXiv2024 https://arxiv.org/abs/2401.00901v2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2024年5月8日 Power Platform 勉強会 #1 LT資料
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Último
(10)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Maxout networks
1.
Maxout Networks Ian Goodfellow,
David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio (Universit ́e de Montr ́eal) ICML 2013 斎藤淳哉 junya[あっと]fugaga.info 論文紹介 1
2.
概要 Maxout ニューラルネットワークの新しい活性化関数 ≠Dropout ≠MaxPooling PFI Deep Learningの技術と未来 http://www.slideshare.net/beam2d/deep-learning-22544096 コレ! 2
3.
目次 Maxout Maxoutの表現力 Maxoutの学習アルゴリズム Dropout MaxPooling 実験 まとめ 3
4.
Maxout 活性化関数 Maxout ニューラルネットワーク ※一般的な活性化関数 4
5.
Maxoutの表現力(1) 例)2次関数を近似可能例)Rectifierを近似可能 ※流行の活性化関数 5
6.
Maxoutの表現力(2) 定理1(ざっくり) Maxout は、隠れノード( )が十分にあれば 任意の凸関数を近似可能 補題(ざっくり) 凸関数
と からなる関数 は 任意の関数を近似可能 定理2(ざっくり) Maxout と からなる関数 は 任意の関数を近似可能 • 2層以上のMaxout • 1層以上のMaxout+1層以上のSoftmax → 任意の関数を近似可能 ※値域:[0,1] 6
7.
Maxoutの学習アルゴリズム 学習アルゴリズム Back Propagation Back Propagation
with Dropout Maxoutは線形関数なので簡単に微分可能 7
8.
Dropout Dropout ニューラルネットワークの学習テクニック アルゴリズム 学習時 毎ステップ、隠れノード50%をランダムに なかったことにしてBack Propagation 推定時 学習したパラメータを1/2にして 全ノードを使って推定 ニューラルネットワーク 8
9.
MaxPooling 活性化関数 MaxPooling ニューラルネットワーク ※一般的な活性化関数 9
10.
実験 実験データ MNIST(手書き数字認識データセット) 28×28 pixel grayscale 60,000
training 10,000 test examples 学習パラメータ Maxout層×(2or3)+Softmax層×1 Dropoutを使用して学習 いわゆるPre-trainingはなし 10
11.
実験結果 MNIST (permutation invariance) MNIST (permutation variance) 流行のRectifierに勝てた!
※提案手法以外は MNIST公式Webページなど から引用した結果 11
12.
まとめ 活性化関数 Maxoutの提案 流行の活性化関数 Rectifierよりも性能向上 12