Enviar búsqueda
Cargar
Inspection of CloudML Hyper Parameter Tuning
•
12 recomendaciones
•
2,364 vistas
nagachika t
Seguir
GCPUG Fukuoka 5th 〜Machine Learning 祭〜 の発表資料
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 55
Descargar ahora
Descargar para leer sin conexión
Recomendados
mxnetで頑張る深層学習
mxnetで頑張る深層学習
Takashi Kitano
ぼくの実装した最弱のディープラーニング
ぼくの実装した最弱のディープラーニング
なおき きしだ
性能測定道 実践編
性能測定道 実践編
Yuto Hayamizu
Introduction to Chainer (LL Ring Recursive)
Introduction to Chainer (LL Ring Recursive)
Kenta Oono
日本神経回路学会セミナー「DeepLearningを使ってみよう!」資料
日本神経回路学会セミナー「DeepLearningを使ってみよう!」資料
Kenta Oono
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
Kenta Oono
ChainerでDeep Learningを試すために必要なこと
ChainerでDeep Learningを試すために必要なこと
Retrieva inc.
PFI Christmas seminar 2009
PFI Christmas seminar 2009
Preferred Networks
Recomendados
mxnetで頑張る深層学習
mxnetで頑張る深層学習
Takashi Kitano
ぼくの実装した最弱のディープラーニング
ぼくの実装した最弱のディープラーニング
なおき きしだ
性能測定道 実践編
性能測定道 実践編
Yuto Hayamizu
Introduction to Chainer (LL Ring Recursive)
Introduction to Chainer (LL Ring Recursive)
Kenta Oono
日本神経回路学会セミナー「DeepLearningを使ってみよう!」資料
日本神経回路学会セミナー「DeepLearningを使ってみよう!」資料
Kenta Oono
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
Kenta Oono
ChainerでDeep Learningを試すために必要なこと
ChainerでDeep Learningを試すために必要なこと
Retrieva inc.
PFI Christmas seminar 2009
PFI Christmas seminar 2009
Preferred Networks
性能測定道 事始め編
性能測定道 事始め編
Yuto Hayamizu
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
Stochastic Gradient MCMC
Stochastic Gradient MCMC
Kenta Oono
Kaggleのテクニック
Kaggleのテクニック
Yasunori Ozaki
Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)
Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)
Shotaro Sano
Chainer の Trainer 解説と NStepLSTM について
Chainer の Trainer 解説と NStepLSTM について
Retrieva inc.
Introduction to Chainer and CuPy
Introduction to Chainer and CuPy
Kenta Oono
量子コンピュータで金融計算
量子コンピュータで金融計算
Kenji Tanaka
量子コンピュータで金融計算
量子コンピュータで金融計算
Kenji Tanaka
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
Kazuki Fujikawa
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Seiya Tokui
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
Yasuyuki Sugai
2015-11-17 きちんと知りたいApache Spark ~機械学習とさまざまな機能群
2015-11-17 きちんと知りたいApache Spark ~機械学習とさまざまな機能群
Yu Ishikawa
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニング
Yosuke Mizutani
2018年01月27日 TensorFlowの計算グラフの理解
2018年01月27日 TensorFlowの計算グラフの理解
aitc_jp
リアルタイム処理エンジンGearpumpの紹介
リアルタイム処理エンジンGearpumpの紹介
Sotaro Kimura
[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech Synthesis
[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech Synthesis
Deep Learning JP
広告配信現場で使うSpark機械学習
広告配信現場で使うSpark機械学習
x1 ichi
北大調和系 DLゼミ A3C
北大調和系 DLゼミ A3C
Tomoya Oda
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
自分たちでつくった"UXガイドライン"を片手に、クラウドワークスを作り変える。
自分たちでつくった"UXガイドライン"を片手に、クラウドワークスを作り変える。
kazuma ueda
強化学習@PyData.Tokyo
強化学習@PyData.Tokyo
Naoto Yoshida
Más contenido relacionado
La actualidad más candente
性能測定道 事始め編
性能測定道 事始め編
Yuto Hayamizu
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
Stochastic Gradient MCMC
Stochastic Gradient MCMC
Kenta Oono
Kaggleのテクニック
Kaggleのテクニック
Yasunori Ozaki
Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)
Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)
Shotaro Sano
Chainer の Trainer 解説と NStepLSTM について
Chainer の Trainer 解説と NStepLSTM について
Retrieva inc.
Introduction to Chainer and CuPy
Introduction to Chainer and CuPy
Kenta Oono
量子コンピュータで金融計算
量子コンピュータで金融計算
Kenji Tanaka
量子コンピュータで金融計算
量子コンピュータで金融計算
Kenji Tanaka
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
Kazuki Fujikawa
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Seiya Tokui
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
Yasuyuki Sugai
2015-11-17 きちんと知りたいApache Spark ~機械学習とさまざまな機能群
2015-11-17 きちんと知りたいApache Spark ~機械学習とさまざまな機能群
Yu Ishikawa
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニング
Yosuke Mizutani
2018年01月27日 TensorFlowの計算グラフの理解
2018年01月27日 TensorFlowの計算グラフの理解
aitc_jp
リアルタイム処理エンジンGearpumpの紹介
リアルタイム処理エンジンGearpumpの紹介
Sotaro Kimura
[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech Synthesis
[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech Synthesis
Deep Learning JP
広告配信現場で使うSpark機械学習
広告配信現場で使うSpark機械学習
x1 ichi
北大調和系 DLゼミ A3C
北大調和系 DLゼミ A3C
Tomoya Oda
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
La actualidad más candente
(20)
性能測定道 事始め編
性能測定道 事始め編
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Stochastic Gradient MCMC
Stochastic Gradient MCMC
Kaggleのテクニック
Kaggleのテクニック
Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)
Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)
Chainer の Trainer 解説と NStepLSTM について
Chainer の Trainer 解説と NStepLSTM について
Introduction to Chainer and CuPy
Introduction to Chainer and CuPy
量子コンピュータで金融計算
量子コンピュータで金融計算
量子コンピュータで金融計算
量子コンピュータで金融計算
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
第3回機械学習勉強会「色々なNNフレームワークを動かしてみよう」-Keras編-
2015-11-17 きちんと知りたいApache Spark ~機械学習とさまざまな機能群
2015-11-17 きちんと知りたいApache Spark ~機械学習とさまざまな機能群
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニング
2018年01月27日 TensorFlowの計算グラフの理解
2018年01月27日 TensorFlowの計算グラフの理解
リアルタイム処理エンジンGearpumpの紹介
リアルタイム処理エンジンGearpumpの紹介
[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech Synthesis
[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech Synthesis
広告配信現場で使うSpark機械学習
広告配信現場で使うSpark機械学習
北大調和系 DLゼミ A3C
北大調和系 DLゼミ A3C
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Destacado
自分たちでつくった"UXガイドライン"を片手に、クラウドワークスを作り変える。
自分たちでつくった"UXガイドライン"を片手に、クラウドワークスを作り変える。
kazuma ueda
強化学習@PyData.Tokyo
強化学習@PyData.Tokyo
Naoto Yoshida
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をする
Daiki Shimada
aiconf2017okanohara
aiconf2017okanohara
Preferred Networks
Distributed Deep Q-Learning
Distributed Deep Q-Learning
Lyft
Ruby Kaja のご提案
Ruby Kaja のご提案
nagachika t
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷
Taiga Nomi
Hype vs. Reality: The AI Explainer
Hype vs. Reality: The AI Explainer
Luminary Labs
131026 kansai-emacs
131026 kansai-emacs
Yuki Shibazaki
A Reintroduction To Ruby M17 N
A Reintroduction To Ruby M17 N
Yui NARUSE
Machine Learning Methods for Parameter Acquisition in a Human ...
Machine Learning Methods for Parameter Acquisition in a Human ...
butest
MALT: Distributed Data-Parallelism for Existing ML Applications (Distributed ...
MALT: Distributed Data-Parallelism for Existing ML Applications (Distributed ...
asimkadav
Spark Summit EU talk by Rolf Jagerman
Spark Summit EU talk by Rolf Jagerman
Spark Summit
tofu - COOKPAD's image system
tofu - COOKPAD's image system
Issei Naruta
Japanese Rubyists you have not met yet
Japanese Rubyists you have not met yet
masayoshi takahashi
How to Begin to Develop Ruby Core
How to Begin to Develop Ruby Core
Hiroshi SHIBATA
How To Select Best Transmission For Your Vehicle
How To Select Best Transmission For Your Vehicle
Dreamcars Auto Repair
福岡商工会議所講演会(2017年2月17日)
福岡商工会議所講演会(2017年2月17日)
隆志 柳瀬
企画案
企画案
Shinichiro Aska
Destacado
(20)
自分たちでつくった"UXガイドライン"を片手に、クラウドワークスを作り変える。
自分たちでつくった"UXガイドライン"を片手に、クラウドワークスを作り変える。
強化学習@PyData.Tokyo
強化学習@PyData.Tokyo
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をする
aiconf2017okanohara
aiconf2017okanohara
Distributed Deep Q-Learning
Distributed Deep Q-Learning
Ruby Kaja のご提案
Ruby Kaja のご提案
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷
Hype vs. Reality: The AI Explainer
Hype vs. Reality: The AI Explainer
131026 kansai-emacs
131026 kansai-emacs
A Reintroduction To Ruby M17 N
A Reintroduction To Ruby M17 N
Machine Learning Methods for Parameter Acquisition in a Human ...
Machine Learning Methods for Parameter Acquisition in a Human ...
MALT: Distributed Data-Parallelism for Existing ML Applications (Distributed ...
MALT: Distributed Data-Parallelism for Existing ML Applications (Distributed ...
Spark Summit EU talk by Rolf Jagerman
Spark Summit EU talk by Rolf Jagerman
tofu - COOKPAD's image system
tofu - COOKPAD's image system
Japanese Rubyists you have not met yet
Japanese Rubyists you have not met yet
How to Begin to Develop Ruby Core
How to Begin to Develop Ruby Core
How To Select Best Transmission For Your Vehicle
How To Select Best Transmission For Your Vehicle
福岡商工会議所講演会(2017年2月17日)
福岡商工会議所講演会(2017年2月17日)
企画案
企画案
Similar a Inspection of CloudML Hyper Parameter Tuning
CPU / GPU高速化セミナー!性能モデルの理論と実践:理論編
CPU / GPU高速化セミナー!性能モデルの理論と実践:理論編
Fixstars Corporation
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Yasunori Ozaki
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
Preferred Networks
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
Deep Learning JP
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
MapR Technologies Japan
Polyphony の並列化
Polyphony の並列化
ryos36
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Preferred Networks
Or seminar2011final
Or seminar2011final
Mikio Kubo
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
Preferred Networks
[DLHacks]Comet ML -機械学習のためのGitHub-
[DLHacks]Comet ML -機械学習のためのGitHub-
Deep Learning JP
Weeklycms20120218
Weeklycms20120218
Yoshi Sakai
0730 bp study#35発表資料
0730 bp study#35発表資料
Yasuhiro Horiuchi
TensorFlow計算グラフ最適化処理
TensorFlow計算グラフ最適化処理
Atsushi Nukariya
MANABIYA Machine Learning Hands-On
MANABIYA Machine Learning Hands-On
陽平 山口
Using Deep Learning for Recommendation
Using Deep Learning for Recommendation
Eduardo Gonzalez
PHPカンファレンス2014の懇親会飛び込みLT資料
PHPカンファレンス2014の懇親会飛び込みLT資料
Junichi Ishida
ディープラーニングフレームワーク とChainerの実装
ディープラーニングフレームワーク とChainerの実装
Ryosuke Okuta
2012-03-08 MSS研究会
2012-03-08 MSS研究会
Kimikazu Kato
[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也
[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也
Preferred Networks
110828 tokyo scipy1_hido_dist
110828 tokyo scipy1_hido_dist
Shohei Hido
Similar a Inspection of CloudML Hyper Parameter Tuning
(20)
CPU / GPU高速化セミナー!性能モデルの理論と実践:理論編
CPU / GPU高速化セミナー!性能モデルの理論と実践:理論編
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
Polyphony の並列化
Polyphony の並列化
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Or seminar2011final
Or seminar2011final
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
[DLHacks]Comet ML -機械学習のためのGitHub-
[DLHacks]Comet ML -機械学習のためのGitHub-
Weeklycms20120218
Weeklycms20120218
0730 bp study#35発表資料
0730 bp study#35発表資料
TensorFlow計算グラフ最適化処理
TensorFlow計算グラフ最適化処理
MANABIYA Machine Learning Hands-On
MANABIYA Machine Learning Hands-On
Using Deep Learning for Recommendation
Using Deep Learning for Recommendation
PHPカンファレンス2014の懇親会飛び込みLT資料
PHPカンファレンス2014の懇親会飛び込みLT資料
ディープラーニングフレームワーク とChainerの実装
ディープラーニングフレームワーク とChainerの実装
2012-03-08 MSS研究会
2012-03-08 MSS研究会
[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也
[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也
110828 tokyo scipy1_hido_dist
110828 tokyo scipy1_hido_dist
Más de nagachika t
Make Ruby Differentiable
Make Ruby Differentiable
nagachika t
All bugfixes are incompatibilities
All bugfixes are incompatibilities
nagachika t
Functional Music Composition
Functional Music Composition
nagachika t
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
nagachika t
Magellan on Google Cloud Platform
Magellan on Google Cloud Platform
nagachika t
CRuby Committers Who's Who in 2013
CRuby Committers Who's Who in 2013
nagachika t
CRuby_Committers_Whos_Who_in_2014
CRuby_Committers_Whos_Who_in_2014
nagachika t
怠惰なRubyistへの道 fukuoka rubykaigi01
怠惰なRubyistへの道 fukuoka rubykaigi01
nagachika t
Ruby on azure で game server service
Ruby on azure で game server service
nagachika t
怠惰なRubyistへの道
怠惰なRubyistへの道
nagachika t
Ruby trunk changes 統計版
Ruby trunk changes 統計版
nagachika t
Pd Kai#3 Startup Process
Pd Kai#3 Startup Process
nagachika t
Pd Kai#2 Object Model
Pd Kai#2 Object Model
nagachika t
Más de nagachika t
(13)
Make Ruby Differentiable
Make Ruby Differentiable
All bugfixes are incompatibilities
All bugfixes are incompatibilities
Functional Music Composition
Functional Music Composition
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
Magellan on Google Cloud Platform
Magellan on Google Cloud Platform
CRuby Committers Who's Who in 2013
CRuby Committers Who's Who in 2013
CRuby_Committers_Whos_Who_in_2014
CRuby_Committers_Whos_Who_in_2014
怠惰なRubyistへの道 fukuoka rubykaigi01
怠惰なRubyistへの道 fukuoka rubykaigi01
Ruby on azure で game server service
Ruby on azure で game server service
怠惰なRubyistへの道
怠惰なRubyistへの道
Ruby trunk changes 統計版
Ruby trunk changes 統計版
Pd Kai#3 Startup Process
Pd Kai#3 Startup Process
Pd Kai#2 Object Model
Pd Kai#2 Object Model
Inspection of CloudML Hyper Parameter Tuning
1.
Inspection of Cloud Machine Leaning Hyper
Parameter Tuning nagachika GCPUG Fukuoka
2.
Agenda • Hyper Parameter
Tuning とは? • Hyper Parameter Tuning の性能を実験 • Hyper Parameter Tuning の探索⽅法を推測
3.
About me • nagachika •
Ruby committer, Stable branch maintainer • Fukuoka.rb organizer • GCPUG • TFUG (TensorFlow User Group) • TensorFlow contributor ← NEW
4.
Pull Requests to
TensorFlow
5.
Cloud Machine Learning
6.
Cloud Machine Leaning •
Training • TensorFlow が(分散環境、GPU環境含め) ⽤意されている実⾏環境のホスティングサービス • TensorFlow 専⽤のPaaS(Heroku) • Prediction • TensorFlow Serving のホスティングサービス • API で Training したモデルを利⽤できる
7.
Hyper Parameter Tuning
8.
Hyper Parameter Tuning •
Hyper Parameter とは? • モデル(SVM, Random Forest, MLP, CNN 等々なんであれ)の学習に 先⽴って決定しないといけないパラメータ • モデルの精度に影響する • より良い Hyper Parameter の探索が望ましい
9.
Hyper Parameter Tuning •
Machine Learning Model Input Output
10.
Hyper Parameter Tuning •
Machine Learning Model Dog or Cat
11.
Hyper Parameter Tuning •
Machine Learning Model Input Output トレーニング可能な パラメータ トレーニング不可な パラメータ 期待する Output が得られるように トレーニング可能なパラメータを 変更するのが (教師あり)機械学習における 「学習」
12.
Hyper Parameter Tuning •
Machine Learning Model Input Output トレーニング可能な パラメータ トレーニング不可な パラメータ Expectation Error 期待(Expectation)と実際の Outputの差を定量化したもの (Error)を最⼩にする。 勾配を⽤いた⼿法が主流
13.
Hyper Parameter Tuning •
Machine Learning Model Input Output トレーニング可能な パラメータ トレーニング不可な パラメータ Expectation Error
14.
Hyper Parameter Tuning •
Machine Learning Model Input (Hyper Parameter) Output (Error) Hyper Parameter を⼊⼒として 誤差(Error)を出⼒とする関数とみなすこともできる ↓ Output(Error)を最⼩にする Input(Hyper Parameter)を 探索する最適化問題
15.
Hyper Parameter Tuning •
Machine Learning Model Input (Hyper Parameter) Output (Error) ただし、⼀般的に • 勾配はわからない(そもそもInputが距離の概念がある空間と限らない) • F(x) の評価には時間がかかる
16.
Hyper Parameter Tuning •
Derivative-free optimization (勾配によらない最適化⼿法) • Simulated Annealing(焼きなまし法) • Genetic Algorithm(遺伝的アルゴリズム) → ⼤量の試⾏が必要で実⾏コストが⼤きい
17.
Hyper Parameter Tuning •
Scikit learn • Grid Search(グリッドサーチ) • パラメータ毎に有限の候補の組み合わせ試⾏ • Random Search(ランダム探索) → シンプルだけどいまいち賢くない
18.
Hyper Parameter Tuning Cloud
Machine Learning の Hyper Parameter Tuning は どんな⽅法で探索を しているのだろうか?
19.
Motivation
20.
Motivation • 多層ニューラルネットワーク • 層の数 •
(各層の)ユニット(ニューロン)の数 • etc… Layer-1 Layer-2
21.
Motivation • 層の数 • (各層の)ユニット(ニューロン)の数 ➡
1つのパラメータで表現したいな ➡ 極度に多峰的な関数になりそう…
22.
Motivation • 多峰性関数→最適化が困難な性質 ➡ Cloud
Machine Learning はこんな関数に対して どのくらい賢く最適化してくれるんだろう? 単峰性関数 多峰性関数
23.
実験1
24.
実験1 • Cloud Machine
Learning に Hyper Parameter Tuning で 既知の関数の最適化をさせる • F(x) を明⽰的に式として与える • Hyper Parameter を受け取って F(x) を計算し て報告するだけの Python モジュールを作成
25.
実験1 • Hyper Parameter •
1変数(x), 2変数(x, y) • 範囲は全て [-1, 1] • 最⼩値を求める • 探索回数(N)は • 1変数 → N=10 or 15 • 2変数 → N=30
26.
実験1 N=10
27.
実験1 N=10
28.
実験1 N=10
29.
実験1 N=15
30.
実験1 N=15
31.
実験1
32.
実験1 N=30
33.
実験1 Ackley 関数
34.
実験1 Ackley 関数 N=30
35.
実験1 • あきらかに Grid
Search ではない • 低次元の多項式(?)くらいだとかなり賢い (少ない試⾏回数で最適値の近くを当てる) • 難しい形状の関数もそれなりに (⼤域探索している? 局所解に落ちたりはなさそう) ➡ どうやってるんだろう???
36.
Bayesian Optimization ベイズ最適化
37.
Bayesian Optimization http://mathetake.hatenablog.com/entry/2016/12/19/145311
38.
Bayesian Optimization https://www.youtube.com/watch?v=pQHWew4YYao ベイズ的最適化の⼊⾨と応⽤ 機械学習による機械学習の実験計画
39.
Bayesian Optimization おおざっぱな理解では • 既に得た⼊⼒の結果を元に推測しつつ •
まだ調べてないあたりも調べるようにしつつ いい感じに探索するために、 最適化したい関数の形状を(各⼊⼒に対する) 確率分布として捉える。
40.
Bayesian Optimization • 関数を確率分布として捉える?
41.
Bayesian Optimization • 関数を確率分布として捉える? •
x をある値に固定した時にF(x)が取る値を確率分布 • 既知の⼊⼒ x = x1, x2, … を元に計算する
42.
Bayesian Optimization • Acquisition
function • 次にテストすべき点を決めるための 「重要度」みたいなのを決める関数 • GP-UCB 平均 分散 = 活⽤ = 探索
43.
実験2
44.
実験2 • 実験1と同じF(x)に対して Bayesian
Optimization • 最初の3点は実験1の(Cloud MLの)結果を流⽤ (Bayesian Optimization は初期何点かはランダム探索) • PythonのBayesianOptimizationパッケージを利⽤ [https://github.com/fmfn/BayesianOptimization] • Acquisition function には GP-UCB, kappa=0.5 を選択
45.
実験2 N=10 Cloud Machine Learning Hyper
Parameter Tuning BayesianOptimization
46.
実験2 N=10 Cloud Machine Learning Hyper
Parameter Tuning BayesianOptimization
47.
実験2 N=10 Cloud Machine Learning Hyper
Parameter Tuning BayesianOptimization
48.
実験2 N=15 Cloud Machine Learning Hyper
Parameter Tuning BayesianOptimization
49.
実験2 N=15 Cloud Machine Learning Hyper
Parameter Tuning BayesianOptimization
50.
実験2
51.
実験2 N=30 Cloud Machine Learning Hyper
Parameter Tuning BayesianOptimization
52.
実験2 Ackley 関数
53.
実験2 N=30 Cloud Machine Learning Hyper
Parameter Tuning BayesianOptimization
54.
実験2 • Bayesian Optimization
> Grid Search • Cloud Machine Learning の Hyper Parameter Tuning と似ているといえなくもない? • Bayesian Optimization⾃体にも Hyper Parameterがある(acquisition function の選択, そのパラメータ etc..)
55.
Summary • Cloud Machine
Learning のHyper Parameter Tuning はかしこくて便利 • Hyper Parameter に対して複雑な関数になる時は 多めに試⾏回数を取ろう • Hyper Parameter Tuning の裏側は Bayesian Optimization? • オレオレ Cloud Machine Learning の構築も夢では ない!?
Descargar ahora