Enviar búsqueda
Cargar
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
•
7 recomendaciones
•
6,054 vistas
Hiroaki Kudo
Seguir
Stochastic optimization http://owl-learn.connpass.com/event/28739/
Leer menos
Leer más
Ciencias
Denunciar
Compartir
Denunciar
Compartir
1 de 23
Descargar ahora
Descargar para leer sin conexión
Recomendados
5分でわかるベイズ確率
5分でわかるベイズ確率
hoxo_m
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
ブートストラップ法とその周辺とR
ブートストラップ法とその周辺とR
Daisuke Yoneoka
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
Hiroshi Nakagawa
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
ShoutoYonekura
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
Recomendados
5分でわかるベイズ確率
5分でわかるベイズ確率
hoxo_m
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
ブートストラップ法とその周辺とR
ブートストラップ法とその周辺とR
Daisuke Yoneoka
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
クラシックな機械学習の入門 6. 最適化と学習アルゴリズム
Hiroshi Nakagawa
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
ShoutoYonekura
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
Greed is Good: 劣モジュラ関数最大化とその発展
Greed is Good: 劣モジュラ関数最大化とその発展
Yuichi Yoshida
統計的学習の基礎 第2章後半
統計的学習の基礎 第2章後半
Prunus 1350
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
Preferred Networks
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
Deep Learning JP
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
Kei Nakagawa
これからの仮説検証・モデル評価
これからの仮説検証・モデル評価
daiki hojo
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
最適輸送の解き方
最適輸送の解き方
joisino
Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1
Takuma Yagi
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
再現性問題は若手研究者の突破口
再現性問題は若手研究者の突破口
Yuki Yamada
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
Hiroshi Shimizu
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
Hiroaki Kudo
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Hiroaki Kudo
Más contenido relacionado
La actualidad más candente
Greed is Good: 劣モジュラ関数最大化とその発展
Greed is Good: 劣モジュラ関数最大化とその発展
Yuichi Yoshida
統計的学習の基礎 第2章後半
統計的学習の基礎 第2章後半
Prunus 1350
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
Preferred Networks
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
Deep Learning JP
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
Kei Nakagawa
これからの仮説検証・モデル評価
これからの仮説検証・モデル評価
daiki hojo
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
最適輸送の解き方
最適輸送の解き方
joisino
Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1
Takuma Yagi
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
再現性問題は若手研究者の突破口
再現性問題は若手研究者の突破口
Yuki Yamada
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
Hiroshi Shimizu
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
La actualidad más candente
(20)
Greed is Good: 劣モジュラ関数最大化とその発展
Greed is Good: 劣モジュラ関数最大化とその発展
統計的学習の基礎 第2章後半
統計的学習の基礎 第2章後半
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
2 3.GLMの基礎
2 3.GLMの基礎
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
これからの仮説検証・モデル評価
これからの仮説検証・モデル評価
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
ベイズ統計入門
ベイズ統計入門
最適輸送の解き方
最適輸送の解き方
Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
再現性問題は若手研究者の突破口
再現性問題は若手研究者の突破口
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Destacado
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
Hiroaki Kudo
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Hiroaki Kudo
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
Gunosyデータマイニング研究会 #118 これからの強化学習
Gunosyデータマイニング研究会 #118 これからの強化学習
圭輔 大曽根
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
Seiji Takahashi
A/B Testing at Pinterest: Building a Culture of Experimentation
A/B Testing at Pinterest: Building a Culture of Experimentation
WrangleConf
#cwt2016 Apache Kudu 構成とテーブル設計
#cwt2016 Apache Kudu 構成とテーブル設計
Cloudera Japan
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
Cloudera Japan
Apache Kudu - Updatable Analytical Storage #rakutentech
Apache Kudu - Updatable Analytical Storage #rakutentech
Cloudera Japan
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
圭輔 大曽根
マイクロサービスとABテスト
マイクロサービスとABテスト
圭輔 大曽根
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
圭輔 大曽根
論文紹介@ Gunosyデータマイニング研究会 #97
論文紹介@ Gunosyデータマイニング研究会 #97
圭輔 大曽根
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
nishio
いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標
圭輔 大曽根
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Cloudera Japan
Destacado
(18)
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Gunosyデータマイニング研究会 #118 これからの強化学習
Gunosyデータマイニング研究会 #118 これからの強化学習
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
A/B Testing at Pinterest: Building a Culture of Experimentation
A/B Testing at Pinterest: Building a Culture of Experimentation
#cwt2016 Apache Kudu 構成とテーブル設計
#cwt2016 Apache Kudu 構成とテーブル設計
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
Apache Kudu - Updatable Analytical Storage #rakutentech
Apache Kudu - Updatable Analytical Storage #rakutentech
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
マイクロサービスとABテスト
マイクロサービスとABテスト
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
論文紹介@ Gunosyデータマイニング研究会 #97
論文紹介@ Gunosyデータマイニング研究会 #97
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Similar a “確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
Deep Q-LearningでFXしてみた
Deep Q-LearningでFXしてみた
Junichiro Katsuta
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
Kimikazu Kato
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
Hiroshi Senga
Watson summit 公開用
Watson summit 公開用
Izumi Akiyama
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
takutori
Slack data Analysis
Slack data Analysis
takutori
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
Toshiyuki Shimono
人の想像力3段階〜社会変革の思考法
人の想像力3段階〜社会変革の思考法
Takafumi Matsuda
データ分析というお仕事のこれまでとこれから(HCMPL2014)
データ分析というお仕事のこれまでとこれから(HCMPL2014)
Takashi J OZAKI
20160527_07_IoT勉強会 分析WG 配布用
20160527_07_IoT勉強会 分析WG 配布用
IoTビジネス共創ラボ
元ソシャゲプランナー幻談
元ソシャゲプランナー幻談
YukiSamuraki
Similar a “確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
(11)
Deep Q-LearningでFXしてみた
Deep Q-LearningでFXしてみた
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
Watson summit 公開用
Watson summit 公開用
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
Slack data Analysis
Slack data Analysis
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
人の想像力3段階〜社会変革の思考法
人の想像力3段階〜社会変革の思考法
データ分析というお仕事のこれまでとこれから(HCMPL2014)
データ分析というお仕事のこれまでとこれから(HCMPL2014)
20160527_07_IoT勉強会 分析WG 配布用
20160527_07_IoT勉強会 分析WG 配布用
元ソシャゲプランナー幻談
元ソシャゲプランナー幻談
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
1.
“確率的最適化” を読む前に知っておくと いいかもしれない関数解析のこと 新年度!実務家が集まる春の機械学習LT大会! 工藤 啓朗 (Gunosy
Inc.) 2016/04/08
2.
自己紹介 くどう ひろあき (@Hmj_kd) 株式会社Gunosy
データ分析部 所属 - 北海道釧路市出身, 30代, 妻子あり - 高専 : 情報工学科 - 大学 : ブラックホール, インフレーション宇宙論 - 前職 : プログラマー → Pandas データマエショリスト, データ分析 - 現在 : 3ヶ月目 - 好きな食べ物 : 中本の蒙古タンメン、二郎
3.
以前 こんな発表をした者です・・・ http://www.slideshare.net/owllearnbiz/lagrange-50543837
4.
自己紹介(数学勉強歴) 確率微分方程式 ファイバー束 トポロジー 微分幾何学 関数解析学 群、環、体 微分方程式 線形代数 微分積分 t
5.
今日のお話 1. 確率的最適化を読んでみた感想 2. 上記を読む前に前提として知っておくとよいことは
?? a. 関数解析 ?? 3. まとめ
6.
➔ 教師あり学習のお話 ➔ 確率的勾配降下法(SGD)
や AdaGrad などの理論面を理解できる。 確率的最適化を読んだ感想
7.
でも,数学の基礎的なこと がわからないと 読むのは辛いっす!!
8.
確率的最適化を読んだ感想 ➔ 数学の基礎的なことがわからないと読むのは辛い!! ➔ 凸最適化問題のエッセンスを知っている方が,理解しやすいかも ➔
(数学の)事前知識としてどういったことが必要かわからない
9.
例えば - そもそも,微分積分,ベクトル空間などがわからない - どうして,凸関数や凸集合を扱うの
? - 劣勾配,劣微分って何だ !? - なんで逐次処理なんだろう !?
10.
前提知識はどんな分野 ? 関数解析学 という分野です 全部理解しなくてもいいと思いますが...
11.
最適化問題の例
12.
一般の最適化問題を まるっと解決する方法はない
13.
気になること 1. 最適解が存在するか ? 2.
最適解は何個あるのか ? 3. 最適解を求めるアルゴリズムがあるか ? 4. より速く求まるアルゴリズムはあるか ? a. 計算量と収束の速さ
14.
凸最適化問題なら 1. 最適解が存在するか ? a.
→ 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! でも トピックス - 不動点定理 - ノルムの等価性 - 凸集合と凸関数
15.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 完備な(X, d) 縮小写像 F →
|| F(x0 ) - F(x1 ) || ≦ k || x0 - x1 ||, k < 1 x0 x1 x2 y0 y1 y2 F F F F z = F(z) 不動点
16.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 縮小写像 F を,別のノルムで評価したらどうなるか? 収束するのか
? → 有限次元のベクトル空間では,定義可能なノルムは等価です → 等価なノルムを用いる限り「ある点に収束するかどうかの結論」は変わ りません
17.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 凸関数 閉凸集合 PC (I - η
* f ’) : 縮小写像 C f PC
18.
凸最適化問題なら 1. 最適解が存在するか ? a.
→ 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! 縮小写像を改良する 事前に知っているといいエッセンス まとめ 凸集合,凸関数の最小値の存在 縮小写像を手作りできれば, 不動点定理により最適解へ収束 !!
19.
1. 関数 f
が,微分できないとき a. 単純には勾配法が使えない ...... → 劣勾配法 2. 非可算無限個の解をもつ問題もある a. 縮小写像の不動点定理はそのままは使えない 3. 縮小写像の勾配計算など,大規模データでは計算コストが高い a. データを分割して,部分的に最適化を解きたい 凸最適化問題で万事OK ではない... 確率的最適化,が必要だね
20.
さいごに
21.
Gunosy データ分析部メンバーの発表資料 http://www.slideshare.net/keisukeosone/ss-60014333 https://speakerdeck.com/ij_spitz/gunosyniokeruabtesuto
22.
メンバー募集 ➔ Gunosy では,データ分析エンジニアを募集して おります
!! ➔ Webエンジニアだけど ”分析をしてみたい” という 方もぜひ !!
23.
ご清聴 ありがとうございます
Descargar ahora