Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと

3.808 visualizaciones

Publicado el

Stochastic optimization
http://owl-learn.connpass.com/event/28739/

Publicado en: Ciencias
  • Sé el primero en comentar

“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと

  1. 1. “確率的最適化” を読む前に知っておくと いいかもしれない関数解析のこと 新年度!実務家が集まる春の機械学習LT大会! 工藤 啓朗 (Gunosy Inc.) 2016/04/08
  2. 2. 自己紹介 くどう ひろあき (@Hmj_kd) 株式会社Gunosy データ分析部 所属 - 北海道釧路市出身, 30代, 妻子あり - 高専 : 情報工学科 - 大学 : ブラックホール, インフレーション宇宙論 - 前職 : プログラマー → Pandas データマエショリスト, データ分析 - 現在 : 3ヶ月目 - 好きな食べ物 : 中本の蒙古タンメン、二郎
  3. 3. 以前 こんな発表をした者です・・・ http://www.slideshare.net/owllearnbiz/lagrange-50543837
  4. 4. 自己紹介(数学勉強歴) 確率微分方程式 ファイバー束 トポロジー 微分幾何学 関数解析学 群、環、体 微分方程式 線形代数 微分積分 t
  5. 5. 今日のお話 1. 確率的最適化を読んでみた感想 2. 上記を読む前に前提として知っておくとよいことは ?? a. 関数解析 ?? 3. まとめ
  6. 6. ➔ 教師あり学習のお話 ➔ 確率的勾配降下法(SGD) や AdaGrad などの理論面を理解できる。 確率的最適化を読んだ感想
  7. 7. でも,数学の基礎的なこと がわからないと 読むのは辛いっす!!
  8. 8. 確率的最適化を読んだ感想 ➔ 数学の基礎的なことがわからないと読むのは辛い!! ➔ 凸最適化問題のエッセンスを知っている方が,理解しやすいかも ➔ (数学の)事前知識としてどういったことが必要かわからない
  9. 9. 例えば - そもそも,微分積分,ベクトル空間などがわからない - どうして,凸関数や凸集合を扱うの ? - 劣勾配,劣微分って何だ !? - なんで逐次処理なんだろう !?
  10. 10. 前提知識はどんな分野 ? 関数解析学 という分野です 全部理解しなくてもいいと思いますが...
  11. 11. 最適化問題の例
  12. 12. 一般の最適化問題を まるっと解決する方法はない
  13. 13. 気になること 1. 最適解が存在するか ? 2. 最適解は何個あるのか ? 3. 最適解を求めるアルゴリズムがあるか ? 4. より速く求まるアルゴリズムはあるか ? a. 計算量と収束の速さ
  14. 14. 凸最適化問題なら 1. 最適解が存在するか ? a. → 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! でも トピックス - 不動点定理 - ノルムの等価性 - 凸集合と凸関数
  15. 15. トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 完備な(X, d) 縮小写像 F → || F(x0 ) - F(x1 ) || ≦ k || x0 - x1 ||, k < 1 x0 x1 x2 y0 y1 y2 F F F F z = F(z) 不動点
  16. 16. トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 縮小写像 F を,別のノルムで評価したらどうなるか? 収束するのか ? → 有限次元のベクトル空間では,定義可能なノルムは等価です → 等価なノルムを用いる限り「ある点に収束するかどうかの結論」は変わ りません
  17. 17. トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 凸関数 閉凸集合 PC (I - η * f ’) : 縮小写像 C f PC
  18. 18. 凸最適化問題なら 1. 最適解が存在するか ? a. → 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! 縮小写像を改良する 事前に知っているといいエッセンス まとめ 凸集合,凸関数の最小値の存在 縮小写像を手作りできれば, 不動点定理により最適解へ収束 !!
  19. 19. 1. 関数 f が,微分できないとき a. 単純には勾配法が使えない ...... → 劣勾配法 2. 非可算無限個の解をもつ問題もある a. 縮小写像の不動点定理はそのままは使えない 3. 縮小写像の勾配計算など,大規模データでは計算コストが高い a. データを分割して,部分的に最適化を解きたい 凸最適化問題で万事OK ではない... 確率的最適化,が必要だね
  20. 20. さいごに
  21. 21. Gunosy データ分析部メンバーの発表資料 http://www.slideshare.net/keisukeosone/ss-60014333 https://speakerdeck.com/ij_spitz/gunosyniokeruabtesuto
  22. 22. メンバー募集 ➔ Gunosy では,データ分析エンジニアを募集して おります !! ➔ Webエンジニアだけど ”分析をしてみたい” という 方もぜひ !!
  23. 23. ご清聴 ありがとうございます

×