More Related Content
Similar to 機械学習のためのベイズ最適化入門 (16)
機械学習のためのベイズ最適化入門
- 13. 例: RBF SVM
• RBF カーネルでデータを⾼次元空間へ
• マージン最⼤化
• 判別境界
13出典: 1.4. Support Vector Machines ー scikit-learn documentation
- 14. 例: RBF SVM
• ハイパーパラメータ 2つ
• gamma:
– 1つのサポートベクタが影響を及ぼす範囲
– ⼤きいほど影響範囲が⼩さく過学習
• cost:
– 判別境界の単純さと誤分類のトレードオフ
– ⼤きいほど誤分類が少ないが過学習
14
- 15. 例: RBF SVM
15出典: RBF SVM parameters — scikit-learn documentation
cost:
⼤
gamma: ⼤
ベスト
- 21. グリッドサーチ
• ハイパーパラメータの格⼦を作る
• gamma = (10-5, 10-4, … , 102, 103)
• cost = (10-4, 10-3, … , 103, 104)
• それぞれの組み合わせでモデルを学習
• 例:
• cost = 10-4, gamma = 10-5 ➡︎ 正答率
• cost = 10-4, gamma = 103 ➡︎ 正答率
21
- 35. ① PI 戦略
• PI 戦略
– Probability of Improvement (改善確率)
– 現在の最⼤値 ybest
– ybest を超える確率が最も⾼い点を次に観測
• シンプルで分かりやすいが局所解に陥る
ことも
35
- 36. ② EI 戦略
• PI 戦略は改善確率のみを考えた
• 確率が⾼くても改善量が⼩さいと⾮効率
• EI 戦略
– Expected Improvement (期待改善量)
– 評価値とベストの差 y – ybest の期待値が最も
⾼くなる点を次に観測
• 最も⼀般的に使われている
36
- 37. ③ UCB 戦略
• UCB 戦略
– Upper Confidence Bound (上側信頼限界)
– 評価値の信頼区間の上限が最も⾼い点を次に
観測
• 最適解にたどり着く理論的保証がある
37
- 45. ガウス過程
• 未観測点の期待値 µ と分散 σ2 を算出可能
• µ が⼤きい: 周囲の観測点が⼤きい
• σ が⼤きい: 周囲が観測されていない
• µ が⼤きい点を次の観測点に選べば、⼤き
い値が期待できる
• しかし、そればかりでは局所解に陥る
• 適度に σ の⼤きい点を探索する必要あり
45
- 50. 7. 実⾏ツール
• ベイズ最適化を⾏うツールはたくさん
– SMAC
– Spearmint (Python; ⾮商⽤)
– COMBO (Python; 東京⼤学 津⽥研)
– GPyOpt (Python)
– bayesian-optimization (Python)
– rBayesianOptimization (R)
50
- 56. ランダムサーチ
• Bergstra & Bengio (JMLR 2012)
• ⼀部の機械学習⼿法において、ハイパー
パラメータ探索はランダムサーチが有効
である
• これは、機械学習の精度を左右するハイ
パーパラメータは少数だからである
56
- 59. 獲得関数 MI (Contal+ 2014)
• Mutual Information (相互情報量)
• 次の探索点として、獲得関数
MI(x) = µ(x) + K Φt(x)
が最も⼤きい点 x を選ぶ
• γt^ は f(xt) を観測したときに得られる
相互情報量の下限を表す
59