Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Más de harmonylab
Más de harmonylab (20)
Lookahead Optimizer: k steps forward, 1 step back
- 1. Lookahead Optimizer: k steps forward, 1 step back 08/02 神戸瑞樹 https://arxiv.org/pdf/1907.08610.pdf Michael R. Zhang James Lucas Geoffrey Hinton Jimmy Ba Department of Computer Science, University of Toronto, Vector Institute {michael, jlucas, hinton,jba}@cs.toronto.edu
- 2. 概要 • NNの最適化の新手法Lookaheadを提案 • 学習の安定化、高速化 • ハイパーパラメータの違いにロバスト 2
- 3. Introduction • SGD-likeなアルゴリズムはシンプルながら未だに 強力 • 最近のSGDの改良は2つにわけられる． • AdamやAdaGradのように学習率を適応的にする • モメンタムのように学習を速くする • これらの恩恵を受けるには十分なチューニングが必要 • Lookaheadを提案 • 学習の安定化，高速化 • ハイパーパラメータの違いにロバスト 3
- 4. Lookahead • slow weights φ とfast weights θ をもつ • fast weightsをk回更新した後，これを基にslow weightsを更新 • fast weightsは通常のoptimizerで更新される • φt = φt-1 + α(θt,k + φt-1) 4
- 5. Lookahead • 高曲率方向に振動するとき、 fast weightsの更新は低曲率方 向に沿って急速に進行する • スローウェイトは、パラメータ 補間によって振動を滑らかにす る • ファストウェイトとスローウェ イトの組み合わせは、曲率の高 い方向の学習を改善し、分散を 減らし、早く収束する 5
- 6. Slow weights • slow weightsの軌跡は各inner loopの最終的な fast weightsのEMAで特徴づけられる • 最初の方のfast weightsが混じってるのが分散 を減らすのに役立つ 6
- 7. fast weights • inner loop内では最適化手法をそのまま適用 • A:optimizer, L:loss, d:mini-batch • 新しいループを始めるときに、optimizerの内部状態 （e.g. momentum）を保持、補完、リセットする選択 肢が存在 • どれでも通常の最適化より性能が向上する • 以後の実験では全て保持 7
- 8. 計算コスト • 通常の最適化に青枠部分が増える • O( k+1 k ) 倍の操作量 8
- 10. αの選び方 • 前ページのαと固定のαで比較 • 固定でもそんなに変わらない • 以後の実験ではαは固定 10
- 11. Noisy quadratic analysis（分散について） • モデルを(4)で定義したとき、ロスの期待値は(5) • (5)が0となるときロスの分散は(6),(7) • α ∈ (0, 1)なのでLookaheadの方が小さい 11
- 12. 実験 • 画像 • cifar-10,100 • imagenet • 自然言語 • Penn Treebank dataset • WMT 2014 English-to-German dataset 12
- 13. cifar-10,100 • resnet-18で200エポックを3回試行 • inner loop用に学習率が最適化されていても Lookaheadの方が収束が早い • 分散が小さい 13
- 14. imagenet • resnet-50とresnet-152で90エポック(k=5, α=0.5) • resnet-50 • 50エポックで75% • resnet-152 • 49エポックで77% (resnetの元論文の値と同じ) • 60エポックで77.96% 14
- 15. Penn Treebank dataset • LSTMで750epoch • SGDはmomentumなし • LA（Adam）が最も早く収束 し，結果も一番いい 15
- 16. WMT 2014 English-to-German dataset • transformer based model • single TPU node • inner loopのロバスト性が高い • learning rate {0.02, 0.04, 0.06}の いずれも似た結果に 16
- 17. ハイパーパラメータに対するロバスト性 • α=0.5、k=5で学習率、モメンタムの探索 • どれでも似た結果に • αとkを少しチューニングすれば高い学習率が 使える • 分散が小さくなることと合致 17
- 19. Inner loop and outer loop evaluation • 65エポック目における1ステップごとのtest accuracyの推移 • fast weightsはパフォーマンスを下げている • inner loop(通常の最適化)の方が大きい分散であることを反映 • outer loopで分散を小さくして，精度も保っている 19
- 20. まとめ • NNの最適化の新手法Lookaheadを提案 • 学習の安定化、高速化 • ハイパーパラメータの違いにロバスト 20