![SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習](https://cdn.slidesharecdn.com/ss_thumbnails/200611ssii2020os2weaksupervision-200609142553-thumbnail.jpg?width=600&height=600&fit=bounds)
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Se está descargando tu SlideShare.
×
Eche un vistazo a continuación
Recomendado
Más Contenido Relacionado
Presentaciones para usted (20)
Más de harmonylab (20)
Más reciente (20)
Rainbow
- 1. Rainbow: Combining Improvements in Deep Reinforcement Learning Deep Leaningゼミ B4 細川喜生 2018/7/2
- 2. 論文概要 • 著者 Matteo Hessel, Joseph Modayil, Hado van Hasselt, Tom Schaul, Georg Ostrovski, Will Dabney, Dan Horgan, Bilal Piot, Mohammad Azar, David Silver • AAAI 2018 https://arxiv.org/abs/1710.02298 • 被引用数：36件（2018/6/28） • 複数のDQNの拡張モデルを組み合わせて出来たRainbowという ハイパフォーマンスな手法を提案し、当時のstate-of-the-art(最先端技術)となった 1
- 3. Rainbowとは？ 1. DQN 7つのモデルを 2. Double DQN(DDQN) 組み合わせる… 3. Prioritized Experience Replay 4. Dueling Networks 5. Multi-step Learning 6. Distributional RL 7. Noisy Nets 7つのモデルが持つ特性を 良い所取り！ Rainbow 2
- 4. 強化学習おさらい 環境エージェント ある状態において、ある行動を取った時の 価値Qを最大化する行動を探索（エピソード）によって学習する s:状態観測 a:行動 エピソード r:報酬 Q:行動価値 3
- 5. Q学習おさらい • Qの値を学習するためのアルゴリズムの一つ Q(st,at)=(1-α) Q(st,at)+α(rt+1+γmaxat+1(Q(st+1,at+1))) • 実際の報酬と見込みの差分（TD誤差）から学習していくTD学習の1つ • 行動した後の状態をもとに報酬と行動価値を判断する • 学習率αによってQ値の更新をどれだけ急激に行うかを制御している 4
- 6. 1.DQN Q学習+深層学習 特徴 ・Experience Replay エージェントの経験したサンプルを記録しておきそれを学習に利用 →学習データの相関をなくす ・Fixed Target Network 教師データのNNを遅れて更新→NNの出力を用いた学習の安定 ・報酬のclipping 報酬を-1,0,1に固定→ゲーム内容によらずDLを実行しやすい ・誤差関数：二乗誤差→Huber関数 誤差関数の出力を小さくして学習を安定させる 5
- 7. 2. Double DQN(DDQN) Q学習では価値が高くない行動を過大評価することで 学習に悪影響が出る場合がある 最適行動を選択する関数 行動価値関数Q Q値を評価する関数 Q関数を分割することで誤差の増大を防ぎ解決！ この考え方をDQNに用いて改良された手法がDDQN Yt=Rt+1+γQ（St+1,argmaxQ(St+1,a;θt);θ’t） 別のもの 6
- 8. 3.Prioritized Experience Replay ・Experience Replayでのサンプルに優先順位をつける ・どうやって？→TD誤差の大きさで優先順位をつける Rt+1+γ・argmaxQ(St,at+1)-Q(St,At) • 確率的サンプリングを採用 サンプルに優先順位をつけて学習して DQNのネットワークの誤差を小さくする！ at+1 7
- 9. 4.Dueling networks • Q値を状態の価値V(s)と行動のアドバンテージ価値A(s,a)に分けて学習する手法 Q(s,a)=V(s) + A(s,a) 実際は完璧にV値とA値を推定することは出来ないので 以下の式で計算する • Q(s,a) = V(s)+(A(s,a) – 1 |𝐴| ΣA(s,a)) A値とA値の平均の差分を用いる V値が行動に左右されずに学習可能 学習が安定する！ 引用:Dueling Network Architectures for Deep Reinforcement Learning Q(s,a) Q(s,a) V(s) A(s,a) 従来のDQN Dueling DQN 8
- 10. 5. Multi-step learning • 学習に用いる報酬を1-stepの報酬からn-stepに拡張した手法 報酬： • Rainbowではn=1,3,5を比較し、最も良かったn=3を使っている TD誤差(n=3)： 大きくしすぎてもバイアスが大きくなる 適切なnの設定が重要 学習の高速化につながる！ 9
- 11. 6. Distributional RL • DQNではQ関数を収益の期待値で表現している これは状態・行動に分布が左右される • その期待値を分布として学習する手法 学習が安定する！ 例 FREEWAY 鳥に当たらないように車を動かすゲーム 鳥 車 引用：A Distributional Perspective on 10
- 12. 7. Noisy Nets • ε-greedy法による探索では確率εでランダムに行動する、しかし… εに左右されやすく、設定が難しい 最初の報酬を得るのに多くの行動選択枝があると難しい • どのくらいランダムにするかをノイズを用いてネットワークに学習させる 通常の全結合 Noisy Nets どのくらいランダムにするかの ランダムなノイズ 学習パラメータ 探索効率の改善！ 11
- 13. 実験方法 • 57種類のAtari2600のゲームで比較実験 例 エイリアン スペースインベーダー 1. DQNの拡張モデル6つとRainbowの比較 2. Rainbow（7種のモデル）と1つ抜き（6種のモデル）の比較 12
- 14. 実験結果 1.他モデルとの比較 • 右図：他のモデルとRainbowのスコアの比較図 • 縦軸：スコア • 横軸：学習に用いたフレーム数 • ７MフレームでDQNの最高スコア、 44Mフレームでその他の全モデルの 最高スコアを上回る • 大幅なスコアの更新に成功 引用：Rainbow: Combining Improvements in Deep Reinforcement Learning 13
- 15. 実験結果 1.他モデルとの比較 • 下図：どのくらいの速度で人間のパフォーマンスに到達するか • 縦軸：ゲーム数 • 横軸：学習に用いたフレーム数 • 学習の速度も向上した 20% 50% 100% 200% 500% 引用：Rainbow: Combining Improvements in Deep Reinforcement Learning 14
- 16. 実験結果 2.1種抜けとの比較 • 右図：Rainbowから1種抜いたモデルとRainbowのスコアの比較図 • 縦軸：スコア • 横軸：学習に用いたフレーム数 • PriorityとMulti-step抜き…影響が大きい 早い段階でパフォーマンスに大きな影響 • DoubleとDuel抜き…影響が小さい 引用：Rainbow: Combining Improvements in Deep Reinforcement Learning Double 影響力大！ Multi-step Priority DQN Noisy 影響力小 Duel Dis 15
- 17. 実験結果 2.1種抜けとの比較 ゲーム毎のパフォーマンス • PriorityとMulti-step抜き…ほとんどのゲームでRainbowより低く、影響大 全57ゲーム中53で影響を及ぼしている。 • Noisy抜き…ゲームによって影響がまちまち • DoubleとDuel抜き…影響は小さいが、Duelはゲームによっては影響大 引用：Rainbow: Combining Improvements in Deep Reinforcement Learning No Double No Multi-step No Priority No Noisy No Duel No Distribution 16
- 18. まとめ • Rainbowは7種のDQNモデルを合わせたモデルで、従来手法より パフォーマンスが大幅に向上した • Prioritized Experience ReplayとMulti-step Learningが特に重要 • Pythonでの実装 https://github.com/Kaixhin/Rainbow 17
- 19. 参考文献 • Deep Reinforcement Learning with Double Q-learning Hado van Hasselt, Arthur Guez, David Silver • Prioritized Experience Replay Tom Schaul, John Quan, Ioannis Antonoglou, David Silver • Dueling Network Architectures for Deep Reinforcement Learning Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas • A Distributional Perspective on Reinforcement Learning Marc G. Bellemare, Will Dabney, Rémi Munos • Noisy Networks for Exploration Meire Fortunato, Mohammad Gheshlaghi Azar, Bilal Piot, Jacob Menick, Ian Osband, Alex Graves, Vlad Mnih, Remi Munos, Demis Hassabis, Olivier Pietquin, Charles Blundell, Shane Legg • https://github.com/arXivTimes/arXivTimes/issues/439 18
