![今回取り上げるのはこれ
[1] Z. Wang, et. al “Dueling Network Architectures for Deep
Reinforcement Learning.”
arXiv1511.06581. 2016.
Q値をV値と行動aに分離することにより性能を向上させ
た！](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Destacado
Destacado (14)
Más de WEBFARMER. ltd.
Más de WEBFARMER. ltd. (20)
introduction to Dueling network
- 2. 今回取り上げるのはこれ [1] Z. Wang, et. al “Dueling Network Architectures for Deep Reinforcement Learning.” arXiv1511.06581. 2016. Q値をV値と行動aに分離することにより性能を向上させ た！
- 5. DQNからDueling Networkまで DQN 2013Nips 評価のQと選択 のQを分ける DQN 2015Nature DDQN Prioritized Replay Qを時々コピー 学習用データを 選別？ Dualing Networks 状態 s と行動 a の advantageを分ける
- 6. まず強化学習の基本から the value of the state-action Qπ s,a( )= E Rt st = s,at = a,π⎡⎣ ⎤⎦ Vπ s( )= E a≈π a( ) Qπ s,a( )⎡⎣ ⎤⎦the value of the state st st+1 st+2 st+2st+1 st+1 at 1 at 2 at 3 Qπ s,a( ) Vπ s( )
- 7. the advantage functionを定義 the value of the state-action Qπ s,a( )= E Rt st = s,at = a,π⎡⎣ ⎤⎦ Vπ s( )= E a≈π a( ) Qπ s,a( )⎡⎣ ⎤⎦the value of the state st st+1 st+2 st+2st+1 st+1 at 1 at 2 at 3 Qπ s,a( ) Aπ s,a( )= Qπ s,a( )−Vπ s( )the advantage function Vπ s( ) 差をとってる から を引いて とする Vπ Qπ Aπ
- 8. the advantage functionとは st st+1 st+1 st+1 at 1 at 2 at 3 Qπ s,a1 ( )= 3 それってどういうこと？ 例えば状態 からの行動 に対する 値がそれぞれ・・・ Qπ s,a2 ( )= 4 Qπ s,a3 ( )= 2 ・・・の時 st at Q
- 9. the advantage functionとは st st+1 st+1 st+1 at 1 at 2 at 3 Qπ s,a1 ( )= 3 はざっくり・・・ Qπ s,a2 ( )= 4 Qπ s,a3 ( )= 2 V Vπ s( )= E a≈π a( ) Qπ s,a( )⎡⎣ ⎤⎦= 3+ 4+ 2 3 = 3 Vπ s( )
- 10. the advantage functionとは st st+1 st+1 st+1 at 1 at 2 at 3 Qπ s,a1 ( )= 3 は・・・ Qπ s,a2 ( )= 4 Qπ s,a3 ( )= 2 A Aπ s,a( )= Qπ s,a( )−Vπ s( )= 4−3=1!Aπ s,a1( ) 3−3= 0!Aπ s,a2( ) 2 −3= −1!Aπ s,a3( ) ⎧ ⎨ ⎪ ⎪ ⎩ ⎪ ⎪ となる Aπ s,a1 ( ) Aπ s,a3 ( ) Aπ s,a2 ( ) Vπ s( )
- 12. 実際の計算 Aの平均を０として足し合わせる Q s,a;θ,α( )=V s;θ,β( )+ A s,a;θ,β( )− 1 Α A s,a';θ,α( ) a' ∑ ⎛ ⎝ ⎜⎜ ⎞ ⎠ ⎟⎟ 平均を引く Q s,a;θ,α( ) V s;θ,β( ) A s,a;θ,β( )
- 13. おわり