2022/06/10 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
論文解説：Offline Reinforcement Learning as One Big
Sequence Modeling Problem
Ryoichi Takase

2. 書誌情報
2
※注釈無しの図は本論文から抜粋
採録：NeurIPS 2021 (Spotlight)
関連するDL Papers：
2022/06/03: A Generalist Agent
2022/03/18: ODT: Online Decision Transformer
2021/07/09: Decision Transformer: Reinforcement Learning via Sequence Modeling
概要：
ダイナミクスモデルの学習にTransformerを使用
TransformerとBeam Searchと組み合わせ、Imitation Learning・Goal-conditioned RL・Offline RLで
既存手法と同等以上の性能を発揮

3. 背景
3
Offline RL:
環境との相互作用なしにデータセットから方策を学習
モデルベース強化学習：
ダイナミクスモデルを学習し、学習したモデルを用いて方策を改善
ダイナミクスモデルの学習の課題：
短いステップ数では予測誤差は小さいが
長い予測では誤差が積み重なり大きくなる

4. 提案手法
4
軌跡に関する長い時系列データ：
ダイナミクスモデルの学習にTransformerを応用したTrajectory Transformerを提案
Transformerの利点をいかして予測精度の向上を検討
軌跡のデータは自然言語処理の系列データと類似

5. 系列データの扱い方
5
T個の 「状態、行動、報酬」 のセットで構成される時系列データ
性能向上のためにデータを離散化
2通りの離散化
①Uniform:
データの最大値と最小値の差を語彙数で割り、データの値を等間隔に分割
②Quantile:
データの分布を等分割し、データ量を均等に分割
N:状態の次元数、M:行動の次元数
→ 系列データの長さはT(N+M+1)

6. モデル構造と損失関数
6
学習方法：
時刻t-1までのデータから時刻tの状態、行動、報酬を予測するように学習
交差エントロピー誤差を使用
𝜏<𝑡: 時刻0からt-1までの軌跡データ
𝑠𝑡
<𝑖
: 時刻tでの0からi-1次元までの状態
𝑎𝑡
<𝑖
: 時刻tでの0からi-1次元までの行動
モデル構造：
大規模言語モデルGPTの縮小版
ブロック数とSelf-Attentionヘッド数はともに４つ

7. 予測精度の比較
7
Transformer (提案手法)：
長い予測ステップでも高性能を維持
Markovian Transformer：
マルコフ性を持たせたTransformer (直前のデータのみを用いて予測)
Transformerと同程度の性能を発揮
Feedforward (既存手法) ：
ステップ数が長くなると誤差が拡大

8. 部分観測での精度比較
8
マルコフ性の条件付けだけでは不十分であることを示唆
→ 提案するTransformerの妥当性を強調
部分観測（観測値の50％をマスク）の場合の性能比較
Transformer (提案手法):
部分観測の場合でも一定の性能を維持
Markovian Transformer:
長い予測ステップでは提案手法と比べて性能が低下

9. Attentionの解析
9
２つのAttentionパターン
①マルコフ性の条件付け
→ 現在の状態と行動に予測が大きく依存
②数ステップ前への依存
線状の状態：過去の同じ次元の状態に依存
点状の行動：過去の自身の行動に依存

10. Beam Searchとの組み合わせ
10
Trajectory TransformerとBeam Searchを組み合わせ、以下の問題を解く
Imitation Learning:
Goal-conditioned RL:
Offline RL: Reward-to-go: でデータを拡張
と定式化
Algorithm 1をそのまま使用

11. Imitation Learning・Goal-Conditioned RLの結果
11
スタート ゴール
Imitation LearningやGoal-reachingで有用であることを確認
→ Beam Searchと組み合わせてTrajectory Transformerを様々なタスクに応用可能

12. Offline RLの結果
12
D4RLベンチマークを用いて性能検証
BC
MBOP
BRAC
CQL
DT
UniformとQuantileの2種類の離散化手法：
HalfCheetah Med-Expert以外は同等の性能
: behavior-cloning
: model-based offline planning
: behavior-regularized actor-critic
: conservative Q-learning
: decision transformer
→ 既存手法と同等以上の性能を発揮

13. 学習済み価値関数の利用
13
BC
CQL
IQL
DT
AntMazeで性能検証
→ 報酬が疎な環境で高性能を発揮
: behavior-cloning
: conservative Q-learning
: implicit Q-learning
: decision transformer
報酬が疎な環境では方策の改善が困難
→ Transformerが予測する報酬や価値を学習済み価値関数で置換

14. まとめ
14
ダイナミクスモデルの学習：
長期の予測による誤差を小さくするためにTrajectory Transformerを提案
→ 予測精度を高水準で維持
既存手法との性能比較：
Beam searchと組み合わせてImitation Learning, Goal-reaching, Offline RLの問題へ応用
→ 既存手法と同等以上の性能を発揮