オフライン強化学習

主要ライブラリ

• 機械学習ライブラリ：PyTorch: An Imperative Style, High-Performance Deep Learning Library
• デバッグツール：Weights & Biases

強化学習ベンチマーク環境

• mujoco-py
• Gym
• D4RL

Important

Dockerで環境構築しない場合は，MuJoCoのインストールが必要です．

環境構築

git clone https://github.com/sql-hkr/offline-rl
cd offline-rl
python setup.py develop

Dockerで環境構築

Dockerをインストールした上で以下を実行してください．

git clone https://github.com/sql-hkr/offline-rl
cd offline-rl
docker build -t offline-rl .
docker run --gpus all -it -v $PWD:/workspace offline-rl

• Dockerイメージ：Dockerfile

Note

Dockerを用いた環境構築を推奨します．

実行手順

下記４項目を入力の上，実行してください．

• アルゴリズム名：--algo_name
• タスク：--task
• 乱数シード：--seed
• ペナルティ項の反映率：--lam

python train_d4rl.py --algo_name={algo} --task {env} --seed 0 --lam 0.1

Tip

SCQLアルゴリズムを用いてタスク：walker2d-medium-v2を実行する場合

python train_d4rl.py --algo_name=scql --task walker2d-medium-v2 --seed 0 --lam 0.1