d3rlpy离线强化学习算法库安装及使用

GitHub - takuseno/d3rlpy: An offline deep reinforcement learning library

d3rlpy，离线强化学习算法库

我装在windows下用anaconda，按照官网教程

conda install -c conda-forge d3rlpy

第一次安装报错CondaSSLError: OpenSSL appears to be unavailable on this machine

[报错解决]CondaSSLError: OpenSSL appears to be unavailable on this machine. OpenSSL is required to downl_一件迷途小书童的博客-CSDN博客

参考这篇文章解决后正常安装没问题，值得注意的是d3rkpy安装时包含cudatoolkit11.几，我在想这个在不同电脑上可能之后会出错，不过后面运行算法时可以选择是否使用GPU

我是打算用离线强化学习算法，安装后测试，官网上也有测试代码

import d3rlpy# prepare dataset
dataset, env = d3rlpy.datasets.get_d4rl(&＃39;hopper-medium-v0&＃39;)# prepare algorithm
cql = d3rlpy.algos.CQL(use_gpu=True)# train
cql.fit(dataset,eval_episodes=dataset,n_epochs=100,scorers={&＃39;environment&＃39;: d3rlpy.metrics.evaluate_on_environment(env),&＃39;td_error&＃39;: d3rlpy.metrics.td_error_scorer,},
)

看得出来，这接口用起来非常方便啊

因为我没装d4rl所以肯定是失败了，d4rl数据集查了下资料可能无法装在windows环境下，有点难办。可以使用下面这个在测试，用的是d3rlpy自带用于测试的数据集，也是比较常用的两个环境，具体是在d3rlpy的文档上找到的

import d3rlpy# prepare dataset
# dataset, env = d3rlpy.datasets.get_d4rl(&＃39;CartPole-v0&＃39;)
dataset, env = d3rlpy.datasets.get_pendulum("random")# prepare algorithm
cql = d3rlpy.algos.CQL(use_gpu=True)# train
cql.fit(dataset,eval_episodes=dataset,n_epochs=100,scorers={&＃39;environment&＃39;: d3rlpy.metrics.evaluate_on_environment(env),&＃39;td_error&＃39;: d3rlpy.metrics.td_error_scorer,},
)

资料很充分，d3rlpy文档：d3rlpy.datasets.get_cartpole — d3rlpy documentation

 成功运行：

如果失败的话可能是下载失败，

在这找到下载网址，自己下载到本地，改成规定的名字即可，放到对d3rlpy_data文件夹里，再运行时就不需要在线下载了，比如这样

之后回到d4rl，我打算把自己的数据集按照d4rl的格式来编写，但我不打算装d4rl

可以看到在d3rlpy中读取d4rl的数据集主要是用d4rl中的get_dataset函数，于是我索性把d4rl中这个函数搬到d3rlpy中，其实就是读取h5格式的函数，也挺好移植，主要也就这一段

data_dict = {}with h5py.File(h5path, &＃39;r&＃39;) as dataset_file:for k in tqdm(get_keys(dataset_file), desc="load datafile"):try: # first try loading as an arraydata_dict[k] = dataset_file[k][:]except ValueError as e: # try loading as a scalardata_dict[k] = dataset_file[k][()]

注意还需要

import h5py
from tqdm import tqdm

和


def get_keys(h5file):keys = []def visitor(name, item):if isinstance(item, h5py.Dataset):keys.append(name)h5file.visititems(visitor)return keys

至于原先是个类，我感觉好像也不需要，同时还是把在线改掉，直接变成一个绝对位置（这个在d4rl中也可以找到下载的网址）

h5path = "D:\xxx_project\pycharm\offline_RL\d3rlpy_data\hopper_random.hdf5"

运行成功

我考虑下一步制作自己的hdf5格式数据集，及做下自己的gym环境

甚至不能算是入门，希望没有问题，欢迎指正