AzureML RL是否支持PyTorch？

Question

AzureML RL是否支持PyTorch？

由于RLlib本身支持PyTorch作为框架，我尝试用PyTorch运行AzureML RL，但失败了。

我参考了this page以了解如何指定框架。

我将“框架”：“torch”添加到我的AzureML RL实验的配置中，但它失败了。

以下是训练脚本中的代码片段。

tune.run(
    run_or_experiment="PPO",
    config={
        "env":"CartPole-v0",
        "env_config":env_config,
        "num_gpus":0,
        "num_workers":1,
        "callbacks":callbacks,
        "framework": "torch",
    },
    stop=stop,
    checkpoint_freq=2,
    checkpoint_at_end=True,
    local_dir='./logs',

Answer 1

Ray对PyTorch的支持是存在的，但远没有它对Tensorflow的支持那么广泛。

PyTorch是否适用于您的问题取决于您正在使用的Ray/RLLib的版本，您正在运行的算法，有时甚至取决于环境的性质(特别是动作和观察空间)。

我建议首先确保您使用的是最新版本的Ray。您可以通过在ReinforcementLearningEstimator的配置中指定一个Pip包来选择一个版本(这将在您的笔记本代码中，而不是在培训脚本中)。您可以添加类似以下内容的代码：

pip_packages=["ray[rllib]==0.8.7"]

然后，在您的ReinforcementLearningEstimator设置中，确保设置了pip_packages

rl_estimator = ReinforcementLearningEstimator(    
    ...
    # Pip packages
    pip_packages=pip_packages,  
    ...