安装稳定基线的正确方法？

Question

我正在尝试安装稳定的基线，并从在线手册的开始部分运行第一个两行，但没有任何选项是可行的。我一开始

pip install stable-baselines

现在当我跑：

import gym
from stable_baselines.common.policies import MlpPolicy

我得到了

No module named 'tensorflow.contrib'

这显然是因为tensorflow版本2没有tensorflow.contrib。但是版本2于2019年9月发布。我真的必须只使用tensorflow版本1吗？

安装稳定基线并运行这个简单示例的正确方法是什么？

我试过了

pip install stable-baselines3 

在虚拟环境中。这就产生了一个不同的错误：

In [2]: from stable_baselines.common.policies import MlpPolicy
---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
Input In [2], in <module>
----> 1 from stable_baselines.common.policies import MlpPolicy

ModuleNotFoundError: No module named 'stable_baselines'

In [3]: from stable_baselines3.common.policies import MlpPolicy
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
Input In [3], in <module>
----> 1 from stable_baselines3.common.policies import MlpPolicy

ImportError: cannot import name 'MlpPolicy' from 'stable_baselines3.common.policies' (/home/raph/RL/stable-baselines/venv/lib/python3.8/site-packages/stable_baselines3/common/policies.py)

Answer 1

引用github自述

注意:稳定的基线支持Tensorflow版本，从1.8.0到1.14.0。计划支持Tensorflow 2 API。

同样的github也建议使用stable-baselines3，因为stable-baselines目前只被维护，其功能没有扩展。因此，我不希望TF1 -> TF2很快更新。

如果您无法安装此版本的tensorflow，我建议使用stable-baselines3并遵循示例。上面发布的代码与stable-baselines3文档不一致，后者将MlpPolicy导入为

from stable_baselines3.sac.policies import MlpPolicy

Answer 2

根据稳定基线文档，您只能使用Tensorflow版本1.8.0到版本1.15.0。

如果您想运行Tensorflow 1，并且希望使用pip作为包管理器，则需要安装pythonVersion3.7或更低版本。我在我的ubuntu终端上做了下面的工作

sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt update
sudo apt install python3.7
sudo apt install virtualenv
virtualenv --python=/usr/bin/python3.7 <env-name>
source <env-name>/bin/activate
pip install tensorflow==1.15.0
...

或者，您可以尝试使用这指南，该指南给出了如何将某些东西迁移到Tensorflow版本2的说明。