回答情况：
提问时间：
问题标签：
我想在Rllib中设置"actor_hiddens“，也就是PPO策略网络的隐藏层，并能够设置它们的权重。这个是可能的吗？如果是，请告诉我是怎么做的？我知道如何在Rllib中为DDPG这样做，但是PPO的问题是我找不到策略网络。谢谢。
浏览 81提问于2021-01-10得票数 0
回答已采纳
我想试试这个命令：但是 rllib 是找不到的，我可以通过在rllib源代码中直接执行train.py来实现这一点，但是使用命令运行肯定更优雅下面是我安装ray的命令：我尝试在/没有虚拟环境的情况下安装它，两者都失败了。
浏览 0修改于2020-12-26得票数 0
我设置了一个非常简单的多代理环境，以便与ray.rllib配合使用，并且我正在尝试运行PPO与随机策略培训场景的简单基准测试，如下所示： File "/home/me/anaconda3/envs/dorsa/lib/python3.7/site-packages/ray/rllibself.config,
浏览 20提问于2020-04-10得票数 1
上次我看到库rllib：。它有令人惊奇的强化学习功能，但不幸的是，我无法找到一种方法来输入图像作为一个观察，而不平坦(我基本上想使用卷积神经网络)。有没有任何方法可以使用rllib库在模型中输入图像观察？
浏览 7提问于2022-09-08得票数 0
我使用anaconda在我的m1 pro膝上运行rllib。使用以下说明：conda activate rllibpip installtorch
然而，我得到的模块射线是找不到的(“No module named 'ray.rllib'; 'ray' is not a package”)。pip列表-> in
浏览 6提问于2022-04-13得票数 0
回答已采纳
我对Ray RLlib非常陌生，在使用我的团队制作的自定义模拟器时遇到了问题。我们正在尝试将一个基于Python的自定义模拟器集成到Ray RLlib中，以完成单个代理的DQN培训。但是，我不确定如何将模拟器作为一个环境集成到RLlib中。外部环境：然而，下面的图像和RLlib文档给我带来了更多的困惑，因为这意味着可以在RLlib控制之外独立运行的外部模拟器应该通过ExternalEnv类使用。
浏览 0提问于2020-12-17得票数 1
回答已采纳
我试着用RLLib复制突破的DQN分数。5米台阶后，平均奖励为2.0，而使用DQN的已知突破得分为100+。我想知道这是否是因为奖励剪辑，因此实际奖励不符合Atari的分数。RLLib的情况也是这样吗？在训练过程中有什么方法可以看到实际的平均分数吗？
浏览 10提问于2019-11-03得票数 2
我正在尝试找出RLLib如何有效地利用帧，即它如何避免将重复的帧保存到内存中，这在OpenAI基线中是通过LazyFrames完成的。在Ray的RLLib atari_wrapper.py中，似乎所有的观测值都以普通的ndarray格式存储：这样做是因为PyArrow即使是这样，假设RLLib中的_get_ob输出是4个观测值的串联数字数组，那么内存需求不是比分别保存4个观测值并通过射线对象in链接它们要高得多吗？这里我漏掉了什么？
浏览 12提问于2019-07-18得票数 0
回答已采纳
在rllib示例中提供了一个参数/可变长度的动作模型。该示例假设输出为单个分类操作dist的逻辑。如何用更复杂的输出来完成这项工作？假设我们的obs空间有两个部分。第一个约束是内嵌的。无效动作可以在没有观察空间的情况下确定。
浏览 1提问于2021-02-28得票数 1
Rllib文档提供了一些关于如何的信息。有一些关于注册该环境的信息，但我想它需要与不同的工作方式。include gym_corridor
对于注册rllib的环境，我还不清楚是否有同样的方法。
浏览 15提问于2019-10-25得票数 6
回答已采纳
TL;DR: RLlib的rollout命令似乎是在训练网络，而不是评估。
我正在尝试使用Ray RLlib的DQN在定制的模拟器上训练、保存和评估神经网络。然后，我使用rllib rollout命令在CartPol-V0中测试了1000集的网络。在前135集中，episode_reward_mean评分很糟糕，从10到200。因此，rllib rollout似乎是在训练网络，而不是评估。我知道情况并非如此，因为在rollout.py模块中没有培训代码。但我不得不说，这看起来真的像是训练。checkpoint_at_end
浏览 4修改于2021-01-19得票数 0
我使用Ray & RLlib在Ubuntu系统上训练RL代理。Tensorboard用于监视培训进度，方法是将其指向~/ray_results，其中存储所有运行的所有日志文件。雷·特恩没有被使用。例如，在启动新的Ray/RLlib培训运行时，将在要可视化培训进度，我们需要启动Tensorboard问题：是否可
浏览 5修改于2020-06-07得票数 11
我是深RL的初学者，我想用PPO算法在RLLIB中训练我自己的健身环境。但是，我在查看我的超参数设置是否成功时遇到了一些困难。
浏览 5提问于2020-03-13得票数 0
我想在不同的代码中使用经过rllib训练的策略模型，在那里我需要跟踪为特定输入状态生成的操作。使用标准的TensorFlow或PyTorch (首选)网络模型可以提供这种灵活性，但我找不到关于如何从经过训练的rllib代理生成可用的dat或H5文件的明确文档，然后我可以将其加载到torch或tf
浏览 38提问于2020-08-23得票数 1
=Charlies-MBP.fios-router.home) raise e
File "/Users/charliehou/anaconda3/lib/python3.6/site-packages/ray&#x
浏览 12修改于2020-04-26得票数 2
我有一个基本的自定义模型，它本质上只是默认的RLLib完全连接模型()的复制粘贴，并且我通过一个配置文件传递自定义模型参数，其中包含一个"custom_model_config": {}字典。此配置文件如下所示：custom_model: test_model
custom_model_config: # L2 regularization value for fully connected layers
"l2_r
浏览 21提问于2020-07-13得票数 1
我还没有在文档中看到任何允许我在keras中打印像print(model.summary())这样的模型快速摘要的东西。我试过用tf-slim和slim.model_analyzer.analyze_vars(variables, print_info=True)有没有一种现有的
浏览 5提问于2022-01-04得票数 0
回答已采纳
我有一些离线经验：(s，a，r，s')，它们是由启发式生成的。我想在培训SAC代理时使用这些工具。在使用时，使用示例SAC准备数据时会出现错误。这是一个，其中的问题暴露在pendulum V0环境中。我从错误消息中了解到，SAC需要一些“权重”(有时是“不”？！)除了作为离线数据生成的体验之外。我能否仅使用SAC的离线体验(s，a，r，s')？
浏览 2提问于2021-01-18得票数 1
/flow/visualize/visualizer_rllib.py data/trained_ring 200 --horizon 2000File "/Users/mac/anaconda3
浏览 19修改于2020-02-21得票数 0
您可以将{"num_envs_per_worker"：M}配置为让RLlib为每个工作人员创建M并发环境。RLlib通过VectorEnv.wrap()自动矢量化健身房环境。
Src：
浏览 6提问于2020-03-03得票数 2
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号