首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用tf会话更新基于网络输出的游戏状态以加强学习

问如何使用tf会话更新基于网络输出的游戏状态以加强学习
EN

Stack Overflow用户
提问于 2018-07-23 20:45:04
回答 1查看 32关注 0票数 0

我相信这个问题已经得到了回答,但我找不到任何能解决我具体问题的东西。

我想在玩具游戏中玩一些强化学习算法。给定一个特定的游戏状态,我希望网络预测动作A。给定的动作A,我会更新游戏状态,然后在这个新的游戏状态上再次调用网络。这会重复到游戏结束。

然而,我不知道如何通过网络的所有预测来反向传播渐变。下面是我的(非常粗略的) tensorflow伪代码,用来描述我的设想:

代码语言:javascript
复制
for game_step in range(max_game_steps):
    action = sess.run(predict_action, feed_dict={game_state: current_state})
    current_state = update_state(current_state, action)
backpropagate_error_through_all_actions()

在这个公式中,渐变只有它们的单个动作的上下文,而我不能通过所有的状态发送它们。我不能连续运行网络30次,因为我需要执行状态更新.我遗漏了什么?

我需要在tensorflow图中建模整个玩具游戏吗?这似乎不合理。

谢谢!

EN

回答 1

Stack Overflow用户

发布于 2018-07-25 05:27:26

在强化学习中,不要在tensorflow图中建模您的环境。为了方便起见,我将写下tensorflow图中应该包含的内容

  1. 占位符以获取输入状态信息
  2. 策略网络(如果使用策略梯度方法)--这是您的神经网络。
  3. 损失函数
  4. 优化器

然后在外部循环中保持您的环境运行。现在我将记下在图之外应该是什么样的函数。

  1. 一种函数,它可以访问环境,在采取操作后给出状态表示。
  2. 一个函数,它可以访问tensorflow图,它在将新的状态表示提供给 这个功能。
  3. 一个可以通过外部循环调用的函数序列,它可以在tensorflow图中运行优化器。

现在,您可能正在考虑从外部循环访问tensorflow图的最佳方式。总是使用tf.get_default_session()

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/51486977

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档