我相信这个问题已经得到了回答,但我找不到任何能解决我具体问题的东西。
我想在玩具游戏中玩一些强化学习算法。给定一个特定的游戏状态,我希望网络预测动作A。给定的动作A,我会更新游戏状态,然后在这个新的游戏状态上再次调用网络。这会重复到游戏结束。
然而,我不知道如何通过网络的所有预测来反向传播渐变。下面是我的(非常粗略的) tensorflow伪代码,用来描述我的设想:
for game_step in range(max_game_steps):
action = sess.run(predict_action, feed_dict={game_state: current_state})
current_state = update_state(current_state, action)
backpropagate_error_through_all_actions()在这个公式中,渐变只有它们的单个动作的上下文,而我不能通过所有的状态发送它们。我不能连续运行网络30次,因为我需要执行状态更新.我遗漏了什么?
我需要在tensorflow图中建模整个玩具游戏吗?这似乎不合理。
谢谢!
发布于 2018-07-25 05:27:26
在强化学习中,不要在tensorflow图中建模您的环境。为了方便起见,我将写下tensorflow图中应该包含的内容
然后在外部循环中保持您的环境运行。现在我将记下在图之外应该是什么样的函数。
现在,您可能正在考虑从外部循环访问tensorflow图的最佳方式。总是使用tf.get_default_session()
https://stackoverflow.com/questions/51486977
复制相似问题