如何将tf-agent的轨迹对象存储在python的大查询中，并将其作为弹道对象检索

Question

我想将tf-代理的轨迹保存到一个大的查询表中，并希望根据需要再次将它们检索回python。

在python中，将轨迹保存为轨迹对象。但是，我不知道如何将这些轨线对象保存到大型查询中，并将它们检索回python中。在大型查询中将它们保存为字符串是行不通的，也不能将个人组件(动作、奖励等)保存为字符串。

这是一个样本轨迹对象，我想把它保存起来，并作为轨迹返回给熊猫。

Trajectory(
{'action': <tf.Tensor: shape=(1,), dtype=int32, numpy=array([2], dtype=int32)>,
 'discount': <tf.Tensor: shape=(1,), dtype=float32, numpy=array([0.], dtype=float32)>,
 'next_step_type': <tf.Tensor: shape=(1,), dtype=int32, numpy=array([2], dtype=int32)>,
 'observation': <tf.Tensor: shape=(1, 3), dtype=int32, numpy=array([[0, 1, 1]], dtype=int32)>,
 'policy_info': PolicyInfo(log_probability=(), predicted_rewards_mean=(), multiobjective_scalarized_predicted_rewards_mean=(), predicted_rewards_optimistic=(), predicted_rewards_sampled=(), bandit_policy_type=()),
 'reward': <tf.Tensor: shape=(1,), dtype=float32, numpy=array([-1000.], dtype=float32)>,
 'step_type': <tf.Tensor: shape=(1,), dtype=int32, numpy=array([2], dtype=int32)>})

Answer 1

使用pickle.dumps()将每个轨迹作为泡菜数据存储到大查询列中。使用的大查询数据类型是轨迹对象的“字节”。

再次使用pickle.dumps()检索泡菜