强化学习需要多少特性？

Question

我正在努力学习和使用强化学习。现在，我的数据集中只有6个数字特性。我还能用RL吗？换句话说，是否可以使用RL来实现这样一些合理的特性？

Answer 1

在学习RL的基础知识(相对于使用神经网络的深层RL )时，考虑单个离散状态变量是比较常见的。例如，许多网格世界、迷宫求解者等等只是列举了这些位置。对于实际学习者来说，变量是有效的一个热编码，但它仍然是一个单一的变量.

状态特性的数量与RL是否适用无关。

假设您正确地将问题描述为马尔可夫决策过程(MDP)，那么需要考虑的重要事项是：

• 状态变量是否捕获了关于当前状态的足够数据，从而使问题具有马尔可夫性质 (仅使用当前状态和操作选择来预测未来的奖励和状态)？
• 在被用作学习算法的特性之前，是否需要对状态变量进行预处理？
• 你的状态空间，一旦变成功能，小和适合学习与简单的表格方法？
• 如果状态空间不小，简单的转换(例如使用离散平铺)会使问题变得简单，可能是线性的，还是复杂的？简单的问题可以用表格方法或线性逼近器进行调整，复杂的问题需要来自深度RL的方法，例如DQN或A3C。

Answer 2

它实际上取决于您有多少数据(样本)，而不是每个样本有多少特性。更重要的是，这取决于你计划如何将问题组织成一个有国家和行动的环境。