在机器学习中使用反馈还是强化？

Question

我正试图解决一些分类问题。许多经典的方法似乎都遵循类似的范式。也就是说，使用一些训练集来训练一个模型，而不是用它来预测新实例的类标签。

我想知道是否有可能在范例中引入一些反馈机制。在控制理论中，引入反馈回路是提高系统性能的有效途径。

目前，我认为一个直接的方法是，首先我们从一组初始的实例开始，然后用它们来训练一个模型。然后，每次模型进行错误的预测时，我们将错误的实例添加到训练集中。这与盲目扩大训练集是不同的，因为它更有针对性。在控制理论中，这可以看作是某种负反馈。

反馈方法是否正在进行研究？有人能给点线索吗？

Answer 1

有两个领域的研究，春天的想法。

第一个是强化学习。这是一个在线学习范例，允许您在观察结果时获得反馈并更新您的策略(在本例中是您的分类器)。

第二个是主动学习，分类器可以从一个非分类示例池中选择要标记的示例。关键是在现有的分类器假设下，通过选择困难的样本，使分类器选择标注的样本，从而提高分类的准确性。

Answer 2

我在的每一个机器学习项目中都使用了这样的反馈。它允许在较少的数据上进行训练(因此训练速度更快)，而不是随机选择数据。与随机选取的训练数据相比，模型的精度也得到了快速的提高。我正在处理图像处理(计算机视觉)数据，所以我正在做的另一种选择是添加集群错误(错误)数据，而不是添加每一个虚假数据。这是因为我假设我总是会有一些失败，所以我对正数据的定义是当它聚集在图像的同一区域时。

Answer 3

我不久前看到了本论文，这似乎就是你要找的东西。

它们基本上是将分类问题建模为马尔可夫决策过程，并使用ACLA算法进行求解。这篇论文比我在这里所能写的要详细得多，但最终他们得到的结果超过了多层感知器，所以这看起来是一种非常有效的方法。