在线学习、增量学习和顺序学习有区别吗？

Question

我的意思是:我们不是一次处理所有的训练数据和计算一个模型，而是一次处理一个数据点，然后直接更新模型。

我见过“在线(或在线)学习”和“增量学习”这两个术语。有细微的区别吗？有一个词用得更频繁吗？还是取决于研究团体？

编辑:毕晓普书(模式识别和机器学习)使用在线学习和顺序学习作为同义词，但没有提到增量学习。

Answer 1

虽然这两个概念的定义是模糊的，但在线学习和增量学习方法之间的差别很小。

在在线学习方法中，对模型进行更新以适应新的数据。模型可能会忘记以前学过的推理，称为灾变干扰。

而在增量方法中，即使在更新模型时，也不会忘记以前的推断。

Answer 2

根据这篇文章，两种学习方法(在线和增量)都是为了在数据动态时学习(更新)一个模型，以获得与批量设置(即静态数据)中学习的模型相同的模型。区别在于在线学习是在训练实例逐个到达时学习模型，而增量学习则是在新的一批数据实例到达时更新模型。表1列出了在线学习和增量学习的比较，需要注意的是，所有现有的在线学习框架都可以用于增量学习，因为在线学习算法可以处理1到1的新数据。