迁移学习与元学习的差异

Question

meta learning和transfer learning有什么区别？

我读过两篇关于奎拉和TowardDataScience的文章。

元学习是机器学习理论的一部分，其中一些算法被应用于关于案例的元数据上，以改进机器学习过程。元数据包括所使用算法的属性、学习任务本身等，利用元数据可以更好地决策选择的学习算法，从而更有效地解决问题。

和

迁移学习的目的是改进学习新任务的过程，利用解决以前类似问题所获得的经验。在实践中，大多数情况下，机器学习模型都是为了完成单个任务而设计的。然而，作为人类，我们利用过去的经验，不仅在未来重复同样的任务，而且学习全新的任务。也就是说，如果我们试图解决的新问题与我们过去的一些经验相似，那对我们来说就更容易了。因此，为了在机器学习中使用相同的学习方法，迁移学习包括传递一个或多个源任务的过去经验的方法，并利用它来促进相关目标任务的学习。

这些比较仍然让我感到困惑，因为两者在可重用性方面似乎有很多相似之处。Meta learning被称为“模型不可知论者”，但它使用了来自以前学习任务的元数据(超参数或权重)。它同样适用于transfer learning，因为它可以重用部分经过训练的网络来解决相关的任务。我知道有很多地方要讨论，但广义来说，我看不出两者有多大分别。

人们也使用像meta-transfer learning这样的术语，这让我认为这两种类型的学习有很强的联系。

Answer 1

在迁移学习中，我们使用一个较大的数据集对模型参数进行预训练，然后利用这些参数作为初始参数来细化具有较小数据集的其他任务。这种经典的预训练方法不能保证学习一种有利于微调的初始化。在元学习中，我们学习了一组初始的参数，这些参数可以在另一个类似的任务上很容易地细化，只需几个梯度步骤。它通过微调过程直接优化此初始化的性能。

Answer 2

我认为最主要的区别是迁移学习期望任务之间大部分是相似的，但元学习却不是这样。

在迁移学习中，任何参数都可以传递给下一个任务，但是元学习更具有选择性，因为传递的参数应该编码如何学习，而不是如何解决以前的任务。