为什么传输学习在较小的数据集上比在较大的数据集上更有效？

Question

与常规的监督学习相比，这个问题并不是关于转移学习的效用。

1.上下文

我正在学习健康监测技术，我在数据集上练习.目标是预测发动机的剩余使用寿命(RUL)给定传感器系列。在健康监测方面，一个主要的问题是故障实例数量少(一个人负担不起在飞机发动机上进行数千次运行失败测试)。这就是为什么转移学习已经被研究来解决这个问题，在深层递归神经网络在剩余寿命估计中的传递学习，张等人，2018年。我的问题是关于这篇文章的结果。

2.问题

composed数据集由4个子数据集组成，每个子数据集都有不同的工作模式和失效模式.上面引用的文章在这些子数据集之间执行迁移学习。特别是，当使用源数据集A上经过训练的模型的权重在目标子数据集B上训练模型时，它们不会对所有B数据集进行训练。他们进行了一个实验，测试目标数据集B的不同大小:他们尝试了整个数据集B的5%、10%、.和50%。

结果见第11页。除少数情况外，在较小的目标数据集上有较好的结果。在我看来，这似乎与直觉相反:模型如何在较少的例子中学习得更好？

为什么传输学习在较小的数据集上比在较大的数据集上更有效?

Answer 1

在您提供的文章中，在第11页的结果中，我认为不能得出结论，转移学习在较小的数据集上比在较大的数据集上更有效。

如果您查看迁移学习分数值(或RMSE)相对于学习大小的结果，则随着数据集大小的增加(例如E2或E5或E8)，效果也会越来越好。因此，转移学习并不能更好地在小数据集上工作。

然而，您可能会看到IMP指数，它基于有和不转移学习的学习的平均分数(或RMSE)。

IMP= (1−(WithTransfer)/(NoTransfer))×100

该指数基于两条曲线。

• WithTransfer即使在一开始就有很好的性能，因为当使用相关的迁移学习时，该模型已经可以从一个非常小的测试数据集中提取相关信息。
• NoTransfer将从性能差(难以概括)开始，然后随着测试数据的增加而增加。

然后，IMP索引有您指出的预期曲线，例如E2和E5。

Answer 2

转移学习原则上是为了利用从更大的通用数据集上获得的知识(即。动物图片分类)训练一个模型，使用一个更小的数据集(即，更小的数据集)来专注于一个更具体的任务。猫繁殖图片分类)。

迁移学习被称为领域适应，本质上是指通过利用在另一个环境中已经学到的知识来改进在一个环境中的泛化。它归结为利用从解决一个更通用的任务中学习到的模式来训练和解决一个更具体的任务，因为缺乏数据。