正则化-将退出与早期停止相结合

Question

我正在用LSTM细胞建立一个RNN (递归神经网络)。我用时间序列来进行异常检测。

在训练我的RNN时，我使用的是0.5的下降率，当我的验证损失在增加时，我会以5次的耐心提前停止。

把辍学和早停结合起来有意义吗？

Answer 1

这是有道理的，它们只是两种不同的东西。

辍学只会使您的模型学习更加困难，通过它可以帮助模型的参数以不同的方式工作并检测不同的特性，但是即使有了退出，您也可能会超出您的训练集。

另一方面，早期停止使用到目前为止验证数据的最佳模型，可以防止模型过度拟合。

不过，为了简单起见，我认为较容易使用辍学(训练神经网络并不容易，而训练亦可能因多种不同原因而不成功，尽量减少训练失败的可能原因是一个好做法)。除非你有很短的时间来训练你的网络，以足够高的辍学率，你将确保你的模型是不过份的。

我最后的建议是:只需使用辍学。如果使用0.5的辍学率仍然不合适，设置更高的辍学率。

Answer 2

避免过早停工，坚持辍学。Andrew不建议提前停止他的一门关于有机体化1的课程，原因如下。对于典型的机器学习项目，我们对模型有以下一系列假设：

将训练集与成本函数很好地配合

↓

将开发集与成本函数很好地匹配

↓

将测试集与成本函数很好地匹配

↓

在现实世界中表现良好

我们想要的是能够瞄准这四个目标中的一个而不是其他目标的工具，以便更有效地改进我们的模型，这个概念被称为“正交化”。比方说，照片编辑应用程序中的不同选项，如亮度、对比度和饱和度调整，是相互独立或“正交”的。以下列举了四个目标的正交优化策略实例：

将训练集与成本函数很好地匹配(例如，更大的神经网络；Adam优化)

↓

将开发集与成本函数很好地匹配(例如正则化；更大的训练集)

↓

将测试集与成本函数很好地匹配(例如，更大的开发集)

↓

在现实世界中表现良好(例如改变测试集；改变成本函数)

由于早期停止训练集不太适合训练集，同时提高了开发集的性能，所以它不是正交的，Ng建议我们不要使用它。

参考资料：1课程第一周:课程3:课程深度学习专业的结构化机器学习项目