在这种情况下，哪种模式更好？

Question

有两种神经网络模型。

第一种模型不存在正则化，从历元到第十阶段都存在过拟合现象，因此该模型在第9期停止训练，验证损失最小发生在历元9次。

第二种模型具有正则化(Dropout)，不显示过度拟合。因此，这种模式比第一种模式的训练时间长得多。但最小验证损失值并不高于第一模型的最小验证损失值。尽管这个模型可以训练得更多，但是这个模型似乎没有达到第一个模型的最小验证损失的值。

这些模型训练相同的数据集和结构几乎相同，除了是否使用正则化。

在这种情况下，哪一种更好？

Answer 1

我不会使用第一个，如果你可以肯定地说，它是过分合适的。损失值是根据训练集而不是测试集计算的，因此该值可能很高，但这并不意味着模型对测试数据的性能会很好。如果第二个模型在后期继续得到不同的损失值，但损失并没有减少，您可以尝试修改参数或模型结构以找到正确的平衡。但我更倾向于相信一个在大多数情况下都不会过火的模型。