减少训练损失，稳定的验证损失-模型是否过拟合？

Question

我的模型是不是太合适了？如果验证损失大幅增加，而训练损失减少，我肯定它会过度拟合。然而，验证损失几乎是稳定的，所以我不确定。你能帮帮忙吗？

​

​

Answer 1

我假设你使用的是不同的超参数，

• ？也许可以省钱

参数，并使用一组不同的超参数恢复。

这条评论实际上取决于你是如何做超参数的

具有不同训练/测试拆分的optimization.

• Try。这可能是一种特殊现象。特别是在训练模型和评估模型的成本方面epochs.

• Depending如此之少的情况下，考虑将模型打包，类似于随机森林的运行方式。换句话说，将您的模型适合于许多不同的训练/测试分割，并根据多数分类投票或预测概率的平均值对模型输出进行平均。在这种情况下，我会错误地选择一个稍微过拟合的模型，因为平均可以减轻过拟合。但我也不会训练到死，除非你打算拟合非常非常多的神经网络，并以某种方式确保你将它们与随机森林中的随机子空间方法解相关。