如何检测textsum训练是否过度拟合？

Question

我正在使用Tensorflow 0.9，并使用Textsum模型进行训练。我搜集了大约130万篇文章，并且已经针对它们进行了大约一周的训练。平均损失约为1.75 - 2.1。我决定停下来运行eval，因为我的理解是，我的平均损失应该接近我通过训练获得的损失。当我运行eval时，我看到了2.6到2.9的平均损失。我只是想知道在执行这个运行时我应该看到什么。

我是否正确使用此训练/评估分析？我对深度学习有些陌生，并试图将其作为学习的一种方式，并通过一些其他阅读，似乎这可能是两者之间的一个很大的差异。

对不同的数据集进行评估是否有标准的容差，平均损失的差异应该是多少？在这一点上，我不确定我是应该继续训练，还是暂时止步于此，并试图弄清楚如何在tensorflow服务中运行它。我不想过度拟合这个模型，但从学术的角度来看，我们可以说我通过训练实现了过度拟合。我需要做些什么来“修复”它？你现在只是简单地获取更多的文章和数据作为培训，还是模型本质上是坏的和不可用的？

Answer 1

不能保证评估损失与训练损失相匹配。过拟合很难衡量，但如果评估损失随着训练的进行而增加，这是一个明显的迹象。