应付高变化或保持训练

Question

我建立了一个维度层= 203,100,100,100,2的神经网络。所以我有203个特征，得到了两个类。我认为，就我而言，没有必要开设两门课。我的结果是预测一个客户会放弃他的合同。所以我想一堂课就足够了(一节课退出，0节课)。如果我想在将来增加更多的输出类的话，我用两个类构建了这个网络，以保持它的灵活性。

我把辍学，batch_normalization，和体重衰减。我在和一个亚当优化师一起训练。一天结束后，我想到了

精度: 0.7826087，召回: 0.6624测试数据.

精度: 0.8418698，召回: 0.72445关于训练-数据

这意味着，如果我预测一个客户会辞职，我就能有78%的信心相信他真的会辞职。相反，如果他放弃合同，我以66%的预测，他会这样做。

所以我的分类器不坏。有一件事一直困扰着我:我怎么知道是否有机会做得更好？换句话说:是否有可能计算我的设置所确定的Bayes错误？或者说得更清楚一点:如果我的训练错误和测试错误的差异如此之大，我能肯定地得出结论，我有一个方差问题吗？或者，我是否有可能必须面对这样一个事实:测试的准确性无法提高？

我还能做什么更好的训练呢？

Answer 1

我放了更多的训练数据。现在我用70000张唱片，而不是45000张。我的研究结果：

精度: 0.81765974，召回: 0.65085715测试数据

精度: 0.83833283，召回: 0.708关于训练-数据

我很有信心这个结果是尽可能好的。谢谢你的阅读