深度学习，损失不减

Question

我尝试使用一个有20个类的训练集来优化一个预先训练好的模型。值得一提的是，尽管我有20个班级，但其中一个班级包含1/3的训练图像。这是不是我的损失没有减少，测试准确率几乎达到30%的原因？

感谢您的建议

Answer 1

我也遇到过类似的问题。我通过增加神经网络权重的初始值的方差来解决这个问题。这作为神经网络的预处理，以防止权重在后部支撑过程中消失。

我在Jenny Orr教授的课程中偶然发现了neural network lectures，发现它提供了非常丰富的信息。(我刚刚意识到，詹妮在早年与Yann LeCun和Leon bottou共同撰写了许多关于神经网络训练的论文)。

希望它能帮上忙！

Answer 2

是的，这很可能是你的网对不平衡的标签过度拟合。一种解决方案是您可以在其他标签上执行数据增强，以平衡它们。例如，如果你有图像数据:你可以做随机裁剪，水平/垂直翻转，各种技术。

编辑：

检查是否过度拟合不平衡标签的一种方法是计算网络预测标签的直方图。如果它非常偏向不平衡的类，你应该尝试上面的数据增强方法，并重新训练你的网络，看看这是否有帮助。