图像增强会使性能变差

Question

我正在做一个图像分割项目，并一直在尝试采用图像增强技术来增加训练集的大小。起初，我只是尝试使用水平翻转来使图像大小加倍，但我发现其性能比不使用它要差得多。有什么可以分享的见解吗？谢谢。

Answer 1

所以基本上你需要回答你自己一个重要的问题：是一个翻转的图像，在你的域中是一个有效的图像？

1. 如果没有-那么它可能会损害您的训练过程，因为您为网络提供了无效的输入，这可能会在您的数据中学习您的网络虚假模式。翻转可能会损害你的训练，这并不罕见--例如，在标识识别中，为了正确学习标志，不要改变数据的方向是很重要的。
2. 如果是，那么可能有很多不同的原因导致你的模型表现更差。其中之一可能是它的容量太小，无法学习数据中的所有模式。第二，你没有足够的例子，当你添加翻转的图像时，它实际上记录了你训练案例的负载。另一件事是，也许你学习它的时间太短了，将迭代次数设置为更大的值可能是一个好主意。

有一件事是肯定的-你的模型不能很好地推广，因为你翻转的数据是有效的。

Answer 2

当您说数据增强的性能更差时，您是在同一数据集上比较这两种情况吗？

我只是犯了一个错误，将在增强数据集上使用数据增强训练的模型的准确性与在常规数据集上未进行数据增强训练的模型的准确性进行比较。

我惊讶地发现，随着数据的增加，准确性会变得更差。然而，当我在没有增强的数据集上比较这两种精度时，有数据增强的模型显示出比另一个更好的性能。

重要的是要记住，对于模型来说，增强的数据集可能更难处理。因此，即使准确率没有以前那么高，在常规数据集上进行评估时，它实际上可能更高。

Answer 3

图像增强是的一种很好的方法，但正如您所展示的，它不是灵丹妙药。图像增强的工作原理(在一定程度上)是通过改变与模型的底层映射功能无关的图像特征(即图像亮度不应与狗的存在相关)，同时仍然使图像中的对象可识别。

我认为你能做的最简单的改进就是改变你的增强技术。不要只是水平翻转图像，尝试缩放，裁剪，旋转，拉伸，调整亮度，对比度，添加噪声等。这将改变你的原始图像，而不仅仅是一种模式的增强。我为工作编写的经历了不同类型的增强以及它们的作用，而是我们更喜欢实现图像增强的方式。

不同的增强示例:剪切Shear Augmentation噪波：Noise Augmentation颜色空间：Color Space Augmentation

通过过度依赖增强来增加模型的大小，您总是面临模型与训练数据集过度拟合的风险，但不同的增强技术将帮助您避免过度拟合。如果你有资源，没有什么比新鲜的新数据更有效的了，如果你想获得超级花哨的东西，你可以研究生成对抗网络，在这个网络中，你基本上可以从头开始创建新数据。