为什么数据增强会降低Mask-RCNN的性能？

Question

我训练了一个Mask-RCNN，例如有和没有数据增强的分割。增强只是对相关数据有意义的一次旋转。我非常惊讶的是，增强运行(深蓝色)比非增强运行(浅蓝色)更糟糕。

由于增强图看起来只是向下移动，但具有相同的形状，我想知道是否有其他因素在起作用。我使用的批量大小为2，数据集有40K图像，这会影响事情吗？

​

​

Answer 1

不是一个很好的答案。

我对它有类似的效果，我认为所有的参数和你如何训练它都很重要。例如，对于更多的层(主干使用resnet34与resnet18 )，您需要更多信息来训练更大的网络。在这种情况下，增强是有用的。

另一个例子是网络解析。我用默认的min_size=800和max_size=1333在一些学习率上对它进行了训练，在更高的分辨率下，你有更高的潜力在更高的LR上积极地增长网络AP。与此相关的另一个示例是，您的FPN中有多少个“级别”，以及AnchorGenerator的网格设置是什么。如果您的增强生成的样本比特定级别的FPN上的锚点小，那么它们可能会导致更多的问题，而不是任何好处。如果你的增强生成的样本太小，以至于你的对象的细节看不到-同样，也不是很有用，特别是在小型网络上。

有一大堆类似的小问题很重要。我遇到过一种情况，旋转使结果变得更糟，因为随着旋转角度的增加，旋转的样本开始看起来像是背景的一部分，基于maskrcnn的检测器无法处理它。三次插值修复了它，但最终，我想出了限制旋转角度的想法。

只需尝试并找到适合您的特定任务的超参数。