参数数量:用于图像分类任务的倒置残差块的缺点

Question

关于MobileNet和EfficientNet倒置残差块，我有一个更一般的问题。对于复杂度较低的图像数据集，我有一个分类任务。因此，我选择了一个参数很少的架构(EfficientNet B0)。但在验证损失方面，我遇到了过度拟合。浅显的ResNet、ResNext等效果要好得多。这些架构使用常规的残差块，因此具有更多参数。所以看起来参数的数量和模型的复杂度之间没有关系？有没有人能解释一下我这里漏掉了什么？

Answer 1

这是一个非常有趣的问题。我也非常有兴趣对这个话题做出回应。