非对称卷积增强CNN特征拟合

原创作者来自清华大学和国家信息技术研究中心~

论文链接：https://arxiv.org/pdf/1905.10089.pdf

代码链接：https://github.com/anheidelonghu/ACNet

提出原因

1、在指定的应用环境中设计合适的卷积神经网络(CNN)结构需要大量的人工工作或大量的GPU资源消耗

2、设计出和网络结构无关的CNN模块非常必要，这种模块可以很容易地插入到多个成熟的体系结构中，将会大幅度提高实际应用的性能

3、修改整体的CNN架构是一件很困难的事情，使用一些与架构无关的结构来增强现有的模型非常具有吸引力，而且这种方法很大程度上对任何网络都是有效的。

主要贡献

1. 使用非对称卷积来显式地增强标准正方形的卷积核的表征能力，非对称卷积可以融合到正方形卷积核中，而不需要额外的推理时间计算。
2. 将ACB作为一个新颖的CNN结构构建模块。可以通过简单地用ACB替换成熟架构中每一个正方形卷积核的卷积层来构建ACNet，而不需要引入任何超参数，这样它可以与CNN架构设计文献中的众多进展相结合。
3. 将CIFAR-10、CIFAR-100和ImageNet上的几个常见基准模型的准确性提高了一个明显的幅度。
4. 证明了skeletons在标准平方卷积核中的重要性，并证明了ACNet在增强此类skeletons方面的有效性。
5. ACNet可以增强模型对旋转畸变的鲁棒性，这可能会激发对旋转不变性问题的进一步研究。

网络结构

如下图所示，在训练阶段使用3x3、1x3、3x1的卷积核对feature map进行卷积操作，然后对结果concat，如下左图所示。训练完成后，在推理阶段，将3x3、1x3、3x1三类卷积核参数进行融合叠加，如下右图所示，然后对特征图进行卷积运算，这种方式和3x3卷积操作运算次数相同，不会降低计算速度。

ACNet中的参数融合在BN层的应用：

增强模型对旋转角度的鲁棒性：

网络效果

ACNet在分类、检测、分割任务均有SOTA表现！！！

1、CIFAR数据集

2、ImageNet数据集

上述内容，如有侵犯版权，请联系作者，会自行删文。