MLP conv层

Question

什么时候应该使用MLP conv层而不是普通的conv层？有共识吗？还是两者都试一试，看看哪一种表现更好，这是一种规范吗？我希望能更好地理解两者之间的区别。另外，哪个深度学习库支持MLP conv层？本文中使用的是网络中网络。

Answer 1

现在通常用来指"MLP conv层“的术语是1x1卷积。

1x1卷积是普通卷积，但它们的核大小为1，即它们只作用于一个位置(即图像为一个像素，离散数据为一个标记)。这样，1x1卷积就相当于按位置施加密集层。网络文件中使用的"MLP卷积层“一词就是对这一事实的参考。

普通卷积利用空间信息，因此可以检测局部模式(空间局部性归纳偏差)，而1x1卷积不存在，因为它们的作用窗口是一个单一位置。它们只是用来改变表示的维数，特别是改变图像中通道的数目，或者改变离散数据中的嵌入维数。例如，如果在二维卷积网络的某个点有宽度w、高度h和c通道的张量，则可以使用1x1卷积得到宽度w、高度h和c'通道的张量，其中c \neq c'。

Answer 2

在正常卷积层中，采用ReLU激活函数。ReLU是固定的，不能单独训练。MLP Conv层是卷积运算和多层感知器网络的结合。如果在卷积后使用MLP，则可以学习更复杂的函数(将输入映射到输出)。

它也增加了您的模型的容量，并可以适应更多的数据。

为了比较，你得自己试试。本文本身也作了一些比较。

还有另一篇论文也做了类似的事情。检查：学习激活函数对深层神经网络的改进

您可以在深入学习框架中创建自己的MLP conv层，如Tensorflow和Py手电筒。可能有人也已经造好了。