空间变压器网络与变形卷积

Question

据我所知，STN是由deepmind论文https://arxiv.org/abs/1506.02025描述的。

• 允许神经网络学习如何对输入图像进行空间变换，以提高模型的几何不变性。

可变形卷积https://arxiv.org/abs/1703.06211

• 在标准卷积中将2D偏移添加到常规网格采样位置。

从文件中：

...deformable卷积不采用全局参数变换和特征翘曲。相反，它以本地和密集的方式对特征映射进行采样。为了生成新的特征映射，它有一个加权求和步骤，这在STN中是不存在的。

对我来说，STNs增加了输入图像，而DC增加了内核形状。从网络的角度来看，结果应该是相似的/相同的？如果弄错了，请纠正我。

Answer 1

正如本文所提到的，STN的主要区别在于，STN有一个全局参数来转换特征。也就是说，它计算一组参数来转换输入。DC计算输入中每个位置的2D偏移映射，因此对于输入特性中的每个位置都有一个单独的转换。