深度学习是否需要图像配准？

Question

我有一个关于生物医学图像分析的一般性问题。因为生物医学图像需要配准，以便在相同空间中对齐图像并更好地提取特征。我的问题是，基于深度学习的分类是否也需要训练数据集图像的图像配准？在深度学习中，架构本身定义了最佳特征，使用深度神经网络进行腹部CT扫描图像分类是否需要注册？当我们为了更好地训练数据而进行数据增强时，这种情况下还需要图像配准吗？

Answer 1

通常，图像数据的深度学习方法是使用卷积神经网络(CNNs)来完成的，卷积神经网络至少是平移不变的。通过使用图像金字塔或特殊构造的神经网络布局，也可以使它们具有尺度不变性。一般来说，它们不是旋转不变的。

这并不意味着它们不能处理不同旋转的输入图像，但您可能需要更大的模型和更多的训练数据才能使其正常工作。神经网络将学习你试图检测的任何东西的不同旋转特征。如果旋转的范围很小，这可能不是一个大问题。

总而言之，你不一定需要注册，但它可以改善你的最终结果。