如何为CNN培训准备频道图像？

Question

我正在训练一个六通道图像用于细胞分割，这是分开的。下面描绘的六个图像是相同的，但在不同的渠道。

​

​

我应该如何排列输入到我的网络中的数组？使用numpy.dstack将所有这些放到数组中？还是直接在层中？我知道我们也应该注意滤镜的数量和大小，这是要像对待RGB图像一样对待的，但我是深度学习和计算机视觉的新手，我有这个问题困扰着我。

我使用Python进行图像编辑(PIL和OpenCV)，使用TensorFlow和Keras进行图像处理。

在细胞周围裁剪后的图像的形状是30x30，每个在每个通道中的阵列中。

​

​

Answer 1

我的建议是

就像大多数深度学习问题一样，答案是尝试一下。使用np.dstack将输入设置为(batch_size, 30, 30, 6)形状，并训练模型。我假设您将使用Conv2D，所以通道组合应该不重要。

但是，如果您计划使用迁移学习(pretrained_models)，则可能需要删除通道或将它们放在一起以获得形状学习( sum (batch_size, 30, 30, 3) )，因为大多数这些模型需要3个通道

Answer 2

如果您计划使用迁移学习，则默认图像大小应为(224,224)，如Keras documentation here中所述。模型的输入可以使用'channels_first‘数据格式(通道、高度、宽度)或'channels_last’数据格式(高度、宽度、通道)构建。