如何使用具有多个通道的图像对CNN使用迁移学习-手动设计

Question

为了将医学专业知识与深度学习结合起来，我想将代表同一CT图像的不同地图的多个图像组合在一个张量中。

假设我们从下面的CT图像开始：

​

​

我们可以手工制作这个特定图像的不同映射(即转换)，以体现相关的医学诊断知识。

因此，我们可能最终得到从1开始的10个2D灰度图像，然后我们可以将其打包为3D张量。

在公共领域(例如Keras)使用这些具有10个通道(而不是3- R-G-B)的3D图像作为输入，利用经过训练的DL CNN模型，是否可以使用迁移学习？

如果是，是如何实现的？如果不是，还有其他选择吗？

Answer 1

我认为这是可能的，但它可能不会给你带来好的结果，请参阅后文脚本了解原因。

你可以像this那样做，但是你必须添加一个有3个过滤器的conv2D层。作为替代方案，您可以移除前两个层(输入层和第一个conv2D层)，并替换为不同的conv2d (因为预先训练的Conv2d层的权重具有3个通道作为深度)。

PS:请记住，对于预训练的图像，你必须将其归一化，但考虑到你没有3通道的图像，你不能