使用预先训练好的细胞神经网络(inceptionv3)训练3D医学图像

Question

我正在尝试通过在医学图像上重新训练InceptionV3来进行迁移学习-灰度3D脑正电子发射计算机断层扫描。

我有两个挑战:将我的数据从灰度转换为RGB图像，并为初始架构格式化我的3D输入数据。

我解决了第一个挑战，通过将它们堆叠到3个通道中(将相同的图像提供给网络的所有3个通道)。

第二个挑战仍然是一个问题:网络接受2D图像。目前的图像尺寸是79x95x79x3，网络很乐意接受79x95x3的图像。

什么是解决这个问题的好方法，可以将3D图像提供给网络，还是必须将它们转换为2D图像。如何将图像转换为2D图像？

在研究中，采用栅格法从每幅3D图像中提取8幅二维图像，并将其显示为栅格图像进行分类。这是从3D转换到2D的唯一方法吗，还是有其他选择？

Answer 1

有两种方法可以解决你的第二个问题。

快速方法：

找到一种方法将79的维数降为1。

对于这一点，有不同的方法。正如你所指出的，一种方法是形成一个网格。另一种选择是对这些图像中的几个图像(示例3或10)进行最大强度投影(MIP)。这将取决于您在此维度中的分辨率。我有一种感觉，您描述的图像是CT扫描，在这种情况下，最好不要采用完整的堆栈，而是只获取属于您感兴趣的分类部分的专用图像。

您可以使用相同的全局类描述符作为MIP提供堆栈的一部分。这可能适用于迁移学习。

更长、更难的方法：

从头开始寻找或重新设计一个接受3D图像作为输入的架构。我不知道关于这个主题的当前文献，但一个很好的开始示例可能是：https://ai.googleblog.com/2020/02/ultra-high-resolution-image-analysis.html?m=1