计算机视觉:用不同的时间步骤处理数据集(3D数据或扫描)

Question

我正计划对CNN进行CT扫描分类训练。问题是CT扫描是逐片进行的，而在一个典型的扫描中，可能有200多个切片。扫描中的切片数不一致，取决于扫描机器和扫描对象的年龄。

(1)如何将切片数统一到深度学习网络中？

这类问题是在NLP中通过填充所选择的向量(或类似的内容)来处理的，其长度小于预定长度的句子和长度大于预设长度的截短语句。

(2)是否可以采用类似的方法使切片(时间步骤)统一，或者有更好的方法？

Answer 1

我将使用LSTM将任意长度的序列(长度表示切片数)编码到固定大小的输出中。在Keras中实现它应该非常容易:)

然后在你的CNN里播放这些序列。

检查序列到序列的编解码方案，如这一个。

同样的概念也适用于需要固定大小输入的最先进的算法，如这一个.

Answer 2

首先，虽然您可以将CT扫描的切片处理为序列(有一定的排序)，甚至可以认为这类似于获取过程(CT扫描切片是在一个序列中获得的，即使不一定是在您正在考虑的平面上)，但这不是常见的解决方案。通常，一个选项使用两个选项中的一个：

• 三维模型(例如三维卷积)；
• 带有通道的2D模型(不同的切片成为通道，通常不是一次性的，而是一些固定的数目)。在这种情况下，您使用规则的2D卷积，然后聚合预测。有时频道数= 1。

关于你的问题，

1. 如果解决了分类任务，可以使用全局(平均/最大)池或自适应池(平均/最大)池。这确保了在将特征映射传递到稠密层之前的相同大小的特征映射。或者，您可以在补丁(相同大小)上进行培训，为每个补丁分配一个标签，并结合来自同一图像补丁的预测。结果将取决于如何采样补丁(例如，在网格或重叠)，以及如何组合预测(平均是最简单的方式)。
2. 如果使用3D模型，特别是CT图像，通常最好将图像重采样为规则的体素间距(例如，1x1x1mm^3)，这样您的3D滤波器就具有相同的接收场(毫米)。否则，取决于图像间距(例如，1x1x1与3x3x3)，相同的卷积滤波器将以相同的方式处理“1mm^3”的音量和"27 mm^3“的音量。要对图像进行重采样，需要访问体素的大小信息，通常是从相关的DICOM文件。