三维图像数据集的特征提取

Question

假设通过使用SIFT、SURF或MSER方法提取2D图像特征的工作流程，然后对词袋/特征进行编码，并随后用于训练分类器。

我想知道是否有一种类似的方法来处理3D数据集，例如，3D体积的MRI数据。在处理2D图像时，每个图像代表一个实体，其中包含要检测和索引的特征。然而，在3D数据集中，是否可以从三维实体中提取特征？这是否必须通过将3D图像分解为多个2D图像(切片)来逐个切片地完成？或者，有没有一种方法可以在保留3D信息的同时将3D维度降低到2D？

如果有任何建议，我们将非常感谢。

Answer 1

您可以通过预先训练的3D卷积神经网络传递3D体积来执行特征提取。由于预先训练的3DCNN很难找到，因此您可以考虑在类似但不同的数据集上训练自己的网络。

Here是一个在千层面的三维CNN代码的链接。作者使用3D CNN版本的VGG和Resnet。

或者，您可以在体积的每个切片上执行2D特征提取，然后组合每个切片的特征，使用PCA将维度降低到合理的水平。为此，我建议使用ImageNet预训练的Resnet-50或VGG。

在Keras中，这些可以在here中找到。

Answer 2

假设一个灰度2D图像，它可以在数学上描述为一个矩阵。推广矩阵的概念在理论上是关于tensors的(非正式地，您可以认为是多维数组)。例如，RGB 2D图像表示为大小宽度、高度3的张量。此外，RGB 3D图像表示为大小宽度、高度、深度3的张量。此外，在矩阵的情况下，您还可以执行张量-张量乘法。

例如，考虑将2D图像作为输入的典型神经网络。这样的网络基本上除了矩阵-矩阵乘法之外什么也不做(尽管在节点上进行了元素式的非线性运算)。同样，神经网络通过执行张量-张量乘法对张量进行操作。

现在回到你的特征提取问题:实际上，张量的问题是它们的高维。因此，现代研究问题涉及到保留初始(最有意义的)信息的张量的有效分解。为了从张量中提取特征，张量分解方法可能是一个很好的开始，以便降低张量的秩。关于机器学习中的张量的一些论文是：

Tensor Decompositions for Learning Latent Variable Models

Supervised Learning With Quantum-Inspired Tensor Networks

Optimal Feature Extraction and Classification of Tensors via Matrix Product State Decomposition

希望这能有所帮助，尽管背后的数学并不容易。