混合卷积神经网络与常规神经网络

Question

卷积神经网络通常是图像分类和语义分割的最佳选择。分类/数字数据(年龄、身高、城市等)另一方面，传统的机器学习模型，如(深度)随机森林模型、支持向量机模型或传统神经网络模型处理效果最好。

是否有将卷积神经网络和传统神经网络相结合的混合结构来对图像和分类数据集进行分类？我确信这个问题以前已经解决过，我特别希望在一个公共库(PyTorch、Tensorflow、Keras等)中寻找研究论文、教程和实现。

这种“混合”数据集的一个很好的例子是ISIC数据集，它包含数千张皮肤生长的图像，以及每幅图像的患者年龄和性别等信息。假设情况下，包含这些分类/数值信息的混合模型在检测皮肤癌方面可能比仅仅使用图像的模型更成功。

Answer 1

如果我必须这样做，我会使用转移学习策略：

为了解决分类问题，我会用图像训练一个深度学习模型。为了做到这一点，我当然需要有图像类的标记。如果这个标记不存在，那么这个方法就没有意义。由于有很多工具，所以进行非常精确的图像分类是相对容易的。当然，我会用CNN来做这件事。

一旦我接受了CNN的训练，我就会把最后一层完全连接起来。我会将这个层的输入与您所拥有的cateogrical/数值数据连接起来，并使用这个级联获得一个特征向量。我会把这个特征向量输入到另一个ML算法中，以实现您需要的目标。

，这是我编出来的吗？

不是的。在快速人工智能深造课程中对文本也做了类似的事情。训练一个RNN来预测句子中的下一个单词，然后利用该RNN的权值来构建一个情感分析机器。我认为这个想法是非常相似的，这就是为什么我称之为转移学习。

，如果我没有图像的标签怎么办？

然后我的建议是使用在图像网络上训练的CNN，取出最后一个完全连接的层，并将该层的输入与其他功能连接起来。