在深度学习中将临床和图像数据结合在一起的最佳方法是什么？

Question

我有病人的CT图像，并将CNN应用于这些图像来预测疾病。我想结合我的临床数据和我的图像数据在CNN的方法，这是可能的吗？我的临床数据有年龄、性别、日期、吸烟者等信息，所有这些都是数字，比如1名吸烟者和0名吸烟者。

Answer 1

据我所知，CNN非常适合图像数据，但不适合其他数据。

解决你的问题的一个办法是用临床数据对你的图像“着色”。(在图像识别CNN中，通常将输入图像分为3层颜色:红色、灰色和蓝色。见：http://cs231n.github.io/convolutional-networks/)

假设您的输入数据是一个32x32像素的8位灰度图像(SO1颜色层)。我建议将每个临床数据变量添加为“颜色”层。同一颜色层中的所有输入值都应该相同。

每一层是否应该和图像一样大小，或者如果你能用一个像素就可以逃脱，我不确定，但至少你可以把临床数据和CT图像一起当作一幅“图像”。

Answer 2

例如，看看本论文，他们将来自CNN的特性与文本数据结合在一起。在那篇论文中，CNN已经接受了预先训练(也就是说，CNN本质上是一个特写器)，但是你可以清楚地一次学习所有的东西。我的想法是

• 通过卷积/次采样层在输入中运行图像
• 在您的最终完全连接(决策)层之前，将现有的其他功能连接起来。
• 将所有(预处理的图像和其他特征)输入决策层。

因此，答案是“是的，当然”，细节取决于您正在使用的框架。