多通道输入CNN还是多实例学习CNN？

Question

我有500张病人医学扫描的Dicom图像。这是三维扫描，shape = 300 x 300 x 3。我从中提取了正面和侧面的观点。所以，对于每一个病人，我有2张300 x 300形状的图像。

为了建立分类器，应该将这两个视图叠加起来，并训练CNN {300 x 300 x 2 x 500} ->多通道输入，

还是应该将每个视图作为一个新数据传递给整个{300 x 300 x 1000} ->多实例学习？

Answer 1

您可以尝试的另一种方法是多输入-单输出方法，其中将这2幅图像从不同的层传递到2种不同的层，然后连接这些层来执行分类任务。

这可以使用keras Functional来完成。

input1 = keras.layers.Input(shape=(1,))
input2 = keras.layers.Input(shape=(1,))

cnn1   = keras.layers.Conv2D(32, 3, activation=keras.activation.relu)(input1)
cnn2   = keras.layers.Conv2D(32, 3, activation=keras.activation.relu)(input2)

merged = keras.layers.Concatenate(axis=1)([input1, input2])

dense1 = keras.layers.Dense(2, activation=keras.activations.relu)(merged)
output = keras.layers.Dense(1, activation=keras.activations.sigmoid)(dense1)
model10 = keras.models.Model(inputs=[input1, input2], output=output)

当传递数据建模时，创建独立的输入数组，这两个图像集。

model0.fit([array_1, array_2],output, batch_size=16, epochs=100)