多模态神经网络的训练损失并没有减少

Question

我试图在这里写一个多模式网络，但我不确定我这样做的方式是否正确。

我有两个网络，其中，network_1使用图像作为输入，network_2是一个完全连接的网络，将充满关节位置的17x1矢量作为输入(数字范围为-0.7 - 0.7)。我将两个网络的最终完全连接层连接起来，并输出7个类的最终层。

代码：

 41         #-------NETWORK 1---------------

 42         network1 = Sequential()
 43         #Dense layers - 1st param is output
 44         network1.add(Dense(2048, input_shape=(8500,),name="dense_one"))
 45         network1.add(Dense(2048,activation='sigmoid',name = "dense_two"))
 46         network1.add(Dense(1000,activation='sigmoid',name = "dense_three"))
 47         network1.add(Dense(100,activation = 'relu',name = "dense_four"))
 48 
 49         for l in network1.layers:
 50                 print l.name, l.input_shape , "=======>", l.output_shape
 51 
 52         print network1.summary()
 53 
 54         #-------- NETWORK 2-----------
 55 
 56         network2 = Sequential()
 57         network2.add(Conv2D(32, kernel_size=(3,3),                                                                                   activation =                               'relu',                                                                             input_shape = (224,224,3)))
 58         network2.add(Conv2D(64, kernel_size = (3,3)))
 59         network2.add(MaxPooling2D(pool_size=(2,2)))
 60         network2.add(Dropout(0.5))
 61 
 62         network2.add(Dense(100,activation='sigmoid',name ="network2_three"))
 63         network2.add(Flatten())
 64 
 65         #-------------------MERGED NETWORK------------------#
 66 
 67         model = Sequential()
 68         model.add(Merge([network1,network2],mode = 'concat'))

准确率和损失似乎并没有降低。我现在玩的是不同的学习率。

但是，还有什么是我应该尝试的吗？我找不到多模态神经网络的示例架构。我如何开始尝试不同的架构？

Answer 1

以下是一些小贴士：

• 您确定这不是数据问题？在输入和目标标签进入网络进行训练之前，尝试可视化/检查输入和目标标签，并确保输入和相应的标签有意义。这听起来很明显，但这是一个太常见的错误，所以我想提一下。
• 尝试使用函数式here (而不是多个顺序模型)定义多输入架构。
• 尝试使用数据的一小部分样本，看看您的模型是否过拟合(应该如此)，否则您的训练方式可能会出错。