组合卷积神经网络

Question

我的工作是音频分类，并使用谱图和MFCC图im，以便训练CNN图像分类器。目前，我有两个独立的ConvNets对这些功能进行了培训，平均( 55-60%的准确率)。我对每种型号都有两个独立的重量文件。现在，我想结合这两个模型，即我想从每个音频文件中提取光谱图和MFCC，并测试我已经建立的模型，并获得更高的精度。我怎么能这么做？

Answer 1

将经过训练的模型组合在一起的一种方法是使用公共的完全连接的层，并对网络进行培训。

你可以把这个完全连接的层放在两个卷积模型的末尾。

因此，输入将进入ConVModel-1和ConvModel-2。你将得到两个输出矢量。将这两个输出矢量(级联、平均等)结合起来。现在将这个新形成的矢量传递给完全连接的层。

你现在可以用两种方式训练这个网络-

1. 只为FC层更新权重。
2. 更新FC层的权重+ ConvModels.