两种神经网络加权对分类的影响

Question

我在训练一个有两个神经网络的模型。其中一个是resnet18 CNN，它有输入图像。另一个是一个小的隐藏层网络，它在输入时有另外四个变量。

此时，我将这些网络的输出连接在第一个(也是唯一)完全连接的层中，然后在分类层将数据点划分为三个类。

我想知道如何设计我的网络，使两个不同的神经网络对分类有一定的影响。例如，我希望CNN在最终的分类中有60%的‘say’/影响力，而另一个NN有40%的‘say’/影响力。

在目前的结构中，我找不到一种直观的方法来解决这个问题。我能想象的唯一方法是分离网络，然后权衡两个网络的损失。有没有人知道在不分离网络的情况下实现这一目标的另一种方法？

Answer 1

由于神经网络是非参数的，通常情况下，您将训练组合模型(如您所描述的，但可能在最后有额外的FC层)，并让模型作为单个实体来学习/决定如何最好地组合两个子模型的输出。

如果你想得到你提到的硬编码百分比，那么最直接的方法就是做你在最后一段中提到的事情。

人们通常在同一个数据集上独立地训练相同(或略有不同的模型)，然后将这些模型的预测平均在测试集中，这样可以提高整体性能的整数百分比。

Answer 2

我认为，如果你训练这最后一层，它将自动为你创造这些权重。这就是训练的意义所在，给相关的特征赋予权重，不是吗？