CNN节目的后期融合

Question

我正致力于CNN早期和晚期的融合。我从CNN的多个层面拍摄了一些特写。对于早期的融合，我已经捕获了三个不同层的特性，然后水平地将它们连接在一起，F= [F1' F2' F3'];用于后期融合，我正在阅读这个纸。他们曾两次提到要进行监督学习。但不明白怎么走。

例如，这是从上面提到的文件中获取的图像。第一幅图像有三个不同的特征，对于第一次监督学习，标签可以说是1/4类图像集。例如，输出为1 1 3，假设第三分类器有错误的结果。那么，我的问题是，多模特性连接就像1 1 3和标签1，让我们说1类图像？

​

​

Answer 1

• 我可能错了，但这是我的理解(我不确定我的答案)
• 假设你有两个类，你有三个不同的模型
• 因此，每个模型都会输出一个向量(2x1)。
• 例如，模型-1：[0.3，0.7] 模型-2：[0.2，0.8] 模型-2：[0.6，0.4]
• 现在，您将连接(多模态特征组合)，其结果如下： 0.3，0.2，0.6，0.7，0.8，0.4
• 如图中所述，上述特征向量将作为对最终受监督学习者的输入，概念得分将作为对受监督学习者的输入。
• 他们在文件中提到这一点如下： 我们将视觉矢量vi与文本向量ti.连接起来 经过特征归一化后，得到了早期融合向量ei.。 然后，作为支持向量机.的输入。
• 现在，让我们来谈谈这个模型的实现
• 我要做的是第一次列车模型-1单独，列车模型-2单独，列车模型-3单独
• 现在，我将冻结模型-1、模型-2、模型-3的权重，并提取分数并将它们合并到上面讨论的特征向量中，并将其传递给最终受监督的学习者并进行训练。
• 将三个单峰监督的学习器看作特征提取器，并将它们的结果连在一起，就像早期融合一样，并将其传递给支持向量机。
• 我会用分数作为特征向量，而不是你假设的实际预测。
• 为什么是班级成绩而不是实际预测？因为类分数表示单峰对类的预测的信心。