组合多分类器建立多模态分类器

Question

假设我有兴趣对由不同内容类型组成的一组实例进行分类，例如：

• 一段文字
• 图像

作为特定类relevant或non-relevant的C。

在我的分类过程中，我执行以下步骤：

1. 给出一个示例，我将其细分为文本和图像。
2. 第一个支持向量机二进制分类器(SVM-text)只对文本进行训练，将文本分类为类C的relevant/non-relevant。
3. 第二个支持向量机二进制分类器(SVM-image)只对图像进行训练，将图像分类为relevant/non-relevant，用于C类。

SVM-text和SVM-image都会对被分析的内容(文本或图像)与类C相关的概率进行估计。鉴于此，我能够说明文本是否与C相关，图像是否与C相关。

然而，这些估计对于原始样本的片段(无论是文本还是图像)都是有效的，而不清楚如何获得对整个原始样本(text+image)的一般意见。如何方便地将两个分类器的意见结合起来，从而对整个样本进行分类？

Answer 1

基本上，你可以做两件事之一：

1. 结合两个分类器的特征。也就是说，与SVM-text和SVM-image不同，您可以训练同时使用文本和视觉特性的单一SVM。
2. 使用集成学习。如果您已经有来自不同分类器的概率，您可以简单地使用它们作为权重并计算加权平均值。对于更复杂的情况，有贝叶斯组合器(每个分类器都有其先验)、增强算法(例如，参见AdaBoost)等。

注意，最初是为了结合不同的学习者而创建的，而不是不同的集合(如果功能)。在后一种情况下，当不同类型的特征不能有效地组合在一个向量中时，集合具有很大的优势。但总的来说，梳理功能更简单、更简单。