Adaboost与高斯朴素Bayes

Question

我是Adaboost的新手，但我一直在阅读它，这似乎是我一直在研究的一个问题的完美解决方案。

我有一个数据集，其中类是“向上”和“向下”。高斯朴素贝叶斯分类器对这两类分类的准确率约为55%(弱精度)。我认为，使用Adaboost和高斯朴素Bayes作为我的基本估计将允许我获得一个更高的精度，但当我这样做，我的准确度下降到大约45%-50%。

为什么会这样呢？我发现Adaboost的表现会低于其基本估计值，这是非常不寻常的。另外，任何让Adaboost工作得更好的建议都会很感激。我用过许多不同的估计量，结果也很差。

Answer 1

究其原因，可能是由于多样性进退两难的集成方法，它特别关注Adaboost算法。分集是Adaboost算法中的分量分类器之间的误差，我们倾向于保持不相关。否则，组件分类器的性能会比单组分分类器差。另一方面，如果我们使用弱基分类器而达到合理的精度，那么最终的集成就会达到更高的精度。

这在本论文中得到了很好的解释。我们可以从中检索到这样的解释：

Adaboost的精确性与多样性困境

这个图是一个散点图，每个点对应于一个组件分类器.点的x坐标值是对应分量分类器的分集值，y坐标值是对应分量分类器的精度值。从这一数字可以看出，如果组件分类器太精确，就很难找到非常不同的分类器，而将这些精确但不不同的分类器组合起来往往会导致非常有限的改进(Windeatt，2005)。另一方面，如果分量分类器太不准确，虽然我们可以找到不同的分类器，但组合结果可能会比组合更精确和多样的分量分类器的结果差。这是因为如果组合结果被太多不准确的成分分类器所主导，大多数情况下都是错误的，从而导致分类结果不佳。

为了直接回答您的问题，使用Guassian朴素Bayes作为基估计器可能会产生彼此不一致(足够多)的分类器(使错误多样化)，因此Adaboost比单高斯朴素Bayes更糟糕。