朴素贝叶斯与全贝叶斯模型分类器

Question

我很难理解什么时候朴素的贝斯比全贝斯更有效。

一般来说，我知道朴素的bayes假设给定类的特征是独立的。

然而，如果特征确实是独立的，是否意味着假设它们是依赖的，就会产生最坏的结果？

我得到了两个特征的数据点，每个类都有不同的颜色。

现在我的直觉是，朴素的bayes在这里会很好地工作，给定一个特定的类，我们有两个不同的类的分布，而且都是“非结构化的”。

然而，我确实运行了朴素bayes (正常pdf)和完整bayes (多变量pdf)的数据分类器(使用多元)，并获得了同样的准确性。

Answer 1

这是没有明确定义“全Bayes”作为分类器“。大多数“真实世界”非朴素贝叶斯分类器考虑了一些但不是所有特征之间的依赖。也就是说，他们根据特征的含义做出独立的假设。

如果您所说的“完全贝叶斯”指的是一个联合模型(如您的例子所示)，那么问题之一就是这样的模型并不具有普遍性:它只是描述了训练集中的概率，这意味着它可能会非常糟糕。这就是为什么NB在大多数情况下运行良好的原因:是的，它做出了不切实际的独立假设，但这种简化允许模型从数据中捕获基本模式。换句话说，该模型的泛化能力来自其过于简化的假设。

注意:据我所知，你的例子选择得很好，你应该看到NB和一个联合模型之间有一个很大的区别: NB不应该比一个随机基线表现得更好，而联合模型应该获得接近完美的精度。如果你没有得到这些结果，可能会在某个地方出现错误。但是，虽然这是一个很好的玩具例子，但它不能帮助您理解NB假设的优势。