PCA和朴素贝叶斯分类器

Question

我正在用Python测试PCA和朴素贝叶斯分类器。

简而言之，使用数字的灰度图像数据库，我使用PCA进行降维，然后使用朴素贝叶斯进行分类。

我分别使用2,4,10,30,60,200,500,784个组件。我得到的分类错误率分别为: 0.25806452，0.15322581，0.06290323，0.06451613，0.06451613，0.10322581，0.28064516和0.31774194。我认为提取更多的成分总是可以提高分类的准确性。这是真的吗？如果是这样，那么我就做错了什么。

Answer 1

我认为你的问题没有一个有效的答案，但降低输入的维度可以防止过度拟合。更多的特征并不总是使你的分类器更准确。你可以在这里找到详细的解释：http://www.visiondummy.com/2014/04/curse-dimensionality-affect-classification/

Answer 2

降维确实会减少过拟合，但如果不向数据集添加额外的数据，总会有一个最佳的组件数量，它会提供最佳的精度。在您的示例中，它是10，因为它提供了0.06290323的最低错误率。因此，如果您正在增加维度，您还应该增加用于训练的数据集，以便获得更高的准确性。否则，您应该尝试它附近的Grid search以获得更高的准确性。

此外，如果您的数据集是平衡的，那么accuracy可能是评估您的性能的一个很好的衡量标准。如果数据集不平衡，请尝试使用Precision、Recall或f-score。

如果仍然对分类器不满意，请使用其他分类算法。