何时使用PCA进行降维？

Question

我正在使用Matlab分类学习应用程序测试不同的分类器在一个训练集(大小= 700)。我的响应变量是一个包含5个可能值的分类标签。我有7个数字特征和2个分类特征。我发现立方体支持向量机的准确率最高，为83%。但是，当我启用解释方差为95%的PCA时，性能明显下降(准确率为40.5%)。我是一名学生，这是我第一次使用PCA。

1. 为什么会看到这样的结果？
2. 可能是因为一个小的/不平衡的数据集吗？
3. 什么时候应用PCA？当我们说“降维”时，原始集中是否有最小数量的特征(维数)？

任何帮助都是非常感谢的。提前感谢！

Answer 1

我想分享我的观点

我想训练集700意味着，你的数据是< 1k。

我甚至感到惊讶的是，83%.

• Even执行
  1. 数据集被认为是很小的(60.000训练- 10.000测试)。您的数据要小得多。

使用

• ，您可以尝试使用pca来减少更小的数据。那么，svm将学到什么呢？没有任何有区别的样本？？

• ，如果我是你，我会用random-forest分类器进行测试。随机森林甚至可能表现得更好。

即使您平衡了您的数据，data.

• I相信使用SMOTE也不会提高结果。如果您的数据由图像组成，那么您可以使用ImageDataGenerator复制数据。虽然我不确定ImageDataGenerator.

1. You包含的matlab是否会使用主成分分析，但是当你有很多样本的时候。然而，样本并不直接影响精度，但它们是data.

• For实例的组成部分:让我们考虑手写的数字分类数据。

​

​

从上面我们可以说每个像素都直接影响了精度吗？

答案是否定的？以上的黑色像素并不重要的准确性，因此，删除他们，我们使用pca。

如果您希望使用python示例进行详细解释的话。看看我的另一个answer