SKLearn PCA explained_variance_ration累积量给出的数组为1

Question

我对PCA有意见。我读到PCA需要清晰的数值。我从一个名为trainDf和shape (1460, 79)的数据集开始我的分析。

我通过删除空值、输入和删除列来清理和处理数据，并得到了一个带有(1458, 69)形状的dataframe D3。

数据清理步骤如下：

1. 均值LotFrontage推算
2. 0~s(小于10 cols)的MasVnrArea推算
3. 分类列的序号编码
4. 最频繁值的Electrical计算

我在IQR中发现了异常值，得到了形状为withoutOutliers的(1223, 69)。

在此之后，我查看了直方图，并决定在一些特性上应用PowerTransformer，在其他特性上应用StandardScaler，我得到了normalizedData。

现在我试着做PCA，我得到了这个：

pca = PCA().fit(transformedData)

print(pca.explained_variance_ratio_.cumsum())

plt.plot(pca.explained_variance_ratio_.cumsum())
plt.xlabel('number of components')
plt.ylabel('cumulative explained variance')

这一常设仲裁院的产出如下：

[0.67454179 0.8541084  0.98180307 0.99979932 0.99986346 0.9999237
 0.99997091 0.99997985 0.99998547 0.99999044 0.99999463 0.99999719
 0.99999791 0.99999854 0.99999909 0.99999961 0.99999977 0.99999988
 0.99999994 0.99999998 0.99999999 1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.        ]

然后我试着：

pca = PCA().fit(withoutOutliers)

print(pca.explained_variance_ratio_.cumsum())

plt.plot(pca.explained_variance_ratio_.cumsum())
plt.xlabel('number of components')
plt.ylabel('cumulative explained variance')

退出：

[0.68447278 0.86982875 0.99806386 0.99983727 0.99989606 0.99994353
 0.99997769 0.99998454 0.99998928 0.99999299 0.9999958  0.99999775
 0.99999842 0.99999894 0.99999932 0.99999963 0.9999998  0.9999999
 0.99999994 0.99999998 0.99999999 1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.        ]

最后：

pca = PCA().fit(normalizedData)

print(pca.explained_variance_ratio_.cumsum())

plt.plot(pca.explained_variance_ratio_.cumsum())
plt.xlabel('number of components')
plt.ylabel('cumulative explained variance')

退出：

[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

最后一次执行如何可能提供这样的输出？

以下是数据分布

transformedData

withoutOutliers

normalizedData

如果有必要的话，我会添加更多的数据，谢谢任何能帮忙的人！

Answer 1

在PCA中，将所有(!)相同标度上使用标准化的特性，例如使用standard.scaler，即平均值为0，标准差为1。

还请参阅这和这帖子。

之所以如此，是因为PCA考虑了不同特征所解释的差异。因此，为了使这些功能具有可比性，需要标准化。