SKLearn PCA explained_variance_ration累积量给出的数组为1

Question

我对PCA有意见。我读到PCA需要清晰的数值。我从一个名为trainDf和shape (1460, 79)的数据集开始我的分析。

我通过删除空值、输入和删除列来清理和处理数据，并得到了一个带有(1458, 69)形状的dataframe (1458, 69)。

数据清理步骤如下：

1. 均值LotFrontage推算
2. 0~s(小于10 cols)的MasVnrArea推算
3. 分类列的序号编码
4. 最频繁值的Electrical计算

我在IQR中发现了异常值，得到了形状为withoutOutliers的(1223, 69)。

在此之后，我查看了直方图，并决定在一些特性上应用PowerTransformer，在其他特性上应用StandardScaler，我得到了normalizedData。

现在我试着做PCA，我得到了这个：

pca = PCA().fit(transformedData)

print(pca.explained_variance_ratio_.cumsum())

plt.plot(pca.explained_variance_ratio_.cumsum())
plt.xlabel('number of components')
plt.ylabel('cumulative explained variance')

这一常设仲裁院的产出如下：

[0.67454179 0.8541084  0.98180307 0.99979932 0.99986346 0.9999237
 0.99997091 0.99997985 0.99998547 0.99999044 0.99999463 0.99999719
 0.99999791 0.99999854 0.99999909 0.99999961 0.99999977 0.99999988
 0.99999994 0.99999998 0.99999999 1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.        ]

​

​

然后我试着：

pca = PCA().fit(withoutOutliers)

print(pca.explained_variance_ratio_.cumsum())

plt.plot(pca.explained_variance_ratio_.cumsum())
plt.xlabel('number of components')
plt.ylabel('cumulative explained variance')

退出：

[0.68447278 0.86982875 0.99806386 0.99983727 0.99989606 0.99994353
 0.99997769 0.99998454 0.99998928 0.99999299 0.9999958  0.99999775
 0.99999842 0.99999894 0.99999932 0.99999963 0.9999998  0.9999999
 0.99999994 0.99999998 0.99999999 1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.         1.         1.         1.
 1.         1.         1.        ]

​

​

最后：

pca = PCA().fit(normalizedData)

print(pca.explained_variance_ratio_.cumsum())

plt.plot(pca.explained_variance_ratio_.cumsum())
plt.xlabel('number of components')
plt.ylabel('cumulative explained variance')

退出：

[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

​

​

最后一次执行如何可能提供这样的输出？

以下是数据分布

transformedData

​

​

withoutOutliers

​

​

normalizedData

​

​

如果有必要的话，我会添加更多的数据，谢谢任何能帮忙的人！

Answer 1

总之，在应用主成分分析之前，所有数据都应该进行缩放(例如使用StandardScaler)。

我在数据科学堆栈交换上得到了答案。