回归问题的降维降噪技术

Question

回归问题中降维的技术有哪些？我已经尝试了我所知道的唯一没有监督的技术，PCA和Kernel (使用scikit学习库)，但是我没有看到使用这些技术的任何改进。也许这些只适用于分类问题？我还能尝试什么其他的技巧？最好是用滑雪板实现的。

Answer 1

这是一个非常普遍的问题，技术(或它们的组合)的适用性取决于您的问题的具体情况。

一般来说，有几类维度约简(除了您提到的那些)。

1. 也许最简单的降维形式就是使用一些特性，在这种情况下，我们实际上是在讨论特性选择(参见滑雪板模块)。
2. 另一种方法是集群(滑雪板)，并将每个集群替换为其组件的聚合。
3. 最后，一些回归器使用l1惩罚和凸优化属性同时选择一个特征子集；在sklearn中，请参阅套索弹性网。

再一次，这是一个非常广泛的问题。有完整的书籍和竞赛，甚至特征选择，这是一个子集的降维。

Answer 2

补充@AmiTavory的好答案:这里可以使用PCA主成分分析。如果您不想执行dimensionality reduction，只需从PCA中保留与输入矩阵大小相同的特征向量数量:在您的示例中是20。

结果输出将是正交的特征向量:您可以考虑它们提供您所寻求的“转换”如下:向量是按照它们各自的方差数量排列的，它们代表wrt输入。