首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >特征冗余

问特征冗余
EN

Data Science用户
提问于 2016-06-17 23:30:03
回答 2查看 2.3K关注 0票数 2

为什么特征是相互依赖的,具有高度相关性的特性,意味着它们是多余的?另外,PCA是否有助于去除冗余/不相关的特征,还是在我们的数据集上运行PCA之前,必须去除冗余/无关的特征?

EN

回答 2

Data Science用户

回答已采纳

发布于 2016-06-17 23:49:01

为了训练,高度相关的特性提供的训练“价值”很少,因为一个值的存在/状态总是(或几乎总是)可以用来确定另一个值的存在/状态。如果是这样的话,没有理由增加这两种特性,因为两者都对预测没有什么影响--如果A " on“= B " off”和A "off“=B on”,那么所有的状态都可以通过学习A或B来表示,这大大简化了,但对于其他高度相关的值也是如此。

PCA可以帮助减少特征,但是在任何情况下,如果您已经确定了冗余或高度相关的特征,在培训中几乎没有什么用处,那么可能有必要立即消除它们,然后使用PCA或通过从完整数据集上进行培训生成的其他特征重要性度量来进一步优化您的培训功能集。

票数 1
EN

Data Science用户

发布于 2016-06-18 02:01:20

冗余特性可以是多线性 (即高度相关的)特性,但更重要的是,它们是在没有独特贡献的情况下度量相同的特性。

例如,年龄和收入可能是高度相关的,但在某些分析中,它们在您的模型中仍然有一个独特的影响,并且可能有一些概念上的差异,您希望捕捉到这些差异以供解释。在我所能想到的大多数用例中,OTOH、年龄和出生日期都是完全多余的(尽管总是有例外,比如出生季节是否重要)。

PCA能帮助减少冗余吗?好的。这是你至少可以用来做这件事的几十种技巧之一。

使用PCA进行特征选择的一种方法是查看主成分上的因子负载,并确定哪些相关变量正在测量相同的主成分,然后选择前1或几个变量来表示该潜在变量,消除高度相关的非明显特征。

在主成分分析之前,你应该消除冗余特征吗?如果你要使用主成分来预测,而不是消除特征,那么是的。

您可以进行一轮涉及PCA或其他技术的特征分析,如果您想要为模型创建潜在变量,则可以进行第二轮。

一些用于特征选择的附加工具:

  • 最小冗余最大相关性
  • 相关特征选择
  • 典型相关分析
  • 因子分析
  • 协方差矩阵的使用
  • 奇异值分解
  • 方差通货膨胀因素
票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/12259

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档