- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习|机器学习|歌声合成|语音合成
数据挖掘中特征工程：实例分析
大数据分析 特征工程 # -*- coding:utf-8 -*- # /usr/bin/python ''' @Author: Yan Errol @Email:2681506@gmail.com
55220发布于 2021-01-14 - 来自专栏小小挖掘机
特征工程｜连续特征的常见处理方式（含实例）
特征经过归一化或者标准化处理之后对于模型训练的好处有： 提升模型精度。 因为使不同量纲的特征处于同一数值量级，减少方差大的特征的影响。在KNN中，我们需要计算待分类点与所有实例点的距离。 假设每个实例点（instance）由n个features构成。如果我们选用的距离度量为欧式距离，如果数据预先没有经过归一化，那么那些绝对值大的features在欧式距离计算的时候起了决定性作用。 这样的好处就是在进行特征提取时，忽略掉不同特征之间的一个度量，而保留样本在各个维度上的信息（分布）。 ? 在实际应用中，通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络等模型。 的计算方式见式上边的两个公式 3、当划分后的熵大于设置的阈值且小于指定的数据分组个数时，递归对 、 执行步骤2中的划分 6、基于用户是否点击和信息熵对商品价格进行离散化 接下来通过一个实例看一下如何基于信息熵对数据进行离散化
1.7K40发布于 2020-08-21 - 来自专栏全栈程序员必看
特征工程
1.特征工程 特征归一化 问：为什么需要对数值类型的特征做归一化？ 分析解答： 为了消除数据特征之间的量纲影响，对特征进行归一化处理，使得不同指标之间具有可比性。 举例梯度下降实例说明归一化的重要性，若两个特征的取值范围不一样，则在学习速率相同的情况下，范围小的特征更新速度会大于取值范围大的特征，需要较多的迭代才能找到最优解。 2.类别型特征 类别型特征指在有限选项内取值的特征。 3 高维组合特征的处理 问题：什么是组合特征？如何处理高维组合特征？ 为了提高复杂关系的拟合能力，在特征工程中疆场会把一阶离散特征两两组合，构成高阶组合特征。 深度学习模型提供了一种自动地进行特征工程的方式，模型中的每个隐层都可以认为对应着不同抽象层次的特征。
68320发布于 2021-05-20 - 来自专栏小明的博客
特征工程
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。 特征工程本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。 通常来说，从两个方面考虑来选择特征： 特征是否发散： 如果一个特征不发散，例如方差接近于 0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。 信息增益度量：特征f的信息增益定义为使用特征f的先验不确定性与期望的后验不确性之间的差异。若特征f1的信息增益大于特征f2的信息增益，则认为特征f1优于特征f2。 它的主要思想是在不同的数据子集和特征子集上运行特征选择算法，不断的重复，最终汇总特征选择结果，比如可以统计某个特征被认为是重要特征的频率（被选为重要特征的次数除以它所在的子集被测试的次数）。 决策树生成的过程也就是特征选择的过程。 特征选择可以使用ITMO_FS，它是一个特征选择库，它可以为 ML 模型进行特征选择。拥有的观察值越少，就越需要谨慎处理过多的特征，以避免过度拟合。
1.4K20编辑于 2022-09-06 - 来自专栏用户画像
特征工程
特征工程是用数学转换的方法将原始输入数据转换为用于机器学习模型的新特征。 4、创建更容易解释的特征 特征工程使机器学习的从业者能够创建更易于解释和实用的特征。通常，使用机器学习发现数据中的模式，对于产生精确的预测十分有用，但会遇到模型的可解释性和模型的最终应用的一些限制。 引自《机器学习实战》 在机器学习应用领域中，特征工程扮演着非常重要的角色，可以说特征工程是机器学习应用的基础。 在机器学习应用中，特征工程介于“数据”和“模型”之间，特征工程是使用数据的专业领域知识创建能够使机器学习算法工作的特征的过程，而好的数据胜于多的数据。 因此，特征工程的前提是收集足够多的数据，其次是从大量数据中提取关键信息并表示为模型所需要的形式。合适的特征可以让模型预测更加容易，机器学习应用更有可能成功。
92110发布于 2019-08-29 - 来自专栏Datawhale专栏
特征工程在实际业务中的应用！
Datawhale干货 作者：知乎King James，伦敦国王大学 知乎｜https://www.zhihu.com/people/xu-xiu-jian-33 导读：大概知道特征工程，但是不清楚特征工程在实际业务中怎样应用 首先明确一下问题，“特征工程在实际业务中的应用”，也就是领域业务知识和机器学习建模的相互结合。 下面会对特征工程简单介绍，并且用自己工作中实际参与的项目给大家分享在银行贷款申请反欺诈场景&零售线上APP推荐场景的机器学习建模里，业务知识是如何帮助特征工程的。 01 简单介绍特征工程是什么？ 特征工程是工业界建模中最最最重要的一个模块。模型效果的好坏，一部分是由数据质量决定的，另一部分是由特征工程决定的，大家使用的算法有时候都是一样的。 什么是特征工程？ 03 实例介绍 下面给大家分享一些实际工作中专家规则如何映射到特征工程上。
84610编辑于 2022-02-17 - 来自专栏算法进阶
特征工程在实际业务中的应用！
以下文章来源于Datawhale ，作者King James 首先明确一下问题，“特征工程在实际业务中的应用”，也就是领域业务知识和机器学习建模的相互结合。 下面会对特征工程简单介绍，并且用自己工作中实际参与的项目给大家分享在银行贷款申请反欺诈场景&零售线上APP推荐场景的机器学习建模里，业务知识是如何帮助特征工程的。 01 简单介绍特征工程是什么？ 特征工程是工业界建模中最最最重要的一个模块。模型效果的好坏，一部分是由数据质量决定的，另一部分是由特征工程决定的，大家使用的算法有时候都是一样的。 什么是特征工程？ 寻找基本特征、构建组合特征来有效地区分不同label的样本，这个就是特征工程。 02 业务知识如何帮助特征工程？ 几乎所有工业界的建模，数据科学家都会去请教一下业务专家。 03 实例介绍 下面给大家分享一些实际工作中专家规则如何映射到特征工程上。
75940编辑于 2022-06-02 - 来自专栏mathor
特征工程
这次特征工程主要是以天池的一个二手车交易价格预测比赛出发进行学习 特征工程和数据清洗转换是比赛中至关重要的一块，因为数据和特征决定了机器学习的上限，而算法和模型只是逼近这个上限而已，所以特征工程的好坏往往决定着最后的结果 特征工程一般包括特征构造，特征选择，降维等步骤，但是它一般是和数据清洗转换放在一块，也有的把这两块统称为特征工程，因为两者联系实在是密切（你中有我，我中有你的景象） 通过数据清洗和转换，我们能够更好地表示出潜在问题的特征 通过上面的步骤，我们已经把特征工程做完了。简单的梳理一下，首先构造的是时间特征，构造了使用时间，是否报废，使用时间分箱，是否淡旺季等特征。 ，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。 总结 梳理一下上面的知识：特征工程和数据清洗分不开，特征工程部分包括特征构造，特征筛选和降维等技术，特征构造部分，我们需要发散思维，根据背景尽可能的构造特征出来，挖掘数据的潜在信息，当然，构造的时候，不同字段的特征得分开处理
71120发布于 2020-03-31 - 来自专栏机器学习算法原理与实践
特征工程之特征表达
在特征工程之特征选择中，我们讲到了特征选择的一些要点。本篇我们继续讨论特征工程，不过会重点关注于特征表达部分，即如果对某一个特征的具体表现形式做处理。 主要包括缺失值处理，特殊的特征处理比如时间和地理位置处理，离散特征的连续化和离散化处理，连续特征的离散化处理几个方面。 1. 对地理特征，比如“广州市天河区XX街道XX号”，这样的特征我们应该如何使用呢？处理成离散值和连续值都是可以的。如果是处理成离散值，则需要转化为多个离散特征，比如城市名特征，区县特征，街道特征等。 比如对于用户的ID这个特征，如果要使用独热编码，则维度会爆炸，如果使用特征嵌入就维度低很多了。对于每个要嵌入的特征，我们会有一个特征嵌入矩阵，这个矩阵的行很大，对应我们该特征的数目。 小结 本文总结了特征表达的一些具体方法， 但是特征表达的方法便不止于上文中的方法，毕竟这是工程实践。但是上文中的方法是比较普遍的，希望可以给大家一些帮助和启发。
1.1K30发布于 2018-08-07 - 来自专栏机器学习算法原理与实践
特征工程之特征选择
特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。本文关注于特征选择部分。 这个特征集合有时候也可能很大，在尝试降维之前，我们有必要用特征工程的方法去选择出较重要的特征结合，这些方法不会用到领域知识，而仅仅是统计学的方法。 最简单的方法就是方差筛选。 最极端的，如果某个特征方差为0，即所有的样本该特征的取值都是一样的，那么它对我们的模型训练没有任何作用，可以直接舍弃。在实际应用中，我们会指定一个方差的阈值，当方差小于这个阈值的特征会被我们筛掉。 卡方检验可以检验某个特征分布和输出值分布之间的相关性。个人觉得它比比粗暴的方差法好用。如果大家对卡方检验不熟悉，可以参看这篇卡方检验原理及应用，这里就不展开了。 个人经验是，聚类的时候高级特征尽量少一点，分类回归的时候高级特征适度的多一点。 4. 特征选择小结 特征选择是特征工程的第一步，它关系到我们机器学习算法的上限。
1.4K20发布于 2018-08-07 - 来自专栏算法研习社
特征工程（中）- 特征表达
从一个完整的机器学习任务来看，在选择完特征之后，特征表达的任务就是要将一个个的样本抽象成数值向量，供机器学习模型使用。因此，特征表达就要兼顾特征属性和模型需求这两个方面。 特征属性 特征按其取值类型不同，可以简单分为连续型和离散型。而离散型特征，又可以分为类别型和序列型。下面依次简要说明。 连续型特征：取值为连续实数的特征。 比如，身高，175.4cm。 模型需求 如果你在公司负责建模调优，那你对负责特征工程的同事，会有什么样的需求呢？换言之，你希望他们给你什么样的特征呢？ 应该不外乎这么几点，类型匹配、特征准确性、特征完备性和方便模型训练。 比如，对一个全球的GPS系统应用，地理特征很好的标示是（经度，维度）。但对一个邮政或者外卖这样的系统而言，更好用的还是拆解的层级特征，“省-市-区-县-乡-镇”等。 对文中提到的归一化，我们认为也是特征表达的一个方面，但这个问题不太核心，且限于篇幅，不再详述。下篇文章将是特征工程系列的最后一篇，届时会讨论特征评估的问题。
99730发布于 2020-07-21 - 来自专栏光城(guangcity)
特征工程之特征关联
特征工程之特征关联 0.说在前面 1.皮尔逊 2.pointbiserialr系数 3.Spearman's 系数 4.总结 5.作者的话 0.说在前面 昨天学习了seaborn绘制图形 ，以及单变量与多变量之间的绘图，那么今天从统计学角度实战分析在处理特征工程过程中所涉及的三个相关系数(具体的三个系数数学推导，在后续更新)。 在这里吧，我们可以注意到以下几种特征都是连续变量： lat long sqft_above sqft_basement sqft_living sqft_lot yr_built yr_renovated 针对连续变量，我们在做特征工程时，需要做的便是皮尔逊系数分析！ 由于运行的结果众多，这里拿一个说明，如上图所示，pearsonr系数为0.7,说明与price的关联程度很强，那么在提取特征时，就得着重关注！
1.9K20发布于 2019-09-20 - 来自专栏机器学习AI算法工程
特征工程(四): 类别特征
对于实例中，许多Web服务使用id作为分类变量来跟踪用户具有数百至数百万的值，取决于唯一的数量服务的用户。 互联网交易的IP地址是另一个例子一个很大的分类变量。 处理大量的类别特征 互联网上的自动数据收集可以生成大量的分类变量。这在诸如定向广告和欺诈检测等应用中很常见。 在有针对性的广告中，任务是根据用户的搜索查询或当前页面将用户与一组广告进行匹配。 哈希编码 当有很多特征时，存储特征向量可能占用很多空间。 特征散列将原始特征向量压缩为m维通过对特征ID应用散列函数来创建矢量。 然而，因为它是一种特征工程技术，而不是一种建模或优化方法，所以没有关于该主题的研究论文。 但该技术很容易应用于一般的二元分类。 它也可以使用通常的技术容易地扩展到多级分类将二元分类器扩展到多个类，即通过一对多优势比或其他多类标签编码。
4.1K20发布于 2019-10-28 - 来自专栏AI 算法笔记
特征工程之特征缩放&特征编码
建议收藏好好阅读 机器学习入门系列（2）--如何构建一个完整的机器学习项目 第五篇 该系列的前四篇文章： 机器学习入门系列(2)--如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法 特征工程之数据预处理 （上） 特征工程之数据预处理（下） 本篇文章会继续介绍特征工程的内容，这次会介绍特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要是处理类别型、文本型以及连续型特征 5.归一化不是万能的，实际应用中，通过梯度下降法求解的模型是需要归一化的，这包括线性回归、逻辑回归、支持向量机、神经网络等模型。 优点：模型简单 缺点：特征工程比较困难，但一旦有成功的经验就可以推广，并且可以很多人并行研究。 对于非线性模型（比如深度学习），通常使用“少量连续特征+复杂模型”。 优点：不需要复杂的特征工程 缺点：模型复杂 分桶 1.离散化的常用方法是分桶： 将所有样本在连续的数值属性 j 的取值从小到大排列。 然后从小到大依次选择分桶边界。
1.7K20发布于 2019-08-16 - 来自专栏算法研习社
特征工程（下 ）- 特征评估
作者丨stephenDC 编辑丨Zandy 作者会在本文中结合自己在视频推荐方面的工作经验，着重从工程实现方面，讲述如何对特征进行评估的问题。 特征工程的最终目的是提供给模型做预测，因此只要特征在模型上表现的好就够了。这话一点儿没错，但倘若特征的表现不如人意呢？我们有没有办法提前发现问题，或者说如果最后不得不推倒重来，怎么找到改进的方向。 所以，这种方法从原理上决定了，对没有被播放过或刚上线不久未被用户充分选择的视频，因为得到的特征会不准确，都无法覆盖。 特征维度 在实际工程实现的时候，特征的维度是一个非常重要的考虑因素。 作者曾经基于Spark mllib来做特征工程，后来发现mllib有一个致命的缺陷，就是只实现了数据分布式，而没有实现参数分布式。 没有这些相关同事的工作，特征工程就是巧妇难为无米之炊了。 小结 本文在“特征选择”和“特征表达”的基础上，聊了一下特征评估的问题。至此，特征工程系列终于结束。
1.8K20发布于 2020-07-21 - 来自专栏算法研习社
特征工程（上）- 特征选择
机器学习问题，始于构建特征。 特征质量的好坏，直接影响到最终的模型结果。 构建特征是一个很大的工程，总体来讲包括“特征选择”、“特征表达”和“特征评估”3个部分。 我们也按这3个部分，并结合自己的具体实践，用3篇文章来和大家聊一下特征工程的相关问题。 本篇文章，我们讨论一下特征选择。特征选择指的是，在全部的特征中，挑选出对最终的机器学习任务有用的特征。 在进行特征选择时，可以丢弃那些方差特别小的特征。 子集选择 基于模型，我们也可以用子集选择的思路来选取特征。假设特征的维度为N，要从中选出n个（n < N）特征，目标是让模型在选出的特征上效果最好。 如果我们先从N个特征中选出一个最好的特征，然后让其余的N-1个特征分别与第一次选出的特征进行组合，从N-1个二元特征组合中选出最优组合。之后，再次在上次的基础上，添加一个新的特征，考虑3个特征的组合。
1.1K20发布于 2020-07-21 - 来自专栏AI 算法笔记
特征工程(完)
（上） 特征工程之数据预处理（下） 特征工程之特征缩放&特征编码 这也是特征工程系列最后一篇文章，介绍特征提取、特征选择、特征构建三个工作，通常特征工程被认为分为这三方面的内容，只是我将前面的数据&特征预处理部分都加入到这个系列 实际上，特征工程其实是非常需要通过实践才能更好掌握这个技能的，单纯看理论，理解不够深入，实际应用到项目或者比赛中的时候，才会有更深入的理解。 1.SIFT 特征 SIFT 是图像特征提取中非常广泛应用的特征。 实际应用中，如果直接将该矩阵作为原文本的特征表示输入到模型中训练，通常很难得到满意的结果，一般还需要对该矩阵进行处理，提取和构造更高层的特征。 ---- 小结 特征工程这个内容加上本文总共写了四篇文章，从数据预处理，处理缺失值、异常值，类别不平衡和数据扩充问题，到特征缩放、特征编码，以及本文的特征选择、特征提取和特征构造，基本包含了特征工程涉及的内容
1.2K20发布于 2019-08-16 - 来自专栏机器学习算法原理与实践
特征工程之特征预处理
在前面我们分别讨论了特征工程中的特征选择与特征表达，本文我们来讨论特征预处理的相关问题。主要包括特征的归一化和标准化，异常特征样本清洗与样本数据不平衡问题的处理。 1. 具体的方法是求出样本特征x的均值mean和标准差std，然后用（x-mean)/std来代替原特征。这样特征就变成了均值为0，方差为1了。 max-min标准化：也称为离差标准化，预处理后使特征值映射到[0,1]之间。具体的方法是求出样本特征x的最大值max和最小值min，然后用(x-min)/(max-min)来代替原特征。 image.png 此外，经常我们还会用到中心化，主要是在PCA降维的时候，此时我们求出特征x的平均值mean后，用x-mean代替原特征，也就是特征的均值变成了0, 但是方差并不改变。 结语 特征工程系列终于写完了，这个系列的知识比较零散，更偏向工程方法，所以不像算法那么紧凑，写的也不是很好，希望大家批评指正。如果有其他好的特征工程方法需要补充的，欢迎留言评论。
2.1K40发布于 2018-08-07 - 来自专栏1996
特征工程之类别特征
类别特征 一个类别特征，见名思义，就是用来表达一种类别或标签。比如，一个类别特征能够表达世界上的主要城市，一年四季，或者说一个公司的产品(石油、路程、技术)。 对于实例中，许多Web服务使用id作为分类变量来跟踪用户具有数百至数百万的值，取决于唯一的数量服务的用户。互联网交易的IP地址是另一个例子一个很大的分类变量。 处理大量的类别特征 互联网上的自动数据收集可以生成大量的分类变量。这在诸如定向广告和欺诈检测等应用中很常见。在有针对性的广告中，任务是根据用户的搜索查询或当前页面将用户与一组广告进行匹配。 图5-2 哈希编码 当有很多特征时，存储特征向量可能占用很多空间。特征散列将原始特征向量压缩为m维通过对特征ID应用散列函数来创建矢量。 这确保了内部产品之间散列特征与原始特征的期望值相同。
1.1K10编辑于 2022-09-23 - 来自专栏vincent随笔
特征工程笔记
虽然说特征工程很大程度上是经验工程，跟具体业务相关，但是我们可以根据一些思路来进行，以下是我在实践过程中总结出来的一些思路，希望能给大家带来一点启发。 散点图 scatter 分布图（seaborn.distplot） 热力图+协方差矩阵 heatmap 对比图 PairGrid 使用完热力图后将与目标属性最相关的几个属性做一个对比图，两两对比 1.特征构建 根据相关领域的经验和概览得到的信息，决定怎么对属性进行组合比较合适 原始属性 四则运算 求和 求增幅 求众数，方差，极差 特征交叉组合 特征随机组合，然后使用PCA降维 对结构化属性进行组合（四则运算 加权融合 对不同的特征采用不同的权重 数值归一化 数值重新赋值 将连续数值分段，进行离散化（one hot编码 TF-IDF编码） 3.特征选择 主成分分析（PCA） 因子分析 机器学习获取特征重要性分数 根据方差选择，选择方差大于一定阈值的特征（方差太小说明该特征的区别不明显）
34810发布于 2021-08-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号