- 综合排序
- 最热优先
- 最新优先
- 来自专栏炼丹笔记
漫谈特征缩放
作者： 时晴 说起"炼丹"最耗时的几件事,首先就能想到的就是数据清洗,特征工程,还有调参.特征工程真的是老生常谈了,但是特征工程又是最重要的一环,这一步做不好怎么调参也没用.在特征工程中,做特征缩放是非常重要的 ,如下图所示: 我们可以看到,在没做特征缩放前,用kmeans跑出的聚类结果就如图所示,以y=0为分界线,上面是一类,下面是一类,相当的离谱.主要原因就是y值的取值范围很大,从-4000~4000,而 Scaling的目的很简单,一方面是使得每列特征“范围”更接近,另一方面是让计算变得更加简单,如梯度下降在特征缩放后,将缩放的更快,效果更好,所以对于线性回归,逻辑回归,NN都需要做特征缩放: 特征缩放有很多种 我们发现,对偏态分布的数据缩放后并没有改变其分布.我们对数据做次log再缩放呢? MinMaxScaler: 不适用于有异常值的数据;使得数据缩放到0~1. MaxAbsScaler: 不适用于有异常值的数据;使得数据缩放到-1~1.
1.4K30发布于 2021-09-02 - 来自专栏AI 算法笔记
特征工程之特征缩放&特征编码
（上） 特征工程之数据预处理（下） 本篇文章会继续介绍特征工程的内容，这次会介绍特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要是处理类别型、文本型以及连续型特征 ---- 3.2 特征缩放 特征缩放主要分为两种方法，归一化和正则化。 3.2.1 归一化 归一化(Normalization)，也称为标准化，这里不仅仅是对特征，实际上对于原始数据也可以进行归一化处理，它是将特征（或者数据）都缩放到一个指定的大致相同的数值区间内。 ---- 小结 特征缩放是非常常用的方法，特别是归一化处理特征数据，对于利用梯度下降来训练学习模型参数的算法，有助于提高训练收敛的速度；而特征编码，特别是独热编码，也常用于对结构化数据的数据预处理。 95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86/ https://gofisher.github.io/2018/06/20/%E6%95%B0%E6%8D%AE%E6%
1.7K20发布于 2019-08-16 - 来自专栏SuperFeng
机器学习系列 5：特征缩放
肯定不能用手盘呀，这里就要用到特征缩放（Feature Scaling）。将变量 x1 和 x2 都缩放到一个范围中，我们将他们都缩放到 -1 到 1 这个范围内。 现在变量 x1 和 x2 的范围全部都在 -1 到 1 这个区间了，但是又出现一个问题，你发没发现，现在经过处理之后的数据全是正值，不分散，那么我们就要用稍微复杂一点的方法进行特征缩放。
58820发布于 2019-09-26 - 来自专栏数据结构和算法
Scikit-Learn 中级教程——特征缩放
Python Scikit-Learn 中级教程：特征缩放 在机器学习中，特征缩放是一个重要的预处理步骤。它用于调整数据中特征的范围，以便模型能够更好地收敛和表现。 在本篇博客中，我们将深入介绍 Scikit-Learn 中的特征缩放方法，并通过代码示例说明如何进行特征缩放。 1. 为什么需要特征缩放？ 在许多机器学习算法中，特征的尺度对算法的性能有着重要的影响。 常见的特征缩放方法 2.1 Min-Max 缩放 Min-Max 缩放是一种线性缩放方法，将特征缩放到指定的范围，通常是 [0, 1]。 特征缩放的注意事项 在进行特征缩放时，需要注意以下几点： 只对训练集进行缩放: 在训练和测试集的划分后，特征缩放应该只在训练集上进行。然后，使用同样的缩放参数对测试集进行缩放，以保持一致性。 在选择特征缩放方法时，需要考虑数据的分布和模型的特性。希望本篇博客对你理解和应用特征缩放有所帮助！
57710编辑于 2024-01-21 - 来自专栏机器学习AI算法工程
特征工程(三):特征缩放,从词袋到 TF-IDF
因此，它是特征缩放的一个例子，这是第2章介绍的一个概念。特征缩放在实践中效果有多好？ 我们来比较简单文本分类任务中缩放和未缩放特征的表现。 coding时间到！ Yelp数据集挑战赛第6轮包含在美国六个城市将近一百六十万商业评论。 使用python加载和清洗Yelp评论数据集 ? 建立分类数据集 让我们看看是否可以使用评论来区分餐厅或夜生活场所。 测试集上进行特征缩放 特征缩放的一个细微之处是它需要了解我们在实践中很可能不知道的特征统计，例如均值，方差，文档频率，L2范数等。 总结 在本章中，我们使用tf-idf作为入口点，详细分析特征变换如何影响（或不）模型。Tf-idf是特征缩放的一个例子，所以我们将它的性能与另一个特征缩放方法-L2标准化进行了对比。 结果并不如预期。 我们还发现了另一个特征缩放效果：它改善了数据矩阵的条件数，使线性模型的训练速度更快。 L2标准化和tf-idf都有这种效果。 总而言之，正确的特征缩放可以有助于分类。
1.7K20发布于 2019-10-28 - 来自专栏Python与算法之美
6，特征的提取
我们将简要介绍一些常用的特征提取方法： 字典加载特征:DictVectorizer 文本特征提取： 词频向量(CountVectorizer) TF-IDF向量(TfidfVectorizer,TfidfTransformer ) 特征哈希向量(HashingVectorizer) 图像特征提取: 提取像素矩阵 一，字典加载特征 用python中的字典存储特征是一种常用的做法，其优点是容易理解。 但是sklearn的输入特征必须是numpy或scipy数组。可以用DictVectorizer从字典中加载特征转换成numpy数组，并且对分类特征会采用独热编码(one-hot)。 ? 二，文本特征提取 1，字频向量(CountVectorizer) 词库模型（Bag-of-words model）是文字模型化最常用方法，它为每个单词设值一个特征值。 三，图片特征提取 图片特征提取的最常用方法是获取图片的像素矩阵，并将其拼接成一个向量。 ? ? ? ?
1.3K31发布于 2020-07-17 - 来自专栏DeepHub IMBA
特征工程中的缩放和编码的方法总结
特征工程又是数据预处理的一个重要组成， 最常见的特征工程有以下一些方法： 编码 缩放 转换 离散化 分离 等等 在本文中主要介绍特征缩放和特征编码的主要方法。 特征缩放 特征缩放是一种在固定范围内对数据中存在的独立特征进行标准化的技术。 对于这些模型来说，特性缩放是非常重要的，特别是当特性的范围非常不同的时候。范围较大的特征对距离计算的影响较大。 z-score标准化，即零-均值标准化（常用方法） 标准化(或z分数归一化)缩放后，特征就变为具有标准正态分布，具有μ= 0和σ= 1，其中μ均值，σ是平均值的标准差。 虽然是这么说，但是使用那种缩放来处理数据还需要实际的验证，在实践中可以用原始数据拟合模型，然后进行标准化和规范化并进行比较，那个表现好就是用那个，下图是需要使用特征缩放的算法列表： 特征编码 上面我们已经介绍了针对数值变量的特征缩放
1.6K10编辑于 2022-11-11 - 来自专栏算法channel
北大陈浩然笔记：特征缩放和泛化能力(亮点)
2特征缩放 由于 x 具有很多维的特征，每一维的特征大小可能相差甚多，这样会大大影响学习的速度。 为了避免这种情况，我们使用了特征缩放将每个特征的值进行处理，使之在[-1,1]之间，当然，原本范围就于此在一个数量级的特征，也可以不进行处理。处理公式如下： ? 或者 ? 其中 σ 为数据标准差。 我们使用了冗余的特征，例如我们选取的两个特征始终保持倍数关系，则这两个特征向量线性相关。此时应该去除冗余的向量。 我们使用了太多的特征(特征的数量超过了样本的数量). 比如我们原来有只有一个特征 x1，我们现在令 ? 就人为的引入了第二个特征，拥有更强的拟合能力。我们还可以引入两个特征的交叉项，使得线性模型更强大。 例如，我们原本只有一个模型： ? 我们引入 ? 但是，我们也要防范过拟合问题，过多的人为特征很容易导致过拟合，我们将在下一个章节详细讨论。 6校验 那么，我们写好算法进行运行之后，如何检验我们的算法是否正常运行呢？
1.1K00发布于 2018-07-31 - 来自专栏AI派
如果你还不清楚特征缩放&特征编码的作用，不妨看看这篇文章
本文来自星球朋友的投稿，如果觉得文章对你有帮助，可以去看看他的公众号： 机器学习与计算机视觉 如果你你正在学习机器学习，那么特征工程必不可少，特征缩放和特征编码刚是其中的一项，如果你之前不了解，那么希望这边文章能对你有所启发 关于特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要是处理类别型、文本型以及连续型特征。 ---- 3.2 特征缩放 特征缩放主要分为两种方法，归一化和正则化。 3.2.1 归一化 归一化(Normalization)，也称为标准化，这里不仅仅是对特征，实际上对于原始数据也可以进行归一化处理，它是将特征（或者数据）都缩放到一个指定的大致相同的数值区间内。 95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86/ https://gofisher.github.io/2018/06/20/%E6%95%B0%E6%8D%AE%E6%
2.4K20发布于 2019-05-05 - 来自专栏DeepHub IMBA
机器学习特征工程：缩放、编码、聚合、嵌入与自动化
好模型的秘诀不在于更花哨的算法，而在于更好的特征。 第1部分：数值 特征 1、1 缩放 多数机器学习算法对尺度敏感。 常用的三种缩放器各有适用场景：StandardScaler适合近似正态分布的数据，也是最常见的选择；MinMaxScaler将值压缩到0和1之间，适合神经网络；RobustScaler基于中位数和四分位距 sklearn.preprocessing import RobustScaler df['salary_scaled'] = RobustScaler().fit_transform(df[['salary']]) ⚠️ 缩放器只能在训练集上拟合 ['day_of_week'] = df['order_date'].dt.dayofweek df['is_weekend'] = df['day_of_week'].isin([5, 6] from sentence_transformers import SentenceTransformer model = SentenceTransformer('all-MiniLM-L6-v2
10510编辑于 2026-04-15 - 来自专栏CU技术社区
Linux6上UI缩放的考验和磨难
但是，在对我的设置进行了一些调整之后，我得出结论，虽然分辨率确实不是问题所在，但与之相关的问题是：用户界面缩放。 当我关闭200％缩放比例并将其设置为100％时（在此过程中用户界面几乎变得非常小），这个问题就消失了。最终，经过多年与这个问题的斗争，在OSNews读者的帮助下，我似乎已经找到了问题的答案。 我不敢相信它看起来像UI缩放一样简单。 当然，在13英寸显示器上以100％缩放比例运行4K并非完全理想，因此我开始尝试使用分辨率和缩放因子的不同组合来确定某些组合是否比其他组合多或少。 我最终在2048×1152的适当中间位置上以100％的比例缩放，将UI字体设置为11。当然，这并不能最佳地利用4K显示屏，但是看起来不错，清晰、尺寸正确，并完全可用。 这意味着在X.org、Intel驱动程序、Mutter / Kwin窗口管理器或其任何组合中似乎如何实现缩放存在一个问题。
1.9K40发布于 2020-02-11 - 来自专栏人工智能
机器学习（六）——线性回归的多变量、特征缩放、标准方程法
机器学习（六） ——线性回归的多变量、特征缩放、标准方程法 （原创内容，转载请注明来源，谢谢） 一、多变量 当有n个特征值，m个变量时，h(x)=θ0+θ1x1+θ2x2…+θnxn，其中可以认为x0= 二、特征缩放（FeatureScaling） 特征缩放的目的，是为了让每个特征值在数量上更加接近，使得每个特征值的变化的影响相对比较“公平”。 由于这个方法是直接通过代数的方式，解出每个θ，因此，其不需要进行特征缩放，也不需要学习速率α。 2、特殊情况 由于用标准方程法时，涉及到要计算矩阵XTX的逆矩阵。但是XTX的结果有可能不可逆。 因此，首先需要考虑特征值是否冗余，并且清除不常用、区分度不大的特征值。 缺点：需要调试出合适的学习速率α、需要多次迭代、特征值数量级不一致时需要特征缩放。 2）标准方程法 优点：不需要α、不需要迭代、不需要特征缩放，直接解出结果。
1.2K81发布于 2018-01-08 - 来自专栏决胜机器学习
机器学习（六） ——线性回归的多变量、特征缩放、标准方程法
机器学习（六）——线性回归的多变量、特征缩放、标准方程法 （原创内容，转载请注明来源，谢谢） 一、多变量 当有n个特征值，m个变量时，h(x)=θ0+θ1x1+θ2x2…+θnxn，其中可以认为x0 二、特征缩放（FeatureScaling） 特征缩放的目的，是为了让每个特征值在数量上更加接近，使得每个特征值的变化的影响相对比较“公平”。 由于这个方法是直接通过代数的方式，解出每个θ，因此，其不需要进行特征缩放，也不需要学习速率α。 2、特殊情况 由于用标准方程法时，涉及到要计算矩阵XTX的逆矩阵。但是XTX的结果有可能不可逆。 因此，首先需要考虑特征值是否冗余，并且清除不常用、区分度不大的特征值。 缺点：需要调试出合适的学习速率α、需要多次迭代、特征值数量级不一致时需要特征缩放。 2）标准方程法 优点：不需要α、不需要迭代、不需要特征缩放，直接解出结果。
1.3K60发布于 2018-03-07 - 来自专栏绿盟科技研究通讯
物联网设备的6个特征
如果采用机器学习的方法来解决识别，那么描绘物联网资产的特征就变得尤为重要。接下来本文就来介绍开放HTTP服务的物联网设备的特征。 在介绍物联网设备特征之前，需要先了解什么是Banner？ 所以出现在该字段的特征被归为结构化的特征。下图为TP-Link Archer C5路由器的特征。 ? 图6.Title字段中的物联网设备特征示例 5半结构化特征 半结构化特征是结构化特征的一种形式，它并不像结构化特征具有固定的数据模型结构，但他包含相关标记来分隔语义元素以及对记录和字段进行分层，因此也被称为自描述的结构 图8.标签属性中的物联网设备特征示例 6非结构化特征 顾名思义就是没有固定结构的数据特征。比如文档、图片、视频/音频等都属于非结构化数据。 感兴趣的读者欢迎点击阅读资产系列相关文章： 《物联网安全始于资产识别——物联网资产识别方法研究综述》 《物联网资产暴露情况——IPv6拿起接力棒》 《只要运营功夫深，大海也能捞到针——IPv6地址扫描实践分享
4.9K20发布于 2020-06-23 - 来自专栏作图丫
6+免疫相关lncRNA特征构建！
了解NSCLC患者T细胞特征并与临床结局关联，可以帮助提高免疫治疗的疗效。 图5 采用卡方检验来调查风险评分与其他临床病理特征之间的关系。绘制热图，显示年龄、临床分期、T期、N期、M期与风险评分显著相关(图6A)。 采用单因素和多因素Cox回归分析，以确定COAD患者的预后相关因素(图6B，C)。因此，风险评分与COAD患者的预后独立相关。 Wilcoxon符号秩检验显示，临床分期（图6D）、T期（图6E）、N期（图6F）和M期（图6G）与计算出的风险评分显著相关。 构建LncRNA对并用于预后特征的发展，所构建的signature可以有效地评价结肠癌患者的预后，指导临床治疗。这是一个经典的特征构建思路，小伙伴们可以在更多的基因集和疾病中进行尝试分析！
45210编辑于 2022-03-29 - 来自专栏全栈程序员必看
窗口动画缩放,过渡动画缩放,Animator时长缩放_关闭动画缩放好不好
我们通常会使用它的四个子类AlphaAnimation、RotateAnimation、ScaleAnimation和TranslateAnimation，他们分别可以实现渐变动画、旋转动画、平移动画、缩放动画 功能，当然我们今天的主角就是缩放动画 ScaleAnimation。 X坐标类型 private int mPivotYType = ABSOLUTE; //缩放中心点的Y坐标类型 private float mPivotXValue = 0.0f; //缩放中心点的X坐标比例 ：缩放中心点的X坐标比例 pivotYType：缩放中心点的Y坐标类型 pivotYValue：缩放中心点的Y坐标比例 public class Test{ private void test(){ //示例传参实现的是，以控件中心为缩放点，从1.0倍缩小到0.5倍，即原图的二分之一，不设置缩放点类型，默认坐标原点以控件为准 ScaleAnimation animation = new ScaleAnimation
3.8K20编辑于 2022-11-19 - 来自专栏讲编程的高老师
吴恩达机器学习笔记21-多元梯度下降实践之特征缩放
而本次视频讲解特征缩放的算法。 在多元线性模型中，非常让人恼火的一点是，不同的变量它的单位是不一样的，这样会导致它们的取值差别会非常大。 如果不做特征缩放的话，误差函数的等高线是下图这样的： ? 上图这样的一个误差函数，我们要耗费好多时间才能收敛到最小值。 综上，我们就是要想办法让不同的分量的取值空间进行一些缩放，让它们的取值区间相差不大。如下图，太大的缩小一点，太小的放大一点。 ? 我们进行特征缩放的一般公式，可以表示成下图的样子 ? 用这个值减去平均值然后再除以取值范围，即可得到缩放后的特征值。 以上就是本次视频的内容，我们知道如何进行特征缩放，以及特征缩放之后可以带来梯度下降速度加快的好处。更多内容且听下回。
49830发布于 2020-08-14 - 来自专栏图像处理与模式识别研究所
图像缩放
:/Users/xpp/Desktop/Lena.png')#原始图像 cv2.imshow("original",o) rst=cv2.resize(img,None,fx=2,fy=0.5)#图像缩放 图像缩放是在处理效率以及平滑度和清晰度上做权衡。 dst=cv2.resize(src, dsize[, fx[, fy[, interpolation]]]) src表示输入图像 dsize表示输出图像大小 fx表示水平方向上（x轴方向）缩放比 fy 表示垂直方向上（y轴方向）缩放比 interpolation表示插值方式 参数dsize的x方向缩放大小（参数fx）： (double)dsize.width/src.cols y方向的缩放大小（参数 （width，即列数cols，与参数fx相关），第2个参数对应缩放后图像高度（height，即行数rows，与参数fy相关）。
2K20编辑于 2022-05-28 - 来自专栏京程一灯
在 React 中缩放、裁剪和缩放图像
每日前端夜话第283篇 翻译：疯狂的技术宅 作者：Nic Raboy 来源：thepolyglotdeveloper 正文共：1608 字 预计阅读时间：6分钟 ? <ImageCropper src="https://d33wubrfki0l68.cloudfront.net/446b1f54b7535dc5e58648c68222312c90c1aec<em>6</em>/
8.7K40发布于 2020-02-26 - 来自专栏快乐阿超
滚轮缩放
要使人成为真正有教养的人，必须具备三个品质：渊博的知识、 思维的习惯和高尚的情操。知识不多就是愚昧；不习惯于思维， 就是粗鲁或蠢笨；没有高尚的情操，就是卑俗。——车尔尼雪夫斯基 代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>scroll</title> </head> <body> <img width="500px" id="img" src="https://vampireachao
2.7K10编辑于 2022-08-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号