- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习算法工程师
《机器学习》笔记-集成学习（8）
作者：刘才权 编辑：祝鑫泉 前 言 如今机器学习和深度学习如此火热，相信很多像我一样的普通程序猿或者还在大学校园中的同学，一定也想参与其中。 对于自己，经历了一段时间的系统学习（参考《机器学习/深度学习入门资料汇总》），现在计划重新阅读《机器学习》[周志华]和《深度学习》[Goodfellow et al]这两本书，并在阅读的过程中进行记录和总结 这两本是机器学习和深度学习的入门经典。 记录笔记，一方面，是对自己先前学习过程的总结和补充。 另一方面，相信这个系列学习过程的记录，也能为像我一样入门机器学习和深度学习同学作为学习参考。 个体学习器要有一定的“准确性”，即学习器不能太坏，而且要有“多样性”（diversity），即学习器之间有差异。事实上，如何产生并结合“好而不同”的个体学习器，恰是集成学习研究的核心。
83760发布于 2018-03-30 - 来自专栏MiningAlgorithms
机器学习8：集成学习--LightGBM
LightGBM是一个梯度Boosting框架，使用基于决策树的学习算法。 它可以说是分布式的，高效的，有以下优势： 1）更快的训练效率 2）低内存使用 3）更高的准确率 4）支持并行化学习 5）可以处理大规模数据 与常见的机器学习算法对比，速度是非常快。 而对于 Histogram 算法，则只需要(#data #features * 1Bytes)的内存消耗，仅为pre-sorted算法的1/8。 无法加速split的过程，该过程复杂度为O(#data)，当数据量大的时候效率不高 2），需要广播划分的结果（左右子树的instance indices），1条数据1bit的话，大约需要花费O(#data/8) 在两方面尤其强大 · 它产生了最先进的结果，而且不需要进行广泛的数据训练 · 为更多的描述性数据格式提供了强大的“开箱即用”支持 · 性能: CatBoost提供了一种先进效果，它在性能方面与任何领先的机器学习算法都可以抗衡
2.2K20发布于 2019-08-08 - 来自专栏机器学习算法与Python学习
机器学习(8) -- 降维
图10-2 一个3维到2维的例子 降维的好处很明显，它不仅可以数据减少对内存的占用，而且还可以加快学习算法的执行。 注意，降维只是减小特征量的个数(即n)而不是减小训练集的个数(即m)。 图10-6 PCA不是线性回归 分别基于上述两种目标的具体推导过程参见周志华老师的《机器学习》P230。 10.2.4 Advice for Applying PCA PCA通常用来加快监督学习算法。 PCA应该只是通过训练集的特征量来获取投影矩阵Ureduce，而不是交叉检验集或测试集。 参考：《机器学习》 周志华
1.1K100发布于 2018-04-04 - 来自专栏小鹏的专栏
机器学习-8：DeepLN之BN
机器学习-1：MachineLN之三要素 2. 机器学习-2：MachineLN之模型评估 3. 机器学习-3：MachineLN之dl 4. 机器学习-4：DeepLN之CNN解析 5. 机器学习-5：DeepLN之CNN权重更新（笔记） 6. 机器学习-6：DeepLN之CNN源码 7. 机器学习-7：MachineLN之激活函数 8. 机器学习-8：DeepLN之BN 9. 机器学习-9：MachineLN之数据归一化 10. 机器学习-10：MachineLN之样本不均衡 11. 机器学习-11：MachineLN之过拟合 12. 机器学习-12：MachineLN之优化算法 13. 机器学习-13：MachineLN之kNN 14. 机器学习-14：MachineLN之kNN源码 15. 机器学习-15：MachineLN之感知机 16. 机器学习-16：MachineLN之感知机源码 17.
45210编辑于 2022-05-09 - 来自专栏WD学习记录
机器学习 学习笔记（8） 决策树
决策树的损失函数通常是正则化的极大似然函数，决策树学习的策略是以损失函数为目标函数的最小化。 # 代码和数据集主要源自于机器学习实战，https://github.com/AnnDWang/MachineLearning/blob/master/thirdbook/ch3/trees.py from 剪枝处理 剪枝是决策树学习算法对付过拟合的主要手段。主要有预剪枝和后剪枝。 为参数，则决策树学习的损失函数为： ? ，经验熵为 ? ， 损失函数中的右边的第一项为： ? ，此时有 ? 多变量决策树 多变量决策树又称为斜决策树，实现如下图所示的斜划分 甚至更复杂的决策树： image.png image.png 参考 《机器学习》 《统计学习方法》 《机器学习实战》
1K10发布于 2018-09-03 - 来自专栏AI机器学习与深度学习算法
机器学习入门 8-5 学习曲线
本系列是《玩转机器学习教程》一个整理的视频笔记。上一小节介绍了模型复杂度曲线，通过这种直观的曲线，可以比较容易的看到模型欠拟合和过拟合的地方，进而选出最合适的模型复杂度。 在上一小节中，提到模型复杂度曲线是一个理论的趋势，当处理不同的数据运用不同的模型时，有可能绘制不出这么清晰的模型复杂度曲线，而现在学的kNN算法和多项式回归算法就不太适合绘制这样的模型复杂度曲线，当然这些机器学习算法内在都是符合这样的曲线趋势 2 学习曲线 学习曲线其实非常简单，可以想象一下，我们在学习知识的时候是不断的将新的内容放入我们的大脑中去消化理解，而对于模型来说，所谓的这些知识就是已知的样本信息，学习曲线描述的就是随着训练样本的逐渐增多 阶数为2的多项式回归学习曲线如下图所示。 ? 上面就是使用二阶的多项式回归得到的学习曲线，仔细观察一下就会发现，这个学习曲线从整体的趋势来看和使用线性回归得到的学习曲线是一致的， train这根曲线逐渐上升，上升到一定程度后变得相对比较稳定； test
1.7K10发布于 2019-12-26 - 来自专栏AI机器学习与深度学习算法
机器学习入门 8-9 lasso
本系列是《玩转机器学习教程》一个整理的视频笔记。 对于这些超参数都是根据经验进行取值的，如果具体进行机器学习算法的过程中需要通过不断的实验不断的观察结果慢慢地形成经验指导，这样在调参的时候可以大概指导参数在那个范围内选择会相应的比较好。 当然在实际选择机器学习算法参数的时候，需要在完全不正则化（α取值为0）与正则化过头（就此例而言α取值为1，拟合曲线变成一条平行的直线）之间选择一个效果最好的取值。
1.3K20发布于 2020-01-14 - 来自专栏NowlNowl_AI
机器学习第8天：SVM分类
分类就是一种寻找距每种实例最远的决策边界的算法 特征缩放 SVM算法对特征缩放很敏感（不处理算法效果会受很大影响） 特征缩放是什么意思呢，例如有身高数据和体重数据，若身高是m为单位，体重是g为单位，那么体重就比身高的数值大很多，有些机器学习算法就可能更关注某一个值 第二列：(2−5)/9=−1.22474487(2−5)/9=−1.22474487，(5−5)/9=0(5−5)/9=0，(8−5)/9=1.22474487(8−5)/9=1.22474487 ax.set_xlim(xx.min(), xx.max()) ax.set_ylim(yy.min(), yy.max()) # 绘制结果 fig, ax = plt.subplots(figsize=(8,
47410编辑于 2024-01-18 - 来自专栏啄木鸟软件测试
机器学习测试笔记（8）——分组聚合
https://item.jd.com/34295655089.html 《基于Django的电子商务网站》： https://item.jd.com/12082665.html # coding:utf-8 0.993400 2 张三 0.774209 3 李四 -0.580589 4 李四 -1.407389 5 李四 1.517611 6 王五 -0.246851 7 王五 0.141326 8
48120发布于 2021-01-04 - 来自专栏趣Python
机器学习（8）欠拟合和过拟合
机器学习中我们常用的方式是给代价函数增加正则项，或者叫惩罚因子，常用的是L2范数（后面再说说范式），简单理解就是参数的平方和，参数越多，惩罚也就越厉害，这个相当于增加了一个先验项。
1.2K20发布于 2020-06-05 - 来自专栏AI机器学习与深度学习算法
机器学习入门 8-8 模型泛化与岭回归
本系列是《玩转机器学习教程》一个整理的视频笔记。 由于时间关系岭回归的底层实现在这个课程中不进行实现，这个课程的目的是让我们能够更加深入的理解这些机器学习算法背后的原理。 实际上我们自己实现的底层代码相较于sklearn为我们封装的方法来说比较简陋，sklearn封装的机器学习算法更加精度以及可靠。 对于岭回归而言，sklearn将岭回归封装在linear_model包下Ridge类，创建岭回归和其他机器学习模型的创建一样，对于岭回归来说，需要传入模型正则化的比重α值。
1.3K20发布于 2020-01-14 【机器学习】Yolov8安装到使用模型
puffed_food', '3_puffed_food', '4_puffed_food', '5_puffed_food', '6_puffed_food', '7_puffed_food', '8_ 训练的轮数越多，模型对数据的学习就越充分，但也增加了训练时间。 选取策略 默认是100轮数。但一般对于新数据集，我们还不知道这个数据集学习的难易程度，可以加大轮数，例如300，来找到更佳性能。 因为我们的batch越大我们选择的这个batch中的图片更有可能代表整个数据集的分布，从而帮助模型学习。但batch越大占用的显卡显存空间越多，所以还是有上限的。 imgsz: 输入图像的尺寸。 yolo8/yolov8s.pt imgsz=64 yolo detect train data=d:/yolo8/test.yaml model=d:/yolo8/yolov8s.pt imgsz=640 需要验证的模型 data 代表检测的配置 yolo detect val data=d:/yolo8/test.yaml model=d:/yolo8/runs/detect/train/weights
1.1K10编辑于 2025-07-02- 来自专栏xingoo, 一个梦想做发明家的程序员
吴恩达机器学习笔记 —— 8 正则化
本章讲述了机器学习中如何解决过拟合问题——正则化。讲述了正则化的作用以及在线性回归和逻辑回归是怎么参与到梯度优化中的。 更多内容参考 机器学习&深度学习 在训练过程中，在训练集中有时效果比较差，我们叫做欠拟合；有时候效果过于完美，在测试集上效果很差，我们叫做过拟合。
36300发布于 2018-07-31 - 来自专栏明天依旧可好的专栏
机器学习第8天：IPyhon与Jupyter notebook
学习ipython将会让我们以一种更高的效率来使用python。同时它也是利用Python进行科学计算和交互可视化的一个最佳的平台之一。 L.reverse L.clear L.extend L.pop L.sort L.copy L.index L.remove In [8] 如果你要进行的是数据清洗、数据分析、机器学习等，我相信它是一个不错的选择 五、jupyter notebook的安装与运行 安装：能用pip解决的问题我们尽量用pip解决，这里还是通过pip来安装 pip
1.1K20发布于 2019-01-22 - 来自专栏猴子数据分析
Python机器学习：适合新手的8个项目
在这篇文章中，我们将为初学者介绍 8 个有趣的机器学习项目。你可以在一个周末完成其中的任何一个，或者如果你很喜欢它们，可以将它扩展为更长的项目。 1、机器学习角斗士 我们亲切地称其为「机器学习角斗士」，但它并不新鲜。这是围绕机器学习建立 实用 直觉的最快方法之一。 目标是采用开箱即用的模型并将其应用于不同的数据集。 虽然有许多流行的社交媒体平台，但Twitter 是练习机器学习的经典切入点。 8、改善医疗保健 由于机器学习，另一个正在经历快速变化的行业是全球健康和医疗保健。 在大多数国家，成为一名医生需要多年的教育。这是一个要求高、工作时间长、风险高、进入门槛更高的领域。 教程 • R：为疾病预测构建有意义的机器学习模型 • 医疗保健中的机器学习——微软研究院的精彩演讲 数据源 • 大型健康数据集——大型健康相关数据集的集合 • data.gov/health – 美国政府提供的与健康和医疗保健相关的数据集
1.3K20编辑于 2022-07-13 - 来自专栏AI机器学习与深度学习算法
机器学习入门 8-7 偏差方差平衡
本系列是《玩转机器学习教程》一个整理的视频笔记。 这些问题都会使训练的机器学习模型在真实的预测过程中产生各种误差或者错误。 对于方差这个错误，在机器学习的过程中表现在于数据的一点点扰动都会极大的影响模型，换句话说模型没有完全学习到解决问题的实质（红色中心点），而是学习到了很多噪音。 3 主要挑战方差以及解决高方差主要手段 在机器学习领域主要挑战来自于方差而不是偏差。 ，还不如我们使用这些简单机器学习模型最终的效果； 使用验证集。
1.2K10发布于 2020-01-14 - 来自专栏机器学习算法与Python学习
机器学习(8)之范数正则与Lasso详解
关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第二 【Python】：排名第三 【算法】：排名第四 线性回归及L2正则 大家对于线性回归以及带有二范数正则的线性回归已经比较熟悉了 周志华《机器学习》 2. http://www.cnblogs.com/pinard/p/6018889.html
1.6K50发布于 2018-04-04 - 来自专栏浊酒清味
Python快速实战机器学习(8) 随机森林
引言 随机森林(random forest)是之前我们学习的决策树的集成，因此我们用森林来称呼。随机森林的思想也不复杂，但是表现却非常好。 在训练时，随机森林中的每棵树都会从数据点的随机样本中学习。样本被有放回的抽样，称为自助抽样法（bootstrapping），这意味着一些样本将在一棵树中被多次使用。 对比随机森林和神经网络 神经网络比其他两种方法好主要是这几年深度学习成功应用在了图像识别和语音识别等方面，如果学习任务是做用户兴趣偏好分类，订单预测等随机森林(random forest)模型（尤其是xgboost
76910发布于 2019-12-17 - 来自专栏AI机器学习与深度学习算法
机器学习入门 9-8 OvR与OvO
前言 本系列是《玩转机器学习教程》一个整理的视频笔记。 解 决 多 分 类 的 逻 辑 回 归 算 法 前面几个小节详细介绍了逻辑回归这种机器学习算法，它是通过回归的方式来解决分类问题。 OvR（One vs Rest） 首先来看OvR（One vs Rest），通过OvR的英文名可以知道是一对剩余的所有，不过在其它一些机器学习教材或者资料中可能将OvR称为OvA（One vs All） 这一章介绍了分类任务，但是对于分类任务还有很多值得讨论的地方，其中非常重要的地方就是如何来评价分类器的准确度，之前的学习中一直使用accuracy分类准确度的方式来评价分类器的好坏，其实这种评价标准在一些情况下存在非常严重的缺陷
4.6K51发布于 2020-03-26 - 来自专栏企鹅号快讯
深入机器学习系列8-Gradient-boosted tree
梯度提升树 1 Boosting 是一类将弱学习器提升为强学习器的算法。 这类算法的工作机制类似：先从初始训练集中训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注。 然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器的数目达到事先指定的值，最终将这个基学习器进行加权结合。 初始化参数 训练第一棵树（即第一个基学习器） 这里比较关键的是通过计算初始的预测和误差。 根据选择的损失函数的不同，的实现不同。 5.2 测试 利用梯度提升树进行预测时，调用的方法扩展自，它是树结构组合模型的表示，其核心代码如下所示： 参考文献 【1】Stochastic Gradient Boost 【2】机器学习算法-梯度树提升
74560发布于 2018-02-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号