- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习原理
机器学习（10）——线性SVM
支持向量机 Support vecor machine,SVM)本身是一个二元分类算法,是对感知器算法模型的一种扩展,现在的SVM算法支持线性分类和非线性分类的分类应用,并且也能够直接将SVM应用于回归应用中 线性可分(Linearly Separable):在数据集中,如果可以找出一个超平面,将两组数据分开,那么这个数据集叫做线性可分数据。 线性不可分( Linear Inseparable):在数据集中,没法找出一个超平面,能够将两组数据分开,那么这个数据集就叫做线性不可分数据。 线性可分svm SVM的解决问题的思路是找到离超平面的最近点，通过其约束条件求出最优解。如下图所示： ? 支持向量满足函数： ? 支持向量点到超平面的距离： ? image.png 小结 （1）要求数据必须是线性可分的; （2）纯线性可分的SVM模型对于异常数据的预测可能会不太准 （3）对于线性可分的数据,SVM分类器的效果毛非常不错
928102发布于 2018-04-27 - 来自专栏红色石头的机器学习之路
基于线性SVM的CIFAR-10图像集分类
线性分类与得分函数 在线性分类器算法中，输入为x，输出为y，令权重系数为W，常数项系数为b。 所以说，Δ=1Δ=1\Delta=1 或 Δ=10Δ=10\Delta=10，实际上没有差别，对W的伸缩完全可以抵消掉 ΔΔ\Delta 的数值影响。因此，通常把 ΔΔ\Delta 设置为1即可。 线性SVM实战 首先，简单介绍一下我们将要用到的经典数据集：CIFAR-10。 CIFAR-10数据集由60000张3×32×32的 RGB 彩色图片构成，共10个分类。 总结 本文讲述的线性SVM利用距离间隔最大的思想，利用hinge loss的优化策略，来构建一个机器学习模型，并将这个简单模型应用到CIFAR-10图片集中进行训练和测试。 准确率虽然不是很高，但是此SVM是线性模型，没有引入核函数构建非线性模型，也没有使用AlexNet，VGG，GoogLeNet，ResNet等卷积网络。
1.9K20发布于 2019-05-25 - 来自专栏SuperFeng
机器学习系列10：线性回归与逻辑回归的正则化
线性回归的正则化 还记得在线性回归中我们有哪两种方法去求代价函数的最小值吗？当然是梯度下降和正规方程了。让我们来复习一下线性回归中梯度下降算法，如下： ? 与线性回归的正则化类似，逻辑回归的正则化就是在逻辑回归的代价函数中加入对参数的惩罚： ? 正则化后得到的梯度下降算法与线性回归中非常像，只是假设函数不同而已。 ?
85730发布于 2019-09-26 - 来自专栏AI机器学习与深度学习算法
机器学习入门 5-10 线性回归的可解释性
线性回归的可解释性 下面先使用sklearn封装好的线性模型在整个数据集上进行拟合： ? ? 即使你的数据使用线性回归法预测的结果不够好，但是我们通过这样的方式，首先看一看数据特征和预测目标的线性关系，相应的系数有多大，这样做也是非常有意义的。 这里需要注意的是在使用线性回归算法的时候，对数据是有一个假设的：数据和最终的输出结果之间有一定的线性关系，这个线性关系越强，线性回归算法得到的结果相应的也就越好。 在kNN中没有这种对数据的假设，虽然如此，但是当数据真的和输出结果有比较强的线性关系的话，线性回归算法是要比kNN算法要好的，而且从某个维度上来讲，是好不少的，当然在处理非线性回归问题上，只需要将线性回归算法稍作修改即可解决非线性回归的问题 下一章会介绍求解线性回归方程的另一种方式--梯度下降法。
1.4K00发布于 2019-11-13 - 来自专栏DeepHub IMBA
机器学习中的10种非线性降维技术对比总结
尽管降维方法种类繁多，但它们都可以归为两大类:线性和非线性。 线性方法将数据从高维空间线性投影到低维空间(因此称为线性投影)。例子包括PCA和LDA。 非线性方法提供了一种执行非线性降维(NLDR)的方法。我们经常使用NLDR来发现原始数据的非线性结构。当原始数据不可线性分离时，NLDR很有用。在某些情况下，非线性降维也被称为流形学习。 本文整理了10个常用的非线性降维技术，可以帮助你在日常工作中进行选择 1、核PCA 你们可能熟悉正常的PCA，这是一种线性降维技术。核PCA可以看作是正态主成分分析的非线性版本。 但是核PCA能很好地处理线性不可分割的数据。因此，核PCA算法的主要用途是使线性不可分的数据线性可分，同时降低数据的维数! =50, cmap='plasma') plt.title('First component after applying FastICA') plt.xlabel('Component 1') 10
1.1K10编辑于 2024-02-21 - 来自专栏开心的学习之路
线性结构------线性表（一）
线性表的相关概念： ------线性表（Linear List）由有限个类型相同的数据元素组成，除了第一个元素和最后一个元素外，其他元素都有唯一的前驱元素和唯一的后继元素。 ------表中元素个数成为线性表的长度。 ------线性表没有元素时成为空表。 ------表起始位置成为表头，结束位置成为表尾。 基本操作集合： （1）void InitList(List *L):初始化一个空线性表表 （2）DataType FindByNum(int k, List L):查找线性表中第K位的元素，返回该元素 e):在线性表中第i个位置上插入元素e （5）void Delete(List L, int i):删除线性表中第i个位置上的元素 （6）int Lengh(List L):返回线性表长度 （7）void PrintList(List L):打印线性表 线性表的实现： 一、顺序实现 #define MAXSIZE 20 typedef int DataType; typedef struct {
61860发布于 2019-02-14 - 来自专栏开心的学习之路
线性结构------线性表（二）
如果要对链表进行插入删除操作，用顺序结构需要找到目标位置然后移动大量元素，复杂度为O（n），此时就需要考虑线性表的链式存储结构。 链式线性表由n个结点通过指针域连接而成。 LinkList *L = (LinkList*)malloc(sizeof(LinkList)); InitList(L); for(int i = 0; i <= 10
45510发布于 2019-02-14 - 来自专栏小小程序员——DATA
线性回归 numpy实现线性回归
手写线性回归 使用numpy随机生成数据 import numpy as np import matplotlib.pyplot as plt # 生成模拟数据 np.random.seed(42) # 可视化数据 plt.scatter(X, y) plt.xlabel('X') plt.ylabel('y') plt.title('Generated Data') plt.show() 定义线性回归参数并实现梯度下降 对于线性拟合，其假设函数为： h_θ(x)=θ_1x+θ_0 这其中的 θ 是假设函数当中的参数。 ) plt.ylabel('y') plt.legend() plt.title('Linear Regression using Gradient Descent') plt.show() 实现多元线性回归 多元线性回归的梯度下降算法： θ_j≔θ_j−α\frac{∂J(θ)}{∂θ_j} 对 \frac{∂J(θ)}{∂θ_j} 进行等价变形： θ_j≔θ_j−α\frac{1}{m}∑_{i=1}^
1.1K10编辑于 2023-12-02 - 来自专栏学习笔记持续记录中...
线性结构和非线性结构
数据结构包括线性结构和非线性结构： 线性结构 1）特点是数据元素之间存在一对一的线性关系 2）线性结构有两种不同的存储结构，即顺序存储结构和链式存储结构。 顺序存储的线性表称为顺序表，顺序表中的存储元素是连续的 3）链式存储的线性表称为链表，链表中的存储元素不一定是连续的，元素节点中存放数据元素以及相邻元素的地址信息 4）线性结构常见的有：数组、队列、 链表和栈 非线性结构 非线性结构包括：二维数组、多维数组、广义表、树结构、图结构
1.1K20发布于 2020-03-18 - 来自专栏又见苍岚
线性模型 -1- 线性回归
学习华校专老师的笔记内容，记录线性模型相关知识。 线性模型( linear model ) 的形式为: f(\overrightarrow{\mathbf{x}})=\overrightarrow{\mathbf{w}} \cdot \overrightarrow 很多功能强大的非线性模型(nolinear model) 可以在线性模型的基础上通过引入层级结构或者非线性映射得到。 线性回归 问题定义 给定数据集 \mathbb{D}=\left\{\left(\overrightarrow{\mathbf{x}}_{1}, \tilde{y}_{1}\right),\left 最终学得的多元线性回归模型为： image.png 矩阵非满秩 当 \mathbf{X}^{T} \mathbf{X} 不是满秩矩阵。此时存在多个解析解，他们都能使得均方误差最小化。
1.1K20编辑于 2022-08-06 - 来自专栏机器之心
入门 | 10个例子带你了解机器学习中的线性代数
选自machinelearningmastery 作者： Jason Brownlee 机器之心编译 参与：张倩、刘晓坤 本文介绍了 10 个常见机器学习案例，这些案例需要用线性代数才能得到最好的理解。 深度学习、自然语言处理和推荐系统等子领域中线性代数符号和方法的深入使用。 让我们开始吧。 这 10 个机器学习案例分别是： 1. Dataset and Data Files 数据集和数据文件 2. Recommender Systems 推荐系统 10. Deep Learning 深度学习 1. 数据集和数据文件 在机器学习中，你可以在数据集上拟合一个模型。 这是一个稀疏表征的例子，线性代数的一个完整子域。 4. 线性回归 线性回归是一种用于描述变量之间关系的统计学传统方法。 该方法通常在机器学习中用于预测较简单的回归问题的数值。 10. 深度学习 人工神经网络是一种非线性机器学习算法，它受大脑中信息处理元素的启发，其有效性已经在一系列问题中得到验证，其中最重要的是预测建模。
98260发布于 2018-06-08 - 来自专栏Rust
第 10 篇：简单线性回归 · CAPM Beta 计算与残差诊断
Beta 高度显著，Alpha 不显著。 这只股票没有超额收益能力，只有系统风险暴露。
5510编辑于 2026-05-13 - 来自专栏CDA数据分析师
入门 | 10个例子带你了解机器学习中的线性代数
作者 Jason Brownlee 编译 张倩、刘晓坤 本文转自机器之心，转载需授权 本文介绍了 10 个常见机器学习案例，这些案例需要用线性代数才能得到最好的理解。 深度学习、自然语言处理和推荐系统等子领域中线性代数符号和方法的深入使用。 让我们开始吧。 这 10 个机器学习案例分别是： 1. Dataset and Data Files 数据集和数据文件 2. Recommender Systems 推荐系统 10. Deep Learning 深度学习 1. 数据集和数据文件 在机器学习中，你可以在数据集上拟合一个模型。 这是一个稀疏表征的例子，线性代数的一个完整子域。 4. 线性回归 线性回归是一种用于描述变量之间关系的统计学传统方法。 该方法通常在机器学习中用于预测较简单的回归问题的数值。 10. 深度学习 人工神经网络是一种非线性机器学习算法，它受大脑中信息处理元素的启发，其有效性已经在一系列问题中得到验证，其中最重要的是预测建模。
87310发布于 2018-07-30 - 来自专栏Vamei实验室
线性代数01 线性的大脑
丈夫买了1捆青菜，2盒黄豆，结账的时候，为11元和10个积分。妻子买了2捆绑青菜，3盒黄豆，结账的时候，为19元和16积分。 image.png 你可能会反驳我，为什么要那么麻烦呢？ [$11 + 19 = 30$]元，[$10 + 16 = 26$]积分。这通过结算系统的计算结果完全相同。 这想法没错。 这个时候，如果分开结账，丈夫和妻子的积分都不到20，那么积分分别为10和16，总和为26。而合在一起结账，由于积分超过了20，积分将是52。有生活经验的夫妻们，一定是合在一起结账，而不是分开结账了。 更重要在于，线性系统和矩阵是互通的。矩阵表示的是一个线性系统。一个线性系统也总可以表示一个矩阵(证明从略)。 绕了半天，矩阵 = 线性系统。 总结 线性代数的核心是线性系统的概念。 线性系统与矩阵的等同性，让线性代数后面的内容，转入到对矩阵的研究中。但核心要牢记。 线性系统的概念在生活中非常常见。人的思维很多时候也是线性的。思考生活中线性和非线性的例子。
1.1K50发布于 2018-01-18 - 来自专栏专知
线性回归：简单线性回归详解
【导读】本文是一篇专门介绍线性回归的技术文章，讨论了机器学习中线性回归的技术细节。线性回归核心思想是获得最能够拟合数据的直线。 文中将线性回归的两种类型：一元线性回归和多元线性回归，本文主要介绍了一元线性回归的技术细节：误差最小化、标准方程系数、使用梯度下降进行优化、残差分析、模型评估等。在文末给出了相关的GitHub地址。 Linear Regression — Detailed View 详细解释线性回归 线性回归用于发现目标与一个或多个预测变量之间的线性关系。 有两种类型的线性回归 – 一元线性回归（Simple）和多元线性回归（Multiple）。 一元线性回归 ---- 一元线性回归对于寻找两个连续变量之间的关系很有用。 然后这个线性方程可以用于任何新的数据。也就是说，如果我们将学习时间作为输入，我们的模型应该以最小误差预测它们的分数。
2.4K80发布于 2018-04-08 - 来自专栏Vamei实验室
线性代数01 线性的大脑
丈夫买了1捆青菜，2盒黄豆，结账的时候，为11元和10个积分。妻子买了2捆绑青菜，3盒黄豆，结账的时候，为19元和16积分。 但如果妻子结账前碰到丈夫了，俩人把东西放在一起，总共3捆青菜，5盒黄豆。 [$11 + 19 = 30$]元，[$10 + 16 = 26$]积分。这通过结算系统的计算结果完全相同。 这想法没错。 这个时候，如果分开结账，丈夫和妻子的积分都不到20，那么积分分别为10和16，总和为26。而合在一起结账，由于积分超过了20，积分将是52。有生活经验的夫妻们，一定是合在一起结账，而不是分开结账了。 $$ 5 \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 5 \\ 10 \end{bmatrix}$$ 伴随着向量，有一个简单的概念，即维度 分离的表示输入、线性系统和输出的关系： $$\begin{bmatrix} 11 \\ 10 \end{bmatrix} = \begin{bmatrix} 5 & 3 \\ 2 & 4 \end{bmatrix
73830发布于 2018-09-25 - 来自专栏DeepHub IMBA
线性回归，核技巧和线性核
在这篇文章中，我想展示一个有趣的结果：线性回归与无正则化的线性核ridge回归是等 价的。 这里实际上涉及到很多概念和技术，所以我们将逐一介绍，最后用它们来解释这个说法。 首先我们回顾经典的线性回归。 sklearn.linear_model import LinearRegression np.random.seed(0) n = 100 X_ = np.random.uniform(3, 10 这就是核函数的诀窍:当计算解'时，注意到X '与其转置的乘积出现了，它实际上是所有点积的矩阵，它被称为核矩阵 线性核化和线性回归 最后，让我们看看这个陈述:在线性回归中使用线性核是无用的，因为它等同于标准线性回归 sklearn.linear_model import LinearRegression np.random.seed(0) n = 100 X_ = np.random.uniform(3, 10 最后，我证明了线性回归背景下的线性核实际上是无用的，它对应于简单的线性回归。 作者：Yoann Mocquin
55530编辑于 2023-11-10 - 来自专栏codechild
线性dp
f[i][j]表示从开始的位置到i，j位置的路径之和的最大值。 因为f[i][j]是要求的那个，所以我们要求出它的状态方程 f[i][j]=max(f[i-1][j-1]+a[i][j],f[i-1][j]+a[i][j]) ok，现在开始我们做这道题
44340编辑于 2023-05-30 - 来自专栏机器学习/数据可视化
线性模型
西瓜书的第三章，主要讲解的是线性模型相关知识 基本形式 ；线性模型通过学习到的一个属性的线性组合来表示： f(x)=w_1x_1+w_2x_2+…+w_dx_d+b 一般是写成向量形式 f(x)= ) 多元线性回归 个属性 f( x)=w^Tx_i+b 将，有 \hat w^*=arg\min_{\hat w}(y-X\hat w)^T(y-X\hat w) ? 解决这个问题，引入正则化 对数线性回归 lny=w^Tx+b 即表示为： y=e{wTx+b} ? 一般情况下，g(.)是单调可微函数，满足 y=g{-1}(wTx+b) 这样的模型称之为广义线性模型，其中g称之为联系函数；对数线性回归是广义线性模型在g=ln()时候的特例 对数几率回归 。 此时对应的模型称之为对数几率回归 线性判别分析LDA 思想 线性判别分析Linear Discriminant Analysis最早在二分类问题上有Fisher提出来，因此也称之为Fisher判别分析.
75110发布于 2021-03-02 - 来自专栏csico
线性回归
统计学习方法 算法（线性回归） 策略（损失函数） 优化（找到最小损失对于的W值） 线性回归 寻找一种能预测的趋势 线性关系 二维：直线关系 三维：特征，目标值，平面当中 线性关系定义 h（w）=w0
67060编辑于 2021-12-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号