首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >基本支持向量机在MATLAB中的实现

问基本支持向量机在MATLAB中的实现
EN

Stack Overflow用户
提问于 2014-11-11 17:34:51
回答 2查看 5.8K关注 0票数 5
代码语言:javascript
复制
  Linearly Non-Separable Binary Classification Problem

首先,这个程序在径向基函数( gaussianKernel() )中不能正常工作,我想修复它。

给出了一种具有硬边缘应用的非线性支持向量机分类方法.

  • 问题是关于二维径向随机分布的数据。
  • 我用二次规划求解器来计算拉格朗日乘子(Alpha)。

xn =输入.* (输出*1.1);% xiyi = gaussianKernel(xn,sigma2);%径向基函数k= phi * phi';QP求解器γ=1的对称核矩阵;调整alphas f= -ones(2 * len,1)的上限的%;alphas =输出‘的百分比系数;% input = 0;% Sum(ai*yi) =0 A=0(1,2* len);%A*α<= b;不像这个术语b= 0;%不像这个术语lb =零(2* len,1);alpha的%下界=γ*1(2* len,1);阿尔法阿尔法的%上界=四角(k,f,A,b,Aeq,beq,lb,ub);

  • 为了解决这个非线性分类问题,我编写了一些核函数,如高斯(RBF)函数、齐次多项式核函数和非齐次多项式核函数。

对于RBF,我在下面的图像中实现了这个函数:

使用Tylor级数展开,它产生:

然后,我像这样分离出高斯核:

K(x,x') = phi(x)‘* phi(x')

这一思想的实施是:

函数phi = gaussianKernel(x,Sigma2)γ=1/ (2 * Sigma2);featDim = 10;Tylor级数长度%;高斯核收敛0,因此不一定是Inf维数phi = [];核输出%,对于k=0:(featDim - 1) %高斯核技巧,使用Tylor级数展开phi = phi,exp( -gamma .* (:,1).^2)*sqrt(γ^2* 2^k /阶乘(K)) .* x(:,1).^k,.( -gamma .* (:,2).^2)*sqrt(γ^2* 2^k /阶乘(K)) .* x(:,2).^k;结束

*我认为我的RBF实现是错误的,但我不知道如何修复它。请帮帮我。

我得到的输出如下:

哪里,

1)第一幅图像:类的样本 2)第二种图像:类的支持向量标记 3)第三幅图像:添加随机测试数据 4)第四幅图像:分类

另外,我实现了同质Polinomial内核“K(x,x') =( )^2 ",代码是:

函数phi = quadraticKernel(x) %2-阶齐次多项式核phi = x(:,1).^2,sqrt(2).*(x(:,1).*x(:,2)),x(:,2).^2;

我得到了令人惊讶的好输出:

​

​

总之,该程序在使用同质多项式核时是正确的,但当我使用径向基函数时,它的工作不正确,RBF的实现出现了一些问题。

如果你知道RBF (高斯核),请告诉我如何才能使它正确。

编辑:如果你有同样的问题,直接使用上面定义的RBF,不要用phi来分隔它。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2014-11-15 13:20:43

为什么要计算高斯核的phi?Phi将是无限维向量,当我们甚至不知道10是否足以逼近核值时,就会将taylor级数中的项限制为10!通常,内核是直接计算的,而不是得到phi (和计算k)。例如,1。

这是否意味着我们永远不应该计算高斯的phi?不,不,但我们得稍微聪明一点。最近的工作2,3介绍了如何计算高斯的phi,以便在有限维phi的情况下计算近似核矩阵,这里给出了用本文中的技巧生成近似核的非常简单的代码。然而,在我的实验中,我需要生成100到10000维的phi,才能得到内核的良好近似(取决于原始输入的特征数以及原始矩阵的特征值衰减的速率)。

目前,只需使用类似于1的代码生成高斯核,然后观察SVM的结果。此外,玩弄伽马参数,一个坏的伽马参数可能导致真的不好的分类。

1

2

3.

4.

票数 1
EN

Stack Overflow用户

发布于 2014-11-12 19:25:30

由于高斯核通常被称为无限维映射,所以我始终相信它的能力。这里的问题可能是由于一个坏的参数,同时要记住网格搜索是支持向量机训练的需要。因此,我建议您可以看看这里,在那里您可以找到一些参数调优的技巧。指数增长序列通常被用作候选序列。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/26870928

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档