Linearly Non-Separable Binary Classification Problem首先,这个程序在径向基函数( gaussianKernel() )中不能正常工作,我想修复它。
给出了一种具有硬边缘应用的非线性支持向量机分类方法.
xn =输入.* (输出*1.1);% xiyi = gaussianKernel(xn,sigma2);%径向基函数k= phi * phi';QP求解器γ=1的对称核矩阵;调整alphas f= -ones(2 * len,1)的上限的%;alphas =输出‘的百分比系数;% input = 0;% Sum(ai*yi) =0 A=0(1,2* len);%A*α<= b;不像这个术语b= 0;%不像这个术语lb =零(2* len,1);alpha的%下界=γ*1(2* len,1);阿尔法阿尔法的%上界=四角(k,f,A,b,Aeq,beq,lb,ub);
对于RBF,我在下面的图像中实现了这个函数:

使用Tylor级数展开,它产生:

然后,我像这样分离出高斯核:
K(x,x') = phi(x)‘* phi(x')
这一思想的实施是:
函数phi = gaussianKernel(x,Sigma2)γ=1/ (2 * Sigma2);featDim = 10;Tylor级数长度%;高斯核收敛0,因此不一定是Inf维数phi = [];核输出%,对于k=0:(featDim - 1) %高斯核技巧,使用Tylor级数展开phi = phi,exp( -gamma .* (:,1).^2)*sqrt(γ^2* 2^k /阶乘(K)) .* x(:,1).^k,.( -gamma .* (:,2).^2)*sqrt(γ^2* 2^k /阶乘(K)) .* x(:,2).^k;结束
*我认为我的RBF实现是错误的,但我不知道如何修复它。请帮帮我。
我得到的输出如下:




哪里,
1)第一幅图像:类的样本 2)第二种图像:类的支持向量标记 3)第三幅图像:添加随机测试数据 4)第四幅图像:分类
另外,我实现了同质Polinomial内核“K(x,x') =( )^2 ",代码是:
函数phi = quadraticKernel(x) %2-阶齐次多项式核phi = x(:,1).^2,sqrt(2).*(x(:,1).*x(:,2)),x(:,2).^2;
我得到了令人惊讶的好输出:


总之,该程序在使用同质多项式核时是正确的,但当我使用径向基函数时,它的工作不正确,RBF的实现出现了一些问题。
如果你知道RBF (高斯核),请告诉我如何才能使它正确。
编辑:如果你有同样的问题,直接使用上面定义的RBF,不要用phi来分隔它。
发布于 2014-11-15 13:20:43
为什么要计算高斯核的phi?Phi将是无限维向量,当我们甚至不知道10是否足以逼近核值时,就会将taylor级数中的项限制为10!通常,内核是直接计算的,而不是得到phi (和计算k)。例如,1。
这是否意味着我们永远不应该计算高斯的phi?不,不,但我们得稍微聪明一点。最近的工作2,3介绍了如何计算高斯的phi,以便在有限维phi的情况下计算近似核矩阵,这里给出了用本文中的技巧生成近似核的非常简单的代码。然而,在我的实验中,我需要生成100到10000维的phi,才能得到内核的良好近似(取决于原始输入的特征数以及原始矩阵的特征值衰减的速率)。
目前,只需使用类似于1的代码生成高斯核,然后观察SVM的结果。此外,玩弄伽马参数,一个坏的伽马参数可能导致真的不好的分类。
发布于 2014-11-12 19:25:30
由于高斯核通常被称为无限维映射,所以我始终相信它的能力。这里的问题可能是由于一个坏的参数,同时要记住网格搜索是支持向量机训练的需要。因此,我建议您可以看看这里,在那里您可以找到一些参数调优的技巧。指数增长序列通常被用作候选序列。
https://stackoverflow.com/questions/26870928
复制相似问题