svm概念查询

Question

我对支持向量机有一些基本的概念上的疑问--如果有人能在这方面给我提供指导，那就太好了。我学习书籍和讲座已经有一段时间了，但一直无法正确地回答这些问题。

1. 假设我有m个特征数据点-m> 2，我如何知道数据点是否是线性可分的？如果我已经正确理解，线性可分数据点-将不需要任何特殊的内核来寻找超平面，因为没有必要增加维数。
2. 比如说，我不确定数据是否是线性可分的。我试着在拉格朗日乘子上得到一个带线性核的超平面，一次是松弛的，一次是不松懈的。在这两架超高速飞机的训练和测试数据上，我会看到什么不同。如果我正确理解，如果数据不是线性可分的，如果我没有使用松弛，那么就不可能有任何最优平面。如果是这样的话，那么svm算法是否应该在不同的运行中给出不同的超平面。现在，当我介绍懒散-我应该总是得到相同的超级飞机，每次跑？如何从超平面的拉格朗日乘子中准确地找到数据是否是线性可分的。
3. 现在，从2开始，我开始知道数据在m维上不是线性可分的。因此，我将尝试增加维度，看看它是否在更高的维度上是可分离的。我怎么知道我需要多高？我知道计算不会进入那个空间--但是有没有办法从2中找出什么是3的最佳内核(也就是说，我想找到一个线性分离的超平面)。
4. 在Matlab中显示超平面和数据点的最佳方法是什么，其中特征维可高达60，超平面在> 100维(即，e数据点以几百个为单位，使用高斯核特征向量变化为> 100维)。

如果有人能消除这些疑虑，我会非常感激的。

Answer 1

我将集中讨论你的问题(1)，(2)和(3)。在实践中，最重要的关注不是问题是否线性可分，而是分类器对未见数据的性能(即分类效果如何)。你似乎想要找到一个好的内核，它的数据是线性可分的，而且你总是能够做到这一点(考虑在每个训练点上设置一个非常窄的高斯RBF)，但是你真正想要的是在看不见的数据上的良好性能。话虽如此：

• 如果问题不是线性可分的，并且不使用宽松，那么优化就会失败。它取决于实现和具体的优化算法是如何失败的，它不是收敛吗?它没有找到下降方向吗？它会不会遇到数值上的困难？即使你想用宽松来确定案例，你仍然会遇到一些数字上的困难，这会使你的线性可分性算法变得不可靠。
• 你需要飞多高？这是一个基本的问题。这就是所谓的数据表示问题。对于直截了当的解决方案，人们在正确的gammas下使用保持的数据(人们不关心线性可分性，他们关心被保存的数据的良好性能)并进行参数搜索(例如，RBF核可以严格地比线性核更有表现力)。所以问题就变成了为你的数据找到一个好的伽马射线。例如，请参阅本文：http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.141.880
• 我不认为拉格朗日乘子的值和线性可分性之间有什么微不足道的联系。您可以尝试一个值为C的高阿尔法，但我不确定你能说多少。