支持向量机理解

Question

最近，我一直在读讲座和课文，试图了解支持向量机是如何在高维空间中工作的。

在正常logistic回归中，我们利用支持向量机中的特征作为is..but，利用映射实现非线性决策边界。

通常在内核技巧的帮助下直接与features..but一起工作，我们可以在数据中找到数据中的关系，在它们之间使用features..product的平方，etc..is这个正确的。

我们在内核的帮助下做到了这一点。

现在.我知道多项式核对应于一个已知的特征vector..but我不能理解高斯核对应于(我被告知无限维特征vector..but什么？)

另外，我无法理解的概念，即核是训练实例之间相似性的度量，..how，这是支持向量机工作的一部分吗？

我花了很多时间试图理解these..but中的vain.Any帮助，这将是非常值得赞赏的！

(预先谢谢:)

Answer 1

通常，我们直接使用features..but，借助内核技巧，我们可以使用features..product之间的平方在数据中找到关系，etc..is，对吗？

即使使用仍然是的内核与特性一起工作，也可以简单地利用这些特性的更复杂的关系。例如，在示例中，多项式内核允许您访问特征之间的低次多项式关系(例如平方，或特性的乘积)。

现在.我知道多项式核对应于已知的特征vector..but，我无法理解高斯核对应于什么(我被告知无限维特征vector..but，什么？)

高斯核将你的特征向量映射到非归一化高斯概率密度函数。换句话说，您将每个点映射到函数的空间上，在这个空间中，您的点是以高斯为中心的(与高斯核的超参数γ相对应的方差)。核总是向量之间的点乘积。特别是，在函数空间L2中，我们将经典的点积定义为乘积上的积分，因此

<f,g> = integral (f*g) (x) dx

其中f,g是高斯分布。

幸运的是，对于两个高斯密度，它们积的积分是也是一个高斯，这就是为什么高斯核与高斯分布的pdf函数如此相似的原因。

同时，我也无法理解核是训练examples..how之间相似性的一种度量，这是支持向量机工作的一部分吗？

如前所述，内核是一个点积，而点积可以看作是相似性的度量(当两个向量具有相同的方向时，它是最大化的)。然而，它不能相反地工作，--您不能使用每个相似性度量作为内核，因为并不是每个相似性度量都是有效的点积。

Answer 2

在我开始回答这个问题之前，先简单介绍一下svm。这将帮助您获得有关svm的概述。支持向量机的任务是寻找最佳的最大裕度超平面，最好的分离数据。我们有svm的软边缘表示，它也称为原始形式，它的等价形式是svm的对偶形式。svm的双重形式使得内核技巧的使用。

内核技巧部分地取代了特征工程，这是机器学习中最重要的一步，当我们有非线性的数据集时(例如。同心圆形状的数据集)。

现在，您可以通过FE和内核技巧将这个数据集从非线性转换为线性。通过FE，您可以对此数据集中的每个特征进行平方，并将其转换为线性数据集，然后您可以应用类似logisitic回归之类的技术，这些技术对线性数据最有效。

在核技巧中，你可以使用多项式核，它的一般形式是(a +x_i(转置)x_j)^d，其中a和d是常数，d指定度，假设如果度是2，那么我们可以说它是二次的，同样的。现在假设我们应用d =2，现在我们的方程变成(a +x_i(转置)x_j)^2。让我们原始数据集中的we 2特征(例如。对于x_1向量是x_11，x__12和x_2，向量是x_21，x_22)，当我们在此上应用多项式核时，得到了6维向量。现在，我们已经将功能从2D转换为6，现在您可以直观地看到，越高的数据维越好，svm就能工作，因为它最终会将这些特性转换为更高的空间。事实上，svm最好的情况是，如果您有高维数，那么就选择svm。

现在，您可以看到内核技巧和解决并转换了数据集(同心圆一)，但区别在于我们正在显式地执行FE，而内核技巧则是通过svm隐式实现的。还有一个通用的核称为径向基函数核，当你事先不知道内核的时候可以使用它。RBF核有一个参数( sigma )，如果σ的值设置为1，则得到一条类似于高斯曲线的曲线。

您可以只将内核看作一个相似性度量，并且可以解释如果点之间的距离较小，那么相似度就越高。