铰链损失与支持向量机的原始形式/对偶形式有何关系？

Question

我正在学习支持向量机( SVM )和许多经典的教程，将支持向量机问题表述为一个凸优化问题:即，我们有一个带有松弛变量且受约束的目标函数。大多数教程从这个原始问题公式到经典公式的推导(使用拉格朗日乘子，得到对偶形式等)。当我遵循这些步骤时，经过一段时间的学习，它们最终还是有意义的。

但是，支持向量机的一个重要概念是铰链损失。如果我没有弄错，铰链损耗公式与我前面描述的所有步骤是完全不同的。在学习支持向量机问题公式的教程时，我找不到铰链损失起作用的地方。

现在，我只知道支持向量机是一个经典的凸优化/线性规划问题，它的目标函数和受约束的松弛变量。这和铰链丢失有什么关系？？

Answer 1

样品点i：l( y_i, z_i) = \max(0, 1-y_iz_i)的铰链损耗

让z_i=w^Tx_i+b。

我们要尽量减少

\min \frac1n \sum_{i=1}^nl(y_i, w^Tx_i+b)+\|w\|^2

它可以写成

\min \frac1n \sum_{i=1}^n\max(0,1-y_i (w^Tx_i+b))+\|w\|^2

它可以写成

\min \frac1n \sum_{i=1}^n \zeta_i + \|w\|^2

受制于\zeta_i \ge 0

\zeta_i \ge 1-y_i (w^Tx_i+b)

约束来自铰链损耗。这是一个极大极小优化问题的重新表示。