支持向量机的原始形式实现

Question

我目前正在从事一个支持向量机(SVM)项目。我正在研究的支持向量机版本是原始型线性支持向量机，我很难理解从哪里开始。

一般来说，我认为我理解这个理论；基本上，我需要在一定约束下最小化w的范数。而拉格朗日函数是我的目标函数，在应用拉格朗日乘子后，目标函数将被最小化。

我不明白的是，我的教授告诉我，我们将使用准牛顿方法和BFGS更新。我试过牛顿方法的二维和三维例子，我认为我对算法有很好的理解，但我不知道如何应用拟牛顿法来求系数α。另外，我所读到的许多文献都告诉我如何应用二次规划来找到系数。

拟牛顿迭代算法与求w.的系数有什么关系？二次规划与拟牛顿有何联系？有人能帮我看看发生了什么事吗？

Answer 1

你在这里很狡猾

• "alpha系数“仅为对偶形式的，因此在您的情况下找不到。
• “应用二次规划”，二次规划是一个问题，而不是一个解。您不能“应用QP"，您只能求解a QP，在您的情况下，该问题将使用拟牛顿法求解。
• “如何(.)与求w的系数”的方法完全相同，因为这种优化技巧与求任何函数的最优系数有关。您将最小化w的函数，因此，应用任何优化技术(特别是准netwton)将导致以w系数表示的解。