机器学习优化算法的分类

Question

各类机器学习优化算法是什么？在某些地方，它提到优化算法分为两大类-

    First Order Optimization Algorithms and second order Optimization Algorithms

也有一些人把它归类为-

    Convex Optimization and Non-Convex Optimization

而其他人则认为-

    Constrained and Unconstrained Optimization

在所有这些分类之后，我似乎无法理解什么属于什么类别，如果存在的话，请把我指向任何分类树。

Answer 1

你不能用你提供的分类来做一棵树。

First Order Optimization Algorithms and second order Optimization Algorithms

在优化方法中是否只使用一阶导数来区别算法。这是算法本身的一个特点。

Convex Optimization and Non-Convex Optimization

区分了优化的目标是求凸函数或非凸函数的最小值。这就是问题函数被优化的一个特点。一般来说，优化凸函数比非凸函数容易.

Constrained and Unconstrained Optimization

只需告诉您尝试优化的函数的参数中是否存在任何约束。这是你试图解决的问题的一个特点。一般来说，约束问题比无约束问题更容易解决。

这些事情并不是相互排斥的。例如，您可以尝试使用一阶优化算法来最小化无约束的非凸函数。你也可以考虑约束的非凸函数，并尝试用二阶算法将其最小化。