当scipy.optimize.least_squares可能被用于相同的事情时，为什么scipy.optimize.minimize会存在？

Question

我试图理解为什么scipy.optimize.least_squares存在于scipy中。该函数可用于进行模型拟合.然而，我们可以使用scipy.optimize.minimize来做同样的事情。唯一的区别是，scipy.optimize.least_squares在内部进行计算，而如果一个人想要使用scipy.optimize.minimize，他/她必须手工计算用户想要最小化的函数内的气平方。另外，scipy.optimize.least_squares不能被认为是scipy.optimize.minimize的包装器，因为它支持的三种方法(trf、dogbox、lm)根本不受scipy.optimize.minimize的支持。

所以我的问题是：

• 当使用scipy.optimize.least_squares可以实现相同的结果时，为什么存在scipy.optimize.minimize？
• 为什么scipy.optimize.minimize不支持trf、dogbox和lm方法？

谢谢。

Answer 1

scipy.optimize.least_squares中的算法利用极小化问题的最小二乘结构，以获得更好的收敛性(或所用导数的低阶)。

它类似于高斯-牛顿算法和牛顿方法的区别，参见维基百科或这个问题。

特别是，高斯-牛顿只使用雅可比(第一导数)，而牛顿的方法也使用Hessian (第二导数)，这是昂贵的计算。