凸过参数问题的BFGS收敛性

Question

众所周知，BFGS优化算法对于严格凸问题是超线性收敛的，但对于非严格凸问题是否有分析呢？例如，假设f( x )对于某个标量x是凸的，那么，假设我们在g(x1，x2)=f(x1+x2)上进行优化。这仍然是超线性收敛的吗？

Answer 1

BFGS在非凸问题上是否收敛仍然是一个悬而未决的问题。事实上，1984年，鲍威尔给出了一个反例，表明具有不精确的线搜索的BFGS可能无法收敛。可以做的是局部声明，例如:给定局部最小值x*，如果您最终进入x*附近的空间区域，BFGS将超线性收敛。这样做的原因是，在x*附近，目标函数可以用凸二次曲线精确地建模。

至于你给出的复合函数是什么，我不确定。有关BFGS属性的详细说明，请参阅Dennis和Schnabel或Nocedal和Wright。

祝你好运。

Answer 2

如果我错了，请纠正我，但这种情况下的“解决方案”实际上不是一条线，而不是一个点吗？如果x‘是f(x)的最小值，那么当将任何方法应用于g( x1，x2)时，您所能期望的最好结果是它收敛到直线x2 = x’-x1。

Answer 3

在实践中，我发现一个精心编写的算法会收敛，但不一定是超线性的。舍入误差是罪魁祸首。收敛标准开始发挥作用。对于“几乎”不凸的函数也是如此，即“刚性”。

人们必须小心BFGS的更新，以确保所得到的近似Hessian仍然是肯定的，即使理论Hessian并非如此。我所做的是保持和更新Hessian的Cholesky分解，而不是Hessian本身或其逆。