线性回归优化

Question

我现在正在学习线性回归。在我发现的大多数实现该方法的例子中，都使用了梯度下降。

有比梯度下降更好的线性回归优化方法吗？

Answer 1

有比梯度下降更好的线性回归优化方法吗？

如果你更好的意思是找到更好的分隔符，不，你不能因为线性回归的代价函数是凸的，这意味着只有一个最优点。

如果您想使用不同的算法进行优化，则有不同的解决方案。基于梯度的算法(如Adam和RMSProp )就是其中之一。你也可以使用法线方程。