梯度下降方程还是正规方程？

Question

假设您有一个具有m=50个示例的数据集，每个示例都有n=15个特性。你想用多元线性回归来拟合参数θ与我们的数据。你应该选择梯度下降还是法向方程?为什么？

Answer 1

如果可以，最好使用正规方程来估计多元线性回归的系数。由于法线方程是一个封闭的表达式，它将比梯度下降更快.

由于你有相对较少的例子和功能，转换矩阵不是一个问题。

Answer 2

你需要考虑的是样本的大小。

你没有足够的例子来使用梯度下降。我相信你至少需要几个1000。

相反，在这样的小矩阵上用正规方程进行逆和转置应该是相当快的。