Matlab中基于最小二乘法的参数估计

Question

我还有接下来的问题:考虑一组方程，y=ax+b，其中我知道y和x，并且希望用最小二乘法估计a和b。让我们假设有Y=[y1 ; y2]和

A=[x1 1; x2 1]使Y=A*[a;b]

根据最小二乘法：B=[a;b]=( transpose(A)*A )^-1*transpose(A)*Y

1. (A'*A) \ A'*Y和A\Y是一样的？
2. 哪一种是计算B的最佳方法： inv( transpose(A)*A ) *transpose(A)*Y (transpose(A)*A) \ transpose(A)*Y (A'*A) \ A'*Y pinv(A)*Y (计算伪逆矩阵)

以上所有的结果略有不同。

Answer 1

在解决你的疑虑之前，一句话是强制性的。当你想用速记操作符转位矩阵时.您不应该使用'，而应该使用.'。第一个是共轭转座子的速记操作符，第二个是要用于转座子的正确的速记操作符。虽然它们通常会产生同样的结果，但是使用前者包含复数的矩阵可能会给你的计算带来麻烦。

由于您没有提供数据示例，下面是我为测试部署的设置：

Y = [2; 4];
A = [3 1; 7 1];

现在，让我们一步一步地走。关于你的第一个答案，是的，这两个运算在数学观点上是等价的，产生的结果基本上是相同的：

>> B = A \ Y

B =
    0.5
    0.5

-----------------------------

>> B = inv(A.' * A) * A.' * Y

B =
    0.500000000000001
    0.5

您所看到的细微差别是由于INV(A) * b比A \ b精度低，如果您悬停对inv函数的调用，然后再加上乘法(应该用橙色警告高亮显示)，即使是Matlab代码解释器也会清楚地说明这一点：

​

​

这部分回答了您的第二个问题，但让我们来做一个详尽的基准测试。我放弃了使用inv(A.' * A) * A.' * Y执行的计算，因为建议避免它。我们开始：

tic();
for i = 1:100000
    B = A \ Y;
end
toc();

tic();
for i = 1:100000
    B = pinv(A) * Y;
end
toc();

tic();
for i = 1:100000
    B = (A.' * A) \ A.' * Y;
end
toc();

这是基准的结果：

Elapsed time is 0.187067 seconds.
Elapsed time is 2.987651 seconds.
Elapsed time is 2.173117 seconds.

鉴于这三种方法具有相同的准确性..。第一个是目前为止，显然是最快的。