什么是最容易实现的线性回归算法？

Question

我想用普通的最小二乘实现单变量回归。我不能访问线性代数或微分库，所以任何矩阵运算或微分方法都需要我来实现。最不复杂的方法是什么？

Answer 1

约翰·D·库克在这个主题上有一个简单的C++实现的excelent post。他的实现使用常量内存，并且可以很轻松地并行化。

我写了一个简单的Python版本。请谨慎使用，可能会有错误：

class Regression:
    def __init__(self):
        self.n = 0.0
        self.sXY = 0.0
        self.xM1 = 0.0
        self.xM2 = 0.0
        self.yM1 = 0.0
        self.yM2 = 0.0

    def add(self, x, y):
        self.sXY += (self.xM1 - x) * (self.yM1 - y) * self.n / (self.n + 1.0);

        n1 = self.n;
        self.n+=1;

        xdelta = x - self.xM1;
        xdelta_n = xdelta / self.n;
        self.xM1 += xdelta_n;
        self.xM2 += xdelta * xdelta_n * n1;

        ydelta = y - self.yM1;
        ydelta_n = ydelta / self.n;
        self.yM1 += ydelta_n;
        self.yM2 += ydelta * ydelta_n * n1;

    def count(self):
        return self.n

    def slope(self):
        return self.sXY / self.xM2

    def intercept(self):
        return self.yM1 - (self.sXY / self.xM2) * self.xM1

    def correlation(self):
        return self.sXY / (self.xM2**0.5 * self.yM2**0.5)

    def covariance(self):
        return self.sXY / self.n

r = Regression()

r.add(1, 2)
r.add(4, 9)
r.add(16, 17)
r.add(17, 13)
r.add(21, 11)

print 'Count:', r.count()
print 'Slope:', r.slope()
print 'Intercept:', r.intercept()
print 'Correlation:', r.correlation()
print 'Covariance:', r.covariance()