线性回归模型

Question

下面是我用SGD实现的线性回归，但是得到的结果不是最好的fit.How，我能改进一下吗？

​

import matplotlib.pyplot as plt
from matplotlib import style
import numpy as np

style.use("fivethirtyeight")

x=[[1],[2],[3],[4],[5],[6],[7],[8],[9],[10]]
y=[[3],[5],[9],[9],[11],[13],[16],[17],[19],[21]]

X=np.array(x)
Y=np.array(y)

learning_rate=0.015


m=1
c=2
gues=[]

for i in range(len(x)):

    guess=m*x[i][0]+c
    error=guess-y[i][0]


    if error<0:

        m=m+abs(error)*x[i][0]*learning_rate
        c=c+abs(error)*learning_rate

    if error>0:

        m=m-abs(error)*x[i][0]*learning_rate
        c=c-abs(error)*learning_rate
    gues.append([guess])
t=np.array(gues)



plt.scatter(X,Y)
plt.plot(X,t)
plt.show()


from sklearn.linear_model import LinearRegression
var=LinearRegression()
var.fit(X,Y)
plt.scatter(X,Y)
plt.plot(X,var.predict(X))
plt.show()

因为我必须最小化误差，在对误差函数w.r.t对m求导时，误差是(猜测-y)，所以x和w.r.t c给出一个常数。

Answer 1

你在做随机梯度下降，评估每个数据点的拟合。因此，最终的m和c给出了拟合关系的参数。你绘制的这条线是拟合线的“演变”。

下面是我如何绘制它的，并对您的代码进行了一些其他调整，因为我知道您在做什么：

import numpy as np
import matplotlib.pyplot as plt

X = np.array([ 1,  2,  3,  4,  5,  6,  7,  8,  9, 10])
Y = np.array([ 3,  5,  9,  9, 11, 13, 16, 17, 19, 21])

learning_rate = 0.015
m = 1
c = 2

gues = []
for xi, yi in zip(X, Y):

    guess = m * xi + c
    error = guess - yi

    m = m - error * xi * learning_rate
    c = c - error * learning_rate

    gues.append(guess)

t = np.array(gues)

# Plot the modeled line.
y_hat = m * X + c
plt.figure(figsize=(10,5))
plt.plot(X, y_hat, c='red')

# Plot the data.
plt.scatter(X, Y)

# Plot the evolution of guesses.
plt.plot(X, t)
plt.show()

​

​

我在代码中创建的主要mod是:单步执行压缩的X和Y，这样您就可以在不索引它们的情况下使用then。为了简单起见，我还把它们做成了一维数组。如果你直接使用梯度，没有abs，你不需要在+ve和-ve情况下使用不同的路径。