学习岭回归UnboundLocalError

Question

我只是一个初学者，我试图实现多项式回归的科学工具包-学习。没有正则化的通常回归效果很好。

regr = linear_model.LinearRegression(copy_X=True)
X = np.array(time_list[0:24]).reshape(24,1)
for i in range(2,10):
   X=np.append(X, X**i, 1)
Y = np.array(tempm_list[0:24]).reshape(24,1)

regr.fit(X, Y)

但是，当我试图以完全相同的方式实现Ridge回归时，我会得到以下错误：

regularized_regr=linear_model.Ridge(alpha =1, copy_X=True)
regularized_regr.fit(X,Y)


File "/usr/local/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 449,    in fit
return super(Ridge, self).fit(X, y, sample_weight=sample_weight)
File "/usr/local/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 338, in fit
solver=self.solver)
File "/usr/local/lib/python2.7/site-packages/sklearn/linear_model/ridge.py", line 294, in ridge_regression
coef = safe_sparse_dot(X.T, dual_coef, dense_output=True).T
UnboundLocalError: local variable 'dual_coef' referenced before assignment 

谢谢

Answer 1

第一个建议:将你的多项式度降低到例如<= 5。如果你的样本数量太多，上面的任何东西都会进入过度拟合的范围。

第二个建议:升级Scikit学习到流血边缘的github版本，这似乎是一个与异常相关的bug，因为您的矩阵是单数的。

如果您无法升级scikit学习，请尝试使用更强的正则化：

import numpy as np
_, S, _ = np.linalg.svd(X, full_matrices=False)
s = S[0]

alpha = 1.2 * s  # you may vary this fraction between 0.1 and larger

regularized_regr=linear_model.Ridge(alpha=alpha)
regularized_regr.fit(X,Y)