交叉验证Lasso回归

Question

我目前正在使用套索进行特征选择。首先，我执行10倍交叉验证，以找到收缩参数最低的MSE。我现在尝试计算训练集的MSE，但是这个值不符合cv-图。

cv <- cv.glmnet(as.matrix(mtcars[,c(1,3:9)]), mtcars[,c(2)], alpha=1, nfolds=10, type.measure="mse")
plot(cv)

lasso.mod <- glmnet(as.matrix(mtcars[,c(1,3:9)]),mtcars[,c(2)],alpha=1,lambda=cv$lambda.min)
y <- predict(lasso.mod, s=cv$lambda.min, newx=as.matrix(mtcars[,c(1,3:9)]))
mean((mtcars[,c(2)]-y)^2) # calculate MSE

上面和下面的公式有什么区别？下面的公式据说提供了套索的均方误差，但为什么两者的数值不相同？准确地说，我使用相同的数据集进行交叉验证和计算MSE。

cv$cvm[cv$lambda == cv$lambda.min]   

Answer 1

交叉验证MSE不应该等于整个训练数据集的MSE，因为它们完全是两个不同的概念。

交叉验证MSE对于一个特定的lambda是:如果你把训练数据分成10部分，对每个部分做以下操作:使用lambda和其他9个部分来拟合lasso模型，并在部分上计算MSE，并计算出你得到的10个MSE的平均值。这是交叉验证MSE，它与MSE在训练数据集上完全不同。