在线性回归模型中加入高p值和低R平方特征以改进结果

Question

我正在研究一个线性回归问题。使用p值和域知识选择了我分析的特征。在选择这些特性后，R^2和RMSE的性能从0.25提高到0.85。但问题是，使用领域知识选择的特性具有非常高的p值(0.7，0.9)和非常低的R^2 (0.002，0.0004)。添加这样的特性是否有意义，即使您的模型显示性能有所提高。据我所知，根据线性回归，最好只保留低p值的特征。

有人能分享他们的经验吗？如果是的话，那么我怎样才能支持我关于高p值新特性的建议。

Answer 1

一般情况下，增加更多的功能将提高模型拟合的质量。

如果您的目标是最佳拟合建模，添加尽可能多的功能(不管p值)。

有时人们关心简约的模型，他们愿意降低整体模型的适合性，因为他们也重视一个更简单的模型。然后，他们将阈值应用于使用p值的特征。