如何实现无欠拟合或过拟合的回归模型

Question

我有我的大学项目，我得到了一个dataset，它几乎所有的特性都与目标有很弱的相关性(只有一个特性与目标有中等的相关性)。它的分布也不正常。我已经尝试了应用简单的模型线性回归--它导致了underfitting，然后我应用了simple random forest regressor，但是它导致了overfitting，但是当我用randomsearchcv进行优化应用random forest regressor时，花费了很长的时间。有什么方法可以得到体面的模型与不那么好的dataset，而不适合或过度拟合？还是根本不可能？

Answer 1

那么，坦率地说，如果你能适应一个模型，而不是不适合或过度安装，你将完全解决人工智能。

不过，有些建议：

随机森林过度拟合

就

• 个人而言，我会尝试破解这条路径，因为您提到了您的数据没有很强的相关性。通常，修复过度拟合比不适当更容易，所以这也有帮助。
• 试着查看您的树输出。如果您正在使用python，则sci-kit learn的export_graphviz可能会有所帮助。
• 尝试降低树的最大深度。
• 尝试增加树的最大样本数，以便分割(或类似地，一片叶子应该具有的最小样本数)。
• 尝试增加RF中的树数。H 213f 214

线性回归的欠拟合

• 添加更多参数。如果你有变量a，b .等加上它们的多项式特征，即a^2，a^3 .b^2 b^3 .等等可能会有帮助。如果你添加了足够多的多项式特征，你应该能够过拟合--尽管这并不一定意味着它在火车集上有一个很好的拟合(RMSE值)。
• 试着根据这个值绘制一些变量来预测(y)。也许你可以看到一个非线性模式(即对数关系)。

，

• ，你对这些数据有什么了解吗？也许一个变量是倍数，或者两个变量之间的除法可能是一个很好的指标。如果您正在正则化(或者软件正在自动应用)您的回归，请尝试减少正则化参数。