优化算法与回归模型

Question

目前，我正在处理预测问题。我有一个引用，它使用线性函数来表示输入和输出数据。

Y= po + p1.x1 + p2.x2

x1和x2都是已知的输入；y是输出；p0、p1和p2是系数。然后利用训练数据和最小二乘估计方法求出最优系数(p0、p1、p2)。

我的问题是，如果他已经使用了LSE算法，我是否可以尝试改进他的方法，使用任何优化算法(例如PSO或GA )来寻找更好的系数值？

Answer 1

你自己回答：

然后利用训练数据和最小二乘估计方法求出最优系数(p0、p1、p2)。

由于线性模型很容易优化，LSE方法得到了全局最优解(忽略了细微的舍入误差和早期停止/容差误差)。在不改变模型的情况下，在使用其他系数方面没有任何增益，这与元启发式算法lika GA的使用无关。

因此，您可以修改模型，或者添加额外的数据(特性工程:例如，两个变量的乘积；内核-方法)。

有一件事需要尝试:支持向量机。这些也是凸的，可以有效地训练(没有太多的数据)。它们也被设计成能很好地与内核一起工作。另一个优势(与更复杂的模型相比:例如，非凸模型)：它们在泛化方面很好，这在这里似乎很重要，因为您没有太多的数据(听起来像一个非常小的数据集)。

也见@ayhan的评论！