如何提高sklearn SVR的速度？

Question

我正在使用python包实现SVR。我的稀疏矩阵的大小是146860 x 10202。我已经将它划分为大小为2500 x 10202的各种子矩阵。对于每个子矩阵，SVR拟合大约需要10分钟。有什么方法可以加速这一过程？请推荐任何不同的方法或不同的python包。谢谢!

Answer 1

您可以对SVR子模型的预测进行平均。

或者，您可以尝试在使用Nystroem method计算的内核扩展的输出上拟合线性回归模型。

或者，您可以尝试其他非线性回归模型，如随机树集成或梯度增强回归树。

speed:我忘了说:内核模型本身是不可伸缩的，因为它的复杂性超过二次，因此没有办法“加速”。

Edit2：实际上，经常使用StandardScaler将输入变量缩放为[0, 1]或[-1, 1]或单位方差，可以大大加快收敛速度。

此外，默认参数不太可能产生良好的结果:在拟合到大型模型之前，您必须对gamma和epsilon的最佳值进行网格搜索，并对增大大小的子样本进行搜索(以检查最优参数的稳定性)。