增量学习-在Spark2.0中从以前的ML算法模型中设置参数的初始权重或值

Question

我正在尝试为Spark2.x中的机器学习(分类)算法设置初始权重或参数。不幸的是，除了MultiLayerPerceptron算法之外，没有其他算法提供设置初始权值/参数值的方法。

我试着用火花解决增量学习问题。在这里，我需要加载旧模型，用系统中的新数据对旧模型进行再训练。我该怎么做？

我如何为其他算法做到这一点，比如：

• 决策树
• 随机林
• 支持向量机
• Logistic回归

我需要试验多种算法，然后选择性能最好的算法。

Answer 1

我如何为其他算法做到这一点，比如：

• 决策树
• 随机林

你不能。基于树的算法不适合增量学习，因为它们查看数据的全局属性，并且没有可用于引导过程的“初始权重或值”。

• Logistic回归

您可以使用StreamingLogisticRegressionWithSGD准确地实现所需的过程，包括使用setInitialWeights设置初始权重。

• 支持向量机

理论上，它可以实现类似于流回归StreamingLogisticRegressionWithSGD或StreamingLinearRegressionWithSGD，通过扩展StreamingLinearAlgorithm，但没有这样的实现内置，ans，因为org.apache.spark.mllib处于维护模式，就不会有。

Answer 2

它不是基于星星之火，但有一个C++增量决策树。

见甘纳里。

可以插入和更新连续的分块数据，如果概念漂移降低了准确性，则可以运行重构。