H2O汽水允许以卡夫卡作为流媒体来源的在线培训吗

Question

我目前正在试验Sparkling-Water的可能性。有一些可能的用例，包括H2O/Spark中的数据传递，模型构建和离线培训和在线流预测。我想知道是否也可以使用Sparkling-Water与Kafka Streaming Source一起进行在线培训？

Answer 1

特别是深度学习模型，如果你不断展示新数据，它可以永远持续训练。所以你可以用它做在线训练。

像DRM和GBM这样的模型可以使用检查点从新数据“添加另一棵树”，尽管您确实不希望以无限树结束。

您可以保留一个数据窗口，并定期训练一个新的完整模型。(在运行时换入新的模型实例非常简单。因此，您可以在后台继续训练，并定期更新预测流数据的模型-例如每小时或每隔几分钟，或其他任何情况)。

或者，通过平均许多模型的预测来进行您自己的集成-定期丢弃旧模型，并在传送带类型的策略中添加新模型。类似于移动平均线。