如何在实时数据上持续训练我们的预训练模型？

Question

我有一些传感器从水泥厂获取数据，并将数据发送到亚马逊网络服务IoT。然后在预训练模型上对数据进行检验，该模型根据一些参数对水泥质量进行预测。数据以一秒的间隔到达。

由于数据是实时到来的，所以我希望实时增量地训练模型。

有没有人能建议如何持续训练模型？

Answer 1

您可以聚合一定数量的训练数据，然后使用.partial_fit()更新模型。

.partial_fit()是渐进式学习选项，可在Sklearn中使用。

如果你的增量数据放不下内存，那么尝试dask-ml wrapper for incremental learning是值得的。