持续学习-持续学习

Question

这个问题是为了寻求关于如何以分布式方式构建持续学习方法的建议。让我解释一下情况：

1. 在我的分类问题中，我的类可以在一段时间内大量增长，因为来自多个域的多个客户倾向于依附于我们的多租户应用程序。
2. 当我们需要更多的实时数据时，许多意图也需要重新训练很多次。
3. 很多时候，当一个班被训练时，由于顾客是季节性的，所以它需要进入hibernate模式。他们可能会在几个月后醒来，因此不能每次在训练数据集中保存他们的训练数据。它导致缓慢的训练以及不平衡的数据集。

我想要的是：

1. 我想要的是，如果我今天训练一门课，而且我知道在接下来的几个月里它不会被要求，我只想在某个地方保留它的知识。
2. 与其将它的标记数据集保留在我身边，而且我在将来需要时再对其进行再培训，我只想学习(不管是权重还是模型本身)，这可以直接插入到运行环境中。

所需建议：

1. 如何将学习内容单独保存在磁盘上？它应该是一个单独的模型吗？一个单独的模型的缺点是，如果我必须提出多个模型的生活，这将消耗大量的运行时内存。此外，如何构建具有单个类的模型？
2. 如果只想将权重存储在某个地方，那么如何将它们重新安装在一个已经学习了更多数据的模型中，而这些权重则是在磁盘上休眠的呢？
3. 如果我采用迁移学习的方法，那么训练的基础模型是什么？新的类可能不知道在以前的时间建立基础模型。

Answer 1

一种选择是增量机器学习(有时称为在线机器学习)。在增量机器学习中，现有的模型权重被更新为新的数据，因为新的数据可以用于培训。

如果需要考虑模型的大小，则需要对稀疏模型进行研究。一个例子是路径结构，其中单个非常大的模型只在特定决策所需的情况下通过网络激活一小部分路径。模型本身学习网络的哪些部分是需要哪些预测的。路径架构可以扩展到100亿个参数。