将用户反馈纳入ML模型

Question

我为分类(0/1) NLP任务开发了一个ML模型，并将其部署到生产环境中。模型的预测将显示给用户，用户可以选择提供反馈(如果预测是正确的/错误的)。

如何将这种反馈不断地纳入我的模型中？从UX的立场来看，您不希望用户对特定输入进行两次/三次以上的更正/教系统，系统应该快速学习，因此反馈应该包含“快速”。(Google优先级收件箱可以无缝地做到这一点)

如何建立这个“反馈回路”，用它我的系统可以改进？我在网上搜索了很多，但是找不到相关的资料。任何指点都会有很大帮助。

请不要说重新培训模型从零开始，包括新的数据点。这肯定不是谷歌和facebook建立智能系统的方式

为了进一步解释我的问题--想想谷歌的垃圾邮件检测器，他们的优先收件箱，或者他们最近的“智能回复”功能。这是一个众所周知的事实，他们有能力学习/合并(快速)用户提要。

一直在快速地集成用户反馈(即用户必须在每个数据点最多2到3次的情况下教系统正确的输出，并且系统开始为该数据点提供正确的输出)，并且它还确保它维护旧的学习，并且不会在旧的数据点上提供错误的输出(在旧的数据点上，它更早地提供了正确的输出)，同时结合了对新数据点的学习。

我没有发现任何博客/文献/讨论w.r.t如何构建这样的系统--一个在ML系统中解释分离回循环的智能系统。

希望我现在的问题再清楚一点。

更新:我发现的一些相关问题是：

• 滑雪支持向量机支持增量(在线)学习吗？
• https://datascience.stackexchange.com/questions/1073/libraries-for-online-machine-learning
• http://mlwave.com/predicting-click-through-rates-with-online-machine-learning/
• 漂流

更新:我仍然没有一个具体的答案，但这样的食谱确实存在。阅读以下博客机器学习!=学习机器中的“从反馈中学习”一节。在这篇文章中，Jean谈到了“在机器上添加一个反馈摄入循环”。在这里，这里，这里也是4.。

Answer 1

建立一个简单的，轻的模型，可以更新每一个反馈。在线机器学习为这方面提供了许多候选

大多数好的在线分类器都是线性的。在这种情况下，我们可以通过一个小的浅层神经网络将它们组合成非线性。

https://stats.stackexchange.com/questions/126546/nonlinear-dynamic-online-classification-looking-for-an-algorithm

Answer 2

有几种方法可以做到这一点：

1)您可以将用户提供的反馈信息合并起来，只对模型的最后一层进行训练，从而保持所有其他层的权重不变。例如，直观地说，在CNN的情况下，这意味着您正在使用您的模型提取特征，但要稍微调整分类器，以考虑到您特定用户的特性。

2)另一种方法可以是拥有一个全局模型(它是针对您的大型培训集进行的)和一个简单的逻辑回归，它是特定于用户的。对于最终的预测，可以将这两种预测的结果结合起来。请看谷歌的本论文，他们是如何为他们的优先收件箱而这么做的。