如何检测多类分类后的误判数据？

Question

我已经训练了一个神经网络多类分类模型，大约有150个类别，准确率约85%。一旦对模型进行了培训和部署，它就会预测新的数据，而我将保存日志。现在我必须检测那些数据点，这些数据点被模型错误地预测了。例如，该模型对10个数据点进行了预测，其中可能有3个数据点被模型错误分类。有什么办法能得到这些数据点吗？我有以下数据。

• 部署的模型。
• 数据点。
• 相应的预测类由模型来预测。
• 信心分数在预测上。

我知道用信心得分我可能会对错误的预测有一些想法，但我在想还有什么别的方法可以得到吗？

Answer 1

可悲的是这是不可能的。简单地说，如果你能确定你的模型犯了错误，那么你的模型永远不会犯错误。

这是在实践中部署模型的痛苦现实。您将需要手动验证来确认您的模型是否正确执行。在某些系统中，您可能可以将其外包给用户本身(即给他们一个选项来说明模型是错误的)，但是您可能希望运行独立的验证。

现在，确实有办法减轻这部分的痛苦。首先，就像你说的，你应该看看自信的分数。在模型高度自信的情况下，验证预测确实不那么必要。您还应该使用混淆矩阵来确定哪些预测对验证更为重要。事实上，有些错误可能比其他错误的危害要小。

您还可以做的是实验建立辅助二进制模型，这些模型接受输入、模型输出，并预测模型是否出错。这并不能保证有效，但它可能会给你的模型更好的信心分数。