所有观察的置信度评分在0.50-0.55之间。

Question

你好，数据科学堆栈交换社区，

这个问题似乎是开放式的，但任何答案或想法都会受到欢迎。我试图通过一个预先训练的随机模型分类器与最小的文档，如什么是混淆矩阵，ROC-AUC曲线的分类问题时，模型被开发。我只有泡菜文件和它需要运行的数据集。当我运行模型时，我观察到大多数情况下，预测评分或信心评分在0.50至0.55之间。

我想知道这样说对吗？“模型可能已经学会了这种模式，甚至很难，所有的信心分数都在0.50到0.55之间”

因为我想解释一下，既然所有的预测得分都集中在一个单一的值上，那么说模型学到了什么是不对的，而且如果有人试图绘制AUC，那么它就应该是直线。

再一次，任何想法和答案都将是非常感激的。

Answer 1

随机模型分类器

你可能是说“随机森林模型分类器”还是“随机场分类器”？

混淆矩阵

这是一个重要的信息，因为如果您有了一个新的(带注释的)示例，那么您可以比较以下几个方面：

• 比较原始测试数据和新数据集中类的分布情况。
• 按类计算预期性能，如果根据新示例评估模型，则分析差异
• ..。

我想知道这样说对吗？“模型可能已经学会了这种模式，甚至很难，所有的信心分数都在0.50到0.55之间”

从技术上讲，这样说是正确的，但也许不是因为你提到的原因(见下文)。虽然这个预测值通常被称为置信度或概率，但它不一定像人们所期望的那样在规范化范围0,1中表示模型的信心，尽管理想情况下应该是这样。细节取决于模型的确切类型，但在ML中，模型一般只与它所训练的数据一样好，所以大多数情况下，预测的分数只是模型的“最佳猜测”。所以它不应该被解释为“C类的概率”，不管怎么说，在分类的情况下，这个值的唯一用途是比较两个实例x和y，如果x的预测分数高于y，那么模型考虑x比y更有可能在C类中，实际值不重要，最好不要依赖它。

因为我想解释一下，既然所有的预测得分都集中在一个单一的值上，那么说模型学到了什么是不对的，而且如果有人试图绘制AUC，那么它就应该是直线。

这个结论是不正确的。清楚地说，在某些特定情况下可能是这样，但不能从问题中提供的信息得出这一结论。为什么？因为我们的曲线(和AUC)根本不取决于分数的实际值，所以它们只取决于根据分数的实例的顺序。ROC曲线显示了不同情况下的性能，将预测的正/负实例分离开来。无论0.51,0.52、0,1或甚至-1234 +5678的得分范围是否有任何影响，都是由阈值以下的负实例和高于阈值的负实例所占的比例决定了在任何给定点上的性能。

如果您感兴趣，我在这个答案中给出了关于ROC曲线的更详细的解释。