多类分类准确率50%

Question

我试图对大量输出标签(1000)进行多类分类。

我用KNN建立了一个模型。accuracy = knn.score(X_test, y_test)给出的精度为0.5。

这是否意味着给定一个输入，该模型能够预测数据所属标签的50%的时间？如果是的话，我会直觉地说这是好的，因为随机选择标签的概率是0.1%。

Answer 1

假设它确实是一个单一形式的多类问题，而不是一个多标签问题。

.5的准确性意味着一半的实例被正确地分类了。这也意味着模型能够在一半的时间内生成正确的类。对于测试数据，新数据的结果仍然可能有所不同。

如果这是一个好的分数取决于更多的班级数量。通常，一个类比另一个类更有代表性。ZeroR得分是一个很好的底线。

假设你有10个班，A班占总人口的30%。一个随机过程将达到.1的精度，一个简单地一直说“A类”的过程会发布.3的准确性。