所有机器学习模型都具有相同的精度。

Question

我有一个小的数据集(2000行)，并且正在测试不同的二进制分类算法。数据集非常小，但我没有增加数据集的选项。

我已经测试了一个多层感知器(深度学习)、in助推器、logistic回归，它们都给出了\pm 60% (59, 58, 62, 61, \text{etc.})的精度，无论参数发生什么变化，它们都具有相似的精度。

我知道数据集很小，但我想了解发生这种情况的原因，以及如何可能修复它。我甚至试图从模型中删除一些特性，所有这些仍然提供\pm60%

以下是深度学习模型的代码

model = Sequential()
model.add(Dense(1, input_dim=X.shape[1], activation='relu'))
model.add(Dense(4, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

history = model.fit(X_train, y_train,epochs=60, batch_size=20,validation_split=0.1)

为深度学习模型附加一些样本学习曲线

Answer 1

• 这并不是完全相同的准确性，0.58和0.62之间的差异可能是显著的。
• 这可能是完全正常的，没有理由期望不同的分类器的准确性必然是不同的。
• 精度是二元分类的一种非常简单的评价方法，只有在数据完全平衡的情况下才能适用。观察精确性和回忆很可能会为分类器之间的区别提供一些洞察。
• 当然，结果在很大程度上取决于数据。例如，大约58%的实例非常容易分类，约38%的实例很难分类，只有4%的实例在分类器预测不同的标签之间。
• 确保检查多数班的比例。如果接近60%，一些分类器可能一直都在预测大多数类别。这在精确/召回时是可见的。