如何评估数据挖掘模型？

Question

我将评估我建立的分类模型。这就是逻辑回归和决策。

1. 我用什么标准来比较？

1. 假设模型选择的标准是ASE。训练数据ASE高，测试数据ASE低，训练数据ASE低，测试数据ASE高。如果您选择一个模型，您会选择哪些模型？

Answer 1

• 准确性(用于分类问题)
• 精度
• 召回
• F1评分
• AUC-ROC，特别是对于不平衡的数据集

在训练集上表现好，在测试集上表现差是由于过度拟合造成的。因此，您应该设法找到解决过度拟合的方法，如参数的正则化，使用交叉验证的参数调整等。

Answer 2

评定分类准确性的标准如下：

1. F-评分(通常是F1评分，同样重视查全率和回忆)
2. 用于二进制分类的AUC - 罗克 (检查这)

Answer 3

事实上，没有任何标准，这完全取决于你的情况。

如果可以忽略问题的主题，那么其他一些特征，如平衡/不平衡和二进制/多类，会缩小搜索结果范围。

此外，根据数据集总体、基于类别的准确性、总体精度等参数对分类结果进行评价的基准也较多。其中一些基准是Landis基准、Fleiss基准、Altman基准、Cicchetti基准。

免责声明：

如果您使用python，我建议您使用PyCM，它推荐用于评估和比较的最合适的度量标准。下面是从这个模块获取推荐参数的简单代码：

>>> from pycm import *

>>> cm = ConfusionMatrix(matrix={"Class1": {"Class1": 1, "Class2":2}, "Class2": {"Class1": 0, "Class2": 5}})  

>>> print(cm.recommended_list)
["Kappa", "SOA1(Landis & Koch)", "SOA2(Fleiss)", "SOA3(Altman)", "SOA4(Cicchetti)", "CEN", "MCEN", "MCC", "J", "Overall J", "Overall MCC", "Overall CEN", "Overall MCEN", "AUC", "AUCI", "G", "DP", "DPI", "GI"]

>>> score = cm.Kappa