检查模型稳定性-不同类别的性能

Question

我试着做多类分类问题。目标是预测这场比赛是由HomeTeam，AwayTeam还是平局赢得。我从属性中进行了特征工程，最后得到了最终的数据来训练分类器。我确保所有3类的数据都是平衡的。

为了训练分类器，我使用了XGB分类器、Logistic回归、SGD分类器和正常DNN(Tensorflow估计)。我检查了所有分类器的度量标准，并且从分类器中选择了最好的一个。

验证集上的Linear SGD分类器性能

     Class, Precision, Recall,    spe,       f1,      geo,      iba,      sup

      A       0.58      0.69      0.79      0.63      0.74      0.54       275
      D       0.51      0.61      0.66      0.55      0.63      0.40       338
      H       0.81      0.50      0.94      0.62      0.69      0.45       315
   Avg/mean   0.63      0.60      0.79      0.60      0.68      0.46       928        

测试数据集的Model性能

              pre       rec       spe        f1       geo       iba       sup

      A       0.87      0.55      0.97      0.67      0.73      0.51        84
      D       0.43      0.69      0.66      0.53      0.67      0.45        83
      H       0.80      0.69      0.86      0.74      0.77      0.58       139

我们可以看到，这个模型在<#>A和H类上是稳定的，但是对于D类，精度却很差。我认为由于缺少特性，D类的模型表现不佳，但我做了几次EDA和来提高类D的召回率。

我的问题是，Is这个模型被认为是稳定的？

Answer 1

考虑因素:我认为A是不稳定的，因为它在验证和测试结果之间有很大的差异。

回答前的几个问题：

1. 你用交叉验证有多少个折叠？最佳结果是折叠结果之间的平均值？什么是stddev？如果stddev是大的，它可以告诉我们一段历史。
2. 你的褶皱被弄乱了？我看到很多人在使用scikit时折叠，不用洗牌学习，因为这不是默认的行为。
3. 你的测试数据不平衡吗？如果是这样的话，测试结果和验证结果之间的差异是正常的。
4. 你用了多少个例子来测试，用多少个测试？有时，模型的稳定性需要更多的例子。