变稳定性与判别模型质量的权衡

Question

对于数据科学家和建模专家来说，关注模型的稳定性是非常正常的。它基本上意味着，如果一个变量在今天是重要的，它不能改变它的重要性随着时间的推移，因为这种不稳定将显示模型的弱点。

很难说稳定是好的。但在.方面

信用建模(例如，产生信用分数)人们会被稳定性弄得崩溃，以至于更喜欢区别较小的模型，而不是更稳定的模型。

我的问题是，什么是稳定的真正效用，以及与该模型的歧视性度量(KS、Gini、AUC等)进行这种权衡的正确方法。

我猜想(个人猜测)，稳定性在某种程度上将模型与一个不太理想的度量联系在一起，因为它不允许行为随着时间的推移而改变。如果它们不发生真正的变化，就不会有问题，但是如果变量的影响随着时间的推移而变化，我们通常会假设这反映在更少的稳定性上，而分析师则通过放置更简单的模型或删除这些变量来解决这个问题。

Answer 1

我认为这里可能有些混乱:通常称为稳定模型的是一个模型，在对不同子集的训练数据或测试数据进行抽样时，其性能不会发生变化(或不显着)。换句话说，如果机会不影响其性能，则模型是稳定的。通常，人们可以使用交叉验证来评估模型的稳定性:如果不同的分裂之间的方差很大，那么模型是不稳定的。不稳定通常是一个过度拟合的迹象，因此，对于一个不稳定的模型，即使它看起来运行得很好，也应该非常谨慎:风险在于，该模型可能在测试集上偶然获得良好的性能，这意味着它实际上在新的数据上表现不佳，但没有办法检测到问题。这就是为什么在某些应用程序中，人们可能倾向于一个稳定的模型，而不是高性能的模型，因为在生产中部署一个不稳定的模型所带来的后果将是昂贵的。

但你说的不是一般的模型稳定性，而是基于时间的数据的跨时间性能的稳定性。这是一个完全不同的问题，它是关于模型是否能够准确地表示时间变化。有很多类型的模型可以做到这一点，但当然，模型越复杂，它需要的数据越多，过度拟合的风险也就越高。