在添加其他功能时，功能的重要性发生了剧烈的变化

Question

我有一个模型(GBDT)，其中添加一个特性X并不重要(根据SHAP)，但是当我添加其他特性并再次添加X时，特性X是第二个最重要的！

有什么可以解释的？我该如何调查到底发生了什么？

Answer 1

这很有可能是一个过度适应的迹象:特性的重要性不稳定这一事实可以被看作是模型本身不稳定的一个迹象，而这通常发生在数据中没有足够的信息来确定如何使用这些特性时。因此，特征或数据的微小变化会导致模型发生很大的变化，因为它使用了偶然出现的特性。研究的一种方法是减少特征的数量:如果模型以这种方式变得更加稳定，它就会确认过度拟合(并且测试集上的性能应该相同或更好)。

编辑过的还有一种可能性，即新特性对模型确实很有用，这使得它以一种非常不同的方式使用整套特性，因为它可以利用新的特性组合。例如，假设我们有一个基于代表患者症状的特征来预测疾病的模型，然后我们添加代表患者年龄和性别的特征。让我们假设在特定的年龄有一个特定的症状是疾病的一个强有力的指标，所以这意味着这个症状特征本身并不是很有用，但是随着额外的特性变得更加重要。在这种情况下，当添加新特性时，我可能会看到测试集的性能有了显著的提高。