基于Logistic回归模型的特征重要性

Question

我在一个包含1000列的相当大的数据集上训练一个Logistic回归模型。

我确实使用MinMaxScaler对特性进行了缩放。

我想知道如何解释模型生成的系数，并在基于树的模型中找到类似于特征重要性的内容。

我是否应该将系数重新刻度回原来的比例，以便正确地解释模型？

如果有人能说明如何正确地解释Logistic回归系数，那就太好了。

Answer 1

不，你不需要重新调整系数。相反，如果它们是缩放的，您可以使用它们来比较特性的重要性。

假设我们的logistic回归模型有系数{ a_i}，与不同的(缩放)变量{x_i}有关。

\Delta x_i 在变量x_i 中的变化将导致log({\hat p_i \over {1-\hat p_i}}) 中a_i \Delta x_i 的增加(或减少，如果a_i为负值)，即\hat p_i 的洛吉特函数，其中\hat p_i 是第一个例子在正类中的预测概率。

因此，如果变量被缩放，你可以说如果a_i更大，那么x_i在模型中更重要。