如何使用XGB进行TargetEncoder后训练，以获得特征重要性？

Question

我在我的数据集中的所有分类的名义特征上使用了TargetEncoder。在将df拆分为训练和测试之后，我在数据集上拟合XGB。

在模型训练之后，我希望绘制特征重要性，然而，特征以“编码”的状态显示。我如何反转这些特征，使重要性图是可解释的？

import category_encoders as ce
encoder=ce.TargetEncoder(cols=X.select_dtypes(['object']).columns) 
encoder.fit_transform(X,y)

model = XGBClassifier(use_label_encoder=False)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y_closed)
model.fit(X_train, y_train)

%matplotlib inline
import matplotlib.pyplot as plt
N_FEATURES = 10
importances = model.feature_importances_
indices = np.argsort(importances)[-N_FEATURES:]

plt.title('Feature Importances')
plt.xlabel('Relative Importance')
plt.show()

Answer 1

如documentation中所述:您可以通过使用get_feature_names()获取返回编码的列/特性名称，然后删除原始特性名称。

另外，你需要编码你的目标特征(y)吗？

在下面的示例中，我假设您只需要编码与X_train数据集中的“object”数据类型相对应的特性。

最后，一种好的做法是首先将数据集分为训练集和测试集，然后在训练集上执行fit_transform，在测试集上只执行fit。这样，您就可以防止泄漏。

object_col = X_train.select_dtypes(['object']).columns
encoder = ce.TargetEncoder(cols = object_col) 
df_enc = encoder.fit_transform(X_train)
df_enc.columns = encoder.get_feature_names()
X_train.drop(object_col, axis = 1, inplace = True)
df_final = pd.concat([X_train, df_enc], axis = 1)