SVR的特征重要性

Question

我想用SVR来描述特性的重要性，但我不知道支持向量回归是否可能，这是我的代码。

from sklearn.svm import SVR
C=1e3
svr_lin = SVR(kernel="linear", C=C)
y_lin = svr_lin.fit(X,Y).predict(X)
scores = cross_val_score(svr_lin, X, Y, cv = 5)
print(scores)
print(scores.mean())
print(scores.std())

Answer 1

SVR不支持本地特征重要性分数，您可能需要尝试排列特征重要性，这是一种计算相对重要性分数的技术，它独立于所使用的模型。首先，模型适合于数据集，例如不支持本机特性重要性评分的模型。然后，模型用于对数据集进行预测，尽管数据集中的特征(列)的值是加扰的。对于dataset中的每个特性，都会重复这种情况。然后，整个过程重复3，5，10次或更多次。结果是每个输入特征的平均重要性评分(以及给定重复的分数的分布)。这种方法可以用于回归或分类，并要求选择性能指标作为重要性评分的基础，例如回归的均方误差和分类的准确性。置换特征选择可以通过采用适合模型的permutation_importance()函数、数据集(训练或测试数据集很好)和评分函数来使用。

model = SVR()
# fit the model
model.fit(X, y)
# perform permutation importance
results = permutation_importance(model, X, y, scoring='neg_mean_squared_error')
# get importance
importance = results.importances_mean
# summarize feature importance
for i,v in enumerate(importance):
    print('Feature: %0d, Score: %.5f' % (i,v))
# plot feature importance
pyplot.bar([x for x in range(len(importance))], importance)
pyplot.show()