Sklearn特征选择

Question

带有交叉验证(RFEVC)的递归特征消除(RFEVC)不适用于多层Perceptron估计器(以及其他几个分类器)。

我希望在许多分类器中使用一个特征选择，执行交叉验证来验证其特征选择。有什么建议吗？

Answer 1

对于结构化数据，有一个独立于模型选择的特征选择，称为置换重要性。这是很好的解释，这里和其他地方。你应该看看它。是目前正在实施中的滑雪。

目前还没有MLP的实现，但是可以很容易地使用这样的方法(来自本文)：

def permutation_importances(rf, X_train, y_train, metric): 
    baseline = metric(rf, X_train, y_train)
    imp = []
    for col in X_train.columns:
        save = X_train[col].copy()
        X_train[col] = np.random.permutation(X_train[col])
        m = metric(rf, X_train, y_train)
        X_train[col] = save
        imp.append(baseline - m)
    return np.array(imp)

请注意，这里的培训集用于计算特性重要性，但您可以选择使用测试集，如这里所讨论的那样。