使用python scikit对RFE进行打包(引导)-学习

Question

我想要执行包装使用蟒蛇坐骨神经-学习。我想结合RFE()，递归的特征选择算法。步骤如下。

1. 使30个子集允许冗余选择(套袋)
2. 对每个数据集执行RFE
3. 获得每种分类的输出
4. 从每个输出中查找前5项功能

我试着像下面这样使用BaggingClassifier方法，但是它花费了大量的时间，看起来可能不起作用。只使用RFE是没有问题的(rfe.fit())。

cf1 = LinearSVC()
rfe = RFE(estimator=cf1)
bagging = BaggingClassifier(rfe, n_estimators=30)
bagging.fit(trainx, trainy)

另外，第4步可能很难找到顶级特性，因为打包分类器不提供类似于RFE()中的ranking_这样的属性。还有其他好的方法来实现这四个步骤吗？

Answer 1

如果没有套袋，就可以获得RFE给出的排序，如下所示：

rfe.ranking_

此顺序可用于对功能名称进行排序，然后取前五个功能。有关此参数的示例，请参见sklearn文档。使用套袋，您将希望访问每个您的30个估值器。基于学习BaggingClassifier的文档，您可以通过以下方式访问它们：

bagging.estimators_

因此:对于bagging.estimators_中的每一个套袋，得到排名，根据这个排名对功能进行排序，并取前五个元素！希望这能有所帮助。