R中的随机子空间法

Question

对于如何实现(Ho,1998)在R中描述的“随机子空间法”(一种集成方法)，有什么想法吗？找不到包裹

何天锦(1998年)。"构造决策林的随机子空间法“。模式分析和机器智能的IEEE事务。20 (8)：832-844。

Answer 1

实际上，这已经被“集成”(某种程度上)到随机森林(RF)算法中--实际上，它是标准R包randomForest中由randomForest参数控制的特性的随机选择；参见射频上的维基百科条目，以及SO线程为什么具有单一树的随机森林比决策树分类器要好得多？中的答案(免责声明: by )以获得更多细节。

在scikit中复制上述算法的确切行为时--学习RF的实现是简单而简单的(只需设置bootstrap=False --参见上面的链接线程)，我将承认我无法从randomForest R包中获得相同的行为--即“强制”它不使用引导抽样，这将使它等同于随机子空间方法；我尝试了函数中replace=FALSE和sampsize=nrow(x)的组合，但它似乎不起作用.

总之，这里的信息(以及在R或其他框架中没有该方法的具体实现的原因可以说是)是，最有可能的是，您最好坚持使用随机森林；如果您确实想尝试它，AFAIK似乎是Python和scikit的唯一选择--学习。

Answer 2

在插入符号包中找到此函数：

model<-bag(x=iris[,-5], y=iris[,5], vars = 2, 
bagControl = bagControl(fit = ctreeBag$fit,
                        predict = ctreeBag$pred,
                        aggregate = ctreeBag$aggregate), 
trControl=trainControl(method = 'none'))

它支持vars属性，因此您可以为每个学习者考虑一个随机变量子集；同时，通过传递方法= 'none‘作为参数，可以避免引导抽样。