以knn作为学习者的套袋

Question

我很难理解为什么matlab函数不允许使用带套袋的knn学习者创建集成模型，而只使用与随机森林方法更相似的随机子空间方法。

我想使用套袋，以比较不同类型的学习者(如knn和树木)的套袋方法。

我希望你能帮我，谢谢你，

玛尔塔

Answer 1

套袋很少与many分类器一起使用，因为决策面通常太稳定，并且在引导样本中的任何数据点的倍数都不会像许多其他模型一样移动“权重”。释义(1)：

在引导示例中，任何单个数据池至少出现一次的概率是0.632。考虑一个简单的2类1-NN分类器，用N个引导样本包装.只有当学习集中的最近邻居不在至少一半的N引导样本中时，测试数据点才能改变分类。发生这种情况的概率与抛出一个加权硬币的概率相同，头N次的概率为0.632，头数小于0.5N。当N越大，这个概率就越小。相似逻辑适用于多类问题和k-神经网络.

如果您想要创建您自己的套袋模型，您可以使用自举。可以不使用函数调用bootstrp()，方法是：

[~, BootIndices] = bootstrap(N, [], Data);

BootSample = Data(BootIndices);

(1)布雷曼，利奥。“套袋预测器”机器学习24.2 (1996年)：123-140。第6.4章