集成学习中的基模型

Question

我一直在做一些关于集成学习的研究，并且读到对于基本模型来说，通常推荐高方差的模型(不记得我到底从哪本书中读到的)。

但是，这似乎违反了直觉，因为拥有低方差的基本模型(在测试集上做得很好)是不是比拥有多个坏的基本模型更好呢？

Answer 1

从直觉上讲，群体从多样性中受益最多。

想象一下，在一个人一起做决定的房间里。如果每个人或多或少都同意，那么有更多的人在餐桌上，你就不会从中受益。但如果人们往往有不同的意见，当他们确实同意，这是一个更强烈的信息，即决定必须是正确的。

这同样适用于组合。高方差模型更容易产生不同的预测，从而提高预测的质量。高方差还将多个模型同时出错的风险降到最低，这是基于这样的假设:模型是正确的，而不是错误的。