支持向量机相对于决策树和AdaBoost算法的优势

Question

我正在研究数据的二进制分类，我想知道使用支持向量机比使用决策树和自适应Boosting算法的优缺点。

Answer 1

您可能想要使用weka，这是一个很好的包，您可以使用它插入数据，然后尝试一组不同的机器学习分类器，看看每个分类器在您的特定集合上是如何工作的。对于做机器学习的人来说，这是一条很好的道路。

对你的特定数据或你试图解决的分类问题一无所知，我真的不能只告诉你我知道的每种方法的随机事情。也就是说，这里有一个大脑转储和一些有用的机器学习幻灯片的链接。

Adaptive Boosting使用弱基分类器委员会对样本点的类分配进行投票。基本分类器可以是决策树桩、决策树、支持向量机等。它需要一种迭代方法。在每一次迭代中-如果委员会对特定样本的类分配达成一致并正确，那么它就会被降低权重(在下一次迭代中获得正确的权重就不那么重要了)，如果委员会不同意，那么它就会被提升权重(更重要的是在下一次迭代中正确分类)。Adaboost以具有良好的泛化能力(而不是过度拟合)而闻名。

SVMs是一个有用的先行尝试。此外，您可以将不同的内核与支持向量机结合使用，不仅可以得到线性决策边界，还可以得到更时髦的形状。如果你把L1正则化(松弛变量)放在上面，那么你不仅可以防止过拟合，还可以对不可分的数据进行分类。

Decision trees非常有用，因为几乎任何人都可以对其进行解释。它们很容易使用。使用树还意味着，您还可以了解某个特定功能对于构建该树有多重要。你可能想看看加法树(比如MART)。