如何参加机器学习编程竞赛

Question

许多机器学习比赛都是在Kaggle举行的，其中给出了一个训练集和一组特征，并给出了一个测试集，其输出标签是根据训练集来决定的。

很明显，这里适用于像决策树、支持向量机等监督学习算法。我的问题是，我应该如何开始处理这些问题，我的意思是，是从决策树还是SVM或其他算法开始，或者是否有任何其他方法，即我将如何决定？

Answer 1

所以，我从来没有听说过Kaggle，直到读了你的帖子--非常感谢，它看起来很棒。在浏览他们的网站时，我发现了一个可以很好地指导你的部分。在competitions page (单击所有比赛)上，您可以看到Digit Recognizer和Facial Keypoints Detection，这两个比赛都是比赛，但都是出于教育目的，提供了教程(面部关键点检测尚不提供教程，因为比赛还处于初级阶段。除了一般的论坛，比赛也有论坛，我想这是非常有帮助的。

如果你对机器学习的数学基础感兴趣，并且对它比较陌生，我建议你使用Bayesian Reasoning and Machine Learning。这不是小菜一碟，但它比它的同类产品友好得多，而且不会失去严密性。

编辑:我在Kaggle上找到了tutorials page，这似乎是他们所有教程的摘要。此外，python库scikit-learn提供了大量关于机器学习算法的描述/解释。

Answer 2

这篇小抄http://peekaboo-vision.blogspot.pt/2013/01/machine-learning-cheat-sheet-for-scikit.html是一个很好的起点。根据我的经验，同时使用几种算法通常可以得到更好的结果，例如逻辑回归和支持向量机，其中每种算法的结果都有一个预先定义的权重。和测试，测试，测试;)

Answer 3

1. 在数据挖掘中有No Free Lunch。除非你尝试了很多方法，否则你不会知道哪种方法效果最好。
2. 说过，在数据挖掘中，在可理解性和准确性之间也存在权衡。决策树和KNN往往是可以理解的，但准确性不如SVM或随机森林。Kaggle在understandability.
3. It上寻找高精度也取决于属性的数量。一些学习者可以处理许多属性，例如支持向量机，而其他学习者处理许多属性时速度较慢，例如神经网络。
4. 您可以使用主成分分析来缩小属性的数量，这在几个Kaggle competitions.

中都有帮助