无法理解ID3算法

Question

维基百科确实有ID3 algorithm的定义，但它非常复杂。有没有以一种容易理解的方式解释这个概念的链接？

维基百科有很多复杂的理论和公式。我确实理解了什么是熵。但我不明白什么是收获。你的基本解释或指向一些好的链接肯定会对我有帮助。

Answer 1

我认为Wiki页面基本上明确了这一概念，尽管一些例子会有所帮助。您可以查看有关此主题的the U Florida page和the ICL页面。当涉及到这样的主题(机器学习和数据挖掘)时，你应该总是考虑reading materials by Andrew Moore @ CMU，我发现它非常有帮助。

但同时，这也是我的两点意见：

熵表示消息中包含的信息(不确定性)的期望值。由于我们在这里考虑的是决策树，增益是当我们在一个属性上拆分时的熵的差异(即，原始熵与不同分支的熵的权重平均值之间的差异)。由于这是减少的不确定性，这只是我们通过对该属性进行拆分而获得的信息。

此外，我们在上数据挖掘课程时使用了《数据挖掘:一种基于教程的方法》作为文本，这是一本很好很容易的书。