决策树ID3/C4.5在Hadoop上的并行实现

Question

我想在Hadoop上实现决策树ID3/C4.5。任何人都能知道如何继续前进。

我对算法很清楚，但我需要知道如何将它们并行化。

Answer 1

我会考虑将一次属性选择迭代作为一次MapReduce作业的方法。按照这个想法，您可以将属性分配给每个映射器，以检查信息增益，并且，在reduce阶段(使用单个reducer)，您可以选择最佳属性。

如果一台机器(所有属性)上的单次迭代的计算时间比作业开始开销(大约20-40秒)要长，我会认为这种方法是可行的。