hadoop中一个需要迭代的好例子

Question

我目前正在hadoop上实现一个parallel-for，以便按照用户的指定多次迭代映射器。有没有人能帮我举个有用的例子，让我用我的实现来进行测试。Hadoop中需要迭代Mapper函数的一些应用程序。谢谢

Answer 1

你所说的“映射器的迭代”到底是什么意思？我有一个递归启动作业的示例(在最后一个作业的输入上)。

看看这里，它解释了一个简单的图最小搜索/图探索算法：http://codingwiththomas.blogspot.com/2011/04/graph-exploration-with-hadoop-mapreduce.html

这里有一个更通用的版本：http://codingwiththomas.blogspot.com/2011/04/controlling-hadoop-job-recursion.html

Answer 2

最简单的方法是实现Apriori算法，该算法用于发现频繁项集。

Answer 3

在数据挖掘中有很多例子。例如，您可以尝试其中一种聚类算法。