迭代MapReduce

Question

我已经为Hadoop写了一个简单的k-means集群代码(两个独立的程序- mapper和reducer)。这段代码正在处理我本地机器上的一个二维点的小数据集。它是用Python编写的，我计划使用流API。

我想就如何最好地在Hadoop上运行这个程序提出一些建议。

在每次运行mapper和reducer之后，都会生成新的中心。这些中心是下一次迭代的输入。

在我看来，每个mapreduce迭代都必须是一个单独的mapreduce作业。而且看起来我必须编写另一个脚本(python/bash)来在每个reduce阶段之后从HDFS中提取新的中心，并将其反馈给mapper。

有没有其他更简单，更简单的方法？如果集群碰巧使用了一个公平的调度程序，那么这个计算将需要很长时间才能完成？

Answer 1

回答我自己的问题感觉很有趣。我使用的是PIG 0.9 (还没有发布，但可以在后备箱中使用)。在这种情况下，通过允许将PIG语句嵌入到Python等脚本语言中，可以支持模块化和流控制。

所以，我写了一个主要的python脚本，它有一个循环，里面叫做我的猪脚本。PIG脚本反过来调用UDF。所以，我不得不写三个不同的程序。但它运行得很好。

您可以在此处查看示例- http://www.mail-archive.com/user@pig.apache.org/msg00672.html

根据记录，我的UDF也是用Python编写的，使用了这个新特性，它允许用脚本语言编写UDF。

Answer 2

你不必再写另一份工作了。您可以将相同的作业放在一个循环( while循环)中，并不断更改作业的参数，这样，当映射器和reducer完成处理时，控件将从创建新配置开始，然后您将自动拥有一个输入文件，该文件是上一阶段的输出。

Answer 3

Hadoop的Java接口具有链接多个作业的概念：http://developer.yahoo.com/hadoop/tutorial/module4.html#chaining

但是，由于您使用的是Hadoop Streaming，因此不支持链接作业和管理工作流。

你应该看看Oozie，它可以帮你完成这项工作：http://yahoo.github.com/oozie/