分布式作业调度、管理和报告

Question

最近，我在Hadoop上玩了一圈，它对MapReduce作业的调度、管理和报告给我留下了深刻印象。它似乎使新作业的分配和执行非常无缝，使开发人员能够集中精力实现他们的作业。

我想知道在Java域中是否存在不容易表示为MapReduce问题的作业的分布式执行？例如：

• 需要任务协调和同步的作业。例如，它们可能涉及任务的顺序执行，但同时执行某些任务是可行的： .B..-.--C
• CPU密集型任务，您想要分发，但不提供任何输出减少-图像转换/调整大小，例如。

那么，是否有一个提供这样一个分布式计算环境的Java框架/平台呢？或者，使用Hadoop可以接受/实现这类事情吗?如果是这样的话，对于这类工作是否有任何模式/指导方针？

Answer 1

此后，我发现了弹簧批和弹簧批量集成，它们似乎满足了我的许多需求。我会告诉你我是怎么相处的。

Answer 2

看看石英。我认为它支持远程管理作业和集群几台机器来运行作业。

Answer 3

我猜您正在寻找一个用于CPU密集型任务的工作流引擎(也知道“科学工作流”，例如http://www.extreme.indiana.edu/swf-survey)。但我不知道你希望它有多大的分布。通常所有的工作流引擎都有一个“单一的故障点”。