在Apache Marathon上运行Hadoop/Storm任务

Question

我最近遇到了Apache Mesos，并成功地在Mesos上部署了我的Storm拓扑。

我想尝试在Apache Marathon上运行Storm拓扑/Hadoop作业(使用mesos-storm框架直接在Apache Mesos上运行Storm有问题)。

我找不到任何教程/文章可以列出如何从Apache Marathon启动Hadoop/Spark任务的步骤。

如果任何人能提供关于这个主题的任何帮助或信息(可能是启动storm/hadoop作业的Marathon的Json作业定义)，那就太好了。

非常感谢

Answer 1

感谢您的回复，我继续在Apache Mesos和Marathon上部署了Storm-Docker集群。对于服务发现，我使用了HAProxy。这种设置允许服务(nimbus或zookeeper等)在端口的帮助下相互通信，因此，例如，为一个服务添加多个实例不是问题，因为集群会发现它们正在使用端口，并在服务的所有实例之间负载平衡请求。以下是GitHub项目，其中包含马拉松食谱和Docker图像：https://github.com/obaidsalikeen/storm-marathon

Answer 2

Marathon是为长时间运行的服务而设计的，所以你可以使用它来启动你的JobTracker或Spark调度程序，但你最好在Chronos (https://github.com/airbnb/chronos)这样的批处理框架上启动实际的批处理作业。Marathon将在完成/失败时重新启动任务，而Chronos (具有依赖关系的分布式cron )允许您设置计划的作业和复杂的工作流。

虽然有点过时，但下面的教程给出了一个很好的示例。

http://mesosphere.com/docs/tutorials/etl-pipelines-with-chronos-and-hadoop/