我在哪里运行spark - Standalone、Hadoop或Mesos

Question

我正在学习Spark，但如果我必须在Hadoop/Yarn或Mesos上运行spark，我会感到困惑。

如果我在Hadoop/Mesos上运行，会有什么性能提升吗？

现在，我正在一个4节点集群上独立运行。

有没有经验丰富的用户可以在这里提供一些指导？

Answer 1

根据用例的详细情况，您可能会看到任何给定配置中的性能与另一种配置中的性能相比有升有降。然而，除了性能之外，Hadoop和Mesos还为您提供了其他优势。每种情况下都有许多，但例如：

Hadoop

将

• HDFS作为弹性分布式文件存储。使用Hadoop元数据访问数据集，例如通过HiveContext
• Mix Spark processing和其他方法(如作为资源管理器的Map-Reduce
• YARN )将资源分配给您的任务

Mesos - Mesos比Hadoop更专注于特定的角色，即跨机器集群管理资源。但是，它可以跨一系列工作负载类型执行此操作。这些可能是数据处理作业，如Spark，Akka中的分布式应用程序，分布式数据库等。如果一台机器发生故障，它可以将任务转移到其他机器上。

我推荐看这个视频，我有幸参加了这次会议：https://www.youtube.com/watch?v=gzx4-6RB7Yw

它演示了如何使用Spark、HDFS、Mesos和Docker在Amazon云机集群上进行分布式计算。