Apache Helix vs YARN

Question

Apache Helix和Hadoop YARN (MRv2)之间的区别是什么。有谁对这两种技术都有经验吗？谁能给我解释一下Helix相对于YARN的优缺点，以及为什么LinkedIn开发了他们自己的集群管理而不是使用YARN？

提前感谢Tobi

Answer 1

虽然Helix和YARN都提供了管理分布式应用程序的功能，但两者之间有重要的区别。

YARN主要提供跨机器集群的资源管理功能，同时要求应用程序编写自定义逻辑来协商来自资源管理器的资源。另一方面，Helix提供了一种以声明方式管理分布式应用程序状态的方法，从而使应用程序不必执行自定义实现。目前，Helix不提供与YARN相同的资源管理功能。因此，这两个系统具有很强的互补性。

作为示例，假设您有一组节点，并且希望在这些节点上启动一些容器。

1. 根据资源在节点之间分配容器容器，
2. 监视容器，如果它们退出重新启动容器

YARN提供了完成上述任务的框架/机制。拥有容器后，您必须实现以下功能：

1. 分区和复制:您需要将任务分发到容器，可能会为每个容器分配多个任务。对于冗余，您可以选择将任务分配给多个容器管理:管理数据移动容错任务的状态:当容器发生故障时，您可以选择在其余容器之间重新分配工作，或者根据SLA requirement.
2. Cluster扩展重新启动容器:您可以启动新的容器来处理工作负载，然后您希望在所有这些操作期间将任务转移到re-distributed.
3. Throttling：。您可能希望限制某些操作，如

Helix可以很容易地实现上述功能。在YARN中，需要编写应用程序主程序来实现这些(此类实现的一个示例是hadoop map reduce作业的应用程序主程序)。

Helix是在LinkedIn开发的，用于管理在线/近线空间中的分布式数据系统。在这个空间中，一旦容器启动，它就会一直运行，直到崩溃。当一个容器发生故障时，任务可能会在剩余的容器中重新分配。

YARN提供了资源调度算法，允许灵活有效地利用可用硬件来执行短期任务，如map reduce作业。