hadoop设置中3个日志节点的需求

Question

我对hadoop很陌生。当我使用qoroum日志管理器设置hadoop时，我对需求感到有点困惑。apache站点上的官方文档显示

注意:必须至少有3个JournalNode守护进程，因为编辑日志修改必须写入大多数JNs。

这意味着什么？为什么我们需要3个日志节点而不是两个日志节点？

Answer 1

1. 在hadoop1中，每个集群只能有一个Namenode，如果这个namenode变得不可用，整个集群将变得不可用，从而使其成为单一的故障点。
2. 要解决这个问题，最明显的解决方案是每个集群添加多个Namenode。
3. 在haoop2中，每个集群可以有两个Namenode。一次只有一个Namenode处于活动状态，另一个处于待机模式。要使系统HA同步，两个Namenode都应该同步。为此，他们引入了一个概念日志节点。
4. 这个轻量级恶魔的目的是将活动Namenode中的每一次更改同步到待机Namenodes。
5. 如果这个日志节点会失败怎么办？.This将再次变成相同的issue.journal节点将成为单一的故障点。为了避免这种情况，他们引入了法定人数的概念，就像在动物园管理员中引入的那样。

法定人数是什么意思？

仲裁 :-仲裁的字面含义是“必须出席会议才能使会议有效的最少数量的集会/社团成员”。

在类似的注释中，必须始终存在，超过总日志节点的一半以上，才能保持正常运行。例如，如果系统中有两个日志节点，则必须保持‘超过一半的’，即大于1，即两个日志节点保持正常运行。这意味着在这种情况下不能接受任何日志节点故障。为了避免这种情况，您必须有奇数的日志节点(即3、5、7)。但至少要3，这样我们才能承受日志节点故障。

我希望这对有帮助