hadoop集群中的边缘节点

Question

有人能给我解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下问题-

1)边缘节点必须是集群的一部分吗(如果它在集群内，我们有什么优势？)它是否在hdfs中存储任何数据块。

2)边缘节点可以在集群外吗？

Answer 1

+1，并提供戴尔说明。在我看来，Hadoop集群中的边缘节点通常是负责运行Hadoop集群的客户端操作的节点。通常，边缘节点与包含HDFS、MapReduce等Hadoop服务的节点保持分离，主要是为了保持计算资源的分离。对于只有几个节点的较小集群，常见的情况是节点扮演主服务(JT、NN等)、从服务(TT、DN等)和网关服务的混合角色组合。

请注意，在同一节点上运行主Hadoop服务和从Hadoop服务不是理想的设置，并且可能会导致伸缩和资源问题，具体取决于使用的是什么。这种配置通常出现在小规模的开发环境中。

话虽如此，这里有一些你发布的问题的答案：

1)边缘节点必须是集群的一部分吗？

边缘节点不一定是集群的一部分，但是如果它在集群之外(这意味着它没有任何特定的Hadoop服务角色在其上运行)，它将需要一些基本的部分，比如Hadoop二进制文件和当前的Hadoop集群配置文件来在集群上提交作业。

2)在集群内部有什么优势？

根据使用的版本，在群集中运行的边缘节点允许集中管理群集节点上的所有Hadoop配置条目，这有助于减少更新配置文件所需的管理量。通常，这是一对多方法，配置项在一个位置更新，然后推送到集群中的所有(多个)节点。

但是，当群集中的一个节点也用作边缘节点时，客户端操作会消耗CPU和内存资源，这会减少该节点中运行的Hadoop服务可以利用的可用资源。

3)它是否在hdfs中存储任何数据块？

除非边缘节点配置了DataNode服务，否则数据块不会存储在该节点上。

4)边缘节点应该在集群之外吗？

如上所述，它可以依赖于集群环境和用例；在集群外部配置它的一个支持原因是将运行客户机的服务和Hadoop服务分开。

保持边缘节点独立允许该节点利用可用于Hadoop处理的全部计算资源。

希望这能有所帮助！

Answer 2

Edgenodes不是常见的Hadoop术语。我希望您已经找到了与我相同的定义，它应该回答您的questions....This来自戴尔。

Hadoop - EdgeNode是需要使用EdgeNode环境的外部应用程序、工具和用户的接入点。EdgeNode位于Hadoop集群和公司网络之间，为Hadoop环境提供访问控制、策略实施、日志记录和网关服务。典型的Hadoop环境至少有一个EdgeNode，并根据性能需求提供更多的and。

所以这真的取决于你。Edgenode可能在集群中，也可能不在集群中。它可能运行Hadoop软件，或者只能访问它。据我所知，您根本不需要它--它只是您可以访问集群的方式的名称。

Answer 3

边缘节点是hadoop集群的看门人，它允许您访问hadoop应用程序，如hive、pig..相反，我要说的是，它是与集群对话的客户端。