问hadoop客户端能利用rack意识的好处吗？
EN

Stack Overflow用户

提问于 2020-08-25 13:46:52

回答 1查看 137关注 0票数 0

我有10台摄食机，它们使用akka流来摄取数据。我有一个由50个节点组成的Hadoop集群，并使用Spark流运行管道。Hadoop集群使用10台机器生成的数据生成报表。我可以利用这10台机器的机架感知功能而不将它们作为Hadoop集群的一部分添加吗？

当我说到机架感知时，我的意思是，如果这些机器与Hadoop数据节点位于同一个机架上，那么在使用齿条感知时，我希望每台摄取机器将数据上传到它最近的datanode，而不是随机的方式，这样我就可以减少网络流量。

如果可能的话请告诉我。

回答已采纳

发布于 2020-08-25 14:33:16

如果我正确理解了您的设置，这应该会自动发生。根据HDFS体系结构

对于一般情况，当复制因子为3时，的放置策略是，如果写入器位于datanode上，则将一个副本放在本地计算机上，否则，在与写入器相同的机架上的随机数据节点上的，在不同(远程)机架中的节点上的另一个副本，以及同一远程机架中不同节点上的最后一个副本。

(突出显示的是与您的情况相关的内容，如果您所摄取的节点不是集群数据节点。)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63580274

复制

相似问题

问hadoop客户端能利用rack意识的好处吗？EN