Hadoop齿条拓扑

Question

在Hadoop中，我读到可以通过提供机架的IP地址或相关主机名来配置机架拓扑。这是否意味着，在一个Hadoop集群中，理论上您可以在完全独立的地理位置上拥有不同的机架，只要它们可以从NameNode到达(可以点击)？

如果是这样的话，我将假设机架感知算法定义的块的复制策略是相同的。

Answer 1

默认情况下，Hadoop是机架感知的，所有节点都位于一个名为/default-rack的机架下。如果集群有多个机架，在数据中心内或跨越数据中心，则必须让hadoop组件(特别是Namenode)知道这些不同的机架。

在Hadoop中的

--我读过，可以通过提供机架的IP地址或它们相关的主机名来配置机架拓扑。

是的，配置齿条拓扑需要一个脚本来生成datanode的IP或主机名到最多一个机架之间的映射。

，这是否意味着在一个Hadoop集群中，理论上您可以在完全独立的地理位置上有不同的机架，只要它们可以从NameNode到达(可以点击)？

是的，集群中的所有节点都应该可以访问它们。但作为一种最佳实践，不建议在不同的地理位置设置节点，因为这可能会增加节点之间的网络延迟。

，如果是这样的话，我将假设机架感知算法定义的块的复制策略是相同的。

是。块放置策略对于机架拓扑的所有变化都是相同的。