Hadoop机架感知配置

Question

我正在使用Hadoop，并且需要配置机架感知。有没有人能给我一个关于它工作原理的想法或教程？

我使用的是Hadoop 1.2.1。

Answer 1

由于您需要的是教程和指导，这里有几个链接足以让您了解如何设置机架感知：

1. http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_hdfs_admin_tools/content/ch05.html
2. https://bigdataprocessing.wordpress.com/2013/07/30/hadoop-rack-awareness-and-configuration/

希望这能有所帮助。

Answer 2

在Hadoop环境中，机架拓扑定义了机器在数据中心的机架中的物理位置。结合传统的网络设计和架顶式交换，我们可以从逻辑上推断机器之间在网络连接方面的距离。机器的物理位置也与电力基础设施等其他问题有关，这对于了解系统中可能的故障域至关重要。

在Hadoop中，通过实现一个脚本来配置机架拓扑，当在命令行上给定主机名列表或IP地址时，该脚本将按顺序打印机器所在的机架。拓扑脚本的实现完全由管理员决定，可以像具有机器和机架名称硬编码列表的shell脚本一样简单，也可以像从关系数据库读取数据的C可执行文件一样复杂。最常见的脚本类型之一是使用机器到机架映射的CSV文件的脚本。

这里有一个例子。

http://wiki.apache.org/hadoop/topology_rack_awareness_scripts