Hadoop集群分布在不同子网(Docker + Flannel)

Question

我希望在使用Docker的多裸机集群中使用Hadoop 2.3.0。我有一个主容器和一个从容器(在第一个设置中)。当Master和Slave容器在同一主机(因此，相同的Flannel子网)中时，Hadoop可以完美地工作。但是，如果Master和Slave位于不同的裸机节点(因此是不同的法兰子网)，它就无法工作(我得到了一个连接被拒绝的错误)。两个容器都可以相互ping和ssh，因此不存在连接问题。出于某种原因，hadoop似乎需要集群中的所有节点都在同一子网中。有没有办法绕过这一点？

谢谢

Answer 1

仅使用ssh和ping是不够的。如果您有iptables或任何其他防火墙，则需要禁用或打开端口。只要主机可以相互通信并且端口打开，您就可以设置群集。运行telnet <namenode> <port>以确保主机在所需端口上通信。

Answer 2

我认为将节点放在单独的法兰子网中会引入一些与NAT相关的规则，从而导致此类问题。

请参阅下面的链接，该链接似乎解决了类似的问题Re: Networking Problem in creating HDFS cluster.

Hadoop使用一系列其他端口进行节点之间的通信，上面假设这些端口是解锁的。