配置SnakeBite HDFS客户端以使用高可用性模式

Question

我正在使用蛇咬伤库从我的气流达格访问HDFS。

我的HDFS集群已升级到高可用性模式。这意味着，当namenode不是活动节点时，配置为只指向一个名称节点的客户端将失败。

我可以使用什么策略来使高可用性模式高度可用？我是否可以将蛇咬伤客户端配置为故障转移到另一个节点？我能用某种负载平衡器来引导交通到右边的namenode吗？

Answer 1

事实证明，蛇咬有两种解决这个问题的方法：AutoConfigClient，它将从hadoop吐露得到它的信息，而HAClient，它有两种名称。

在我的例子中，我实际上是使用蛇咬伤通过气流。事实证明，气流的HDFSHook是足够聪明的，以应付两个名称是在一个连接，然后将使用HAClient。