通过cloudera管理器为多个群集配置跨服务

Question

我们正在我们的公司测试CDH 5.6，希望在不久的将来将其部署到生产中，但我们遇到了一个没有答案的问题。

目前，我们正在使用Cloudera Manager管理的两个集群:中心集群和摄取集群。我们的目标是在Central集群中分离HDFS、Hive、Spark、Hue等服务，在摄取集群中分离Flume、Sqoop、Kafka等服务。

当我们尝试将一个集群与另一个集群连接时，问题就来了，我们希望能够配置Sqoop2-2或Flume-2服务(摄取集群)来直接与HDFS服务(位于中央集群)对话。但是，据我们所知，我们不能在Cloudera Manager中这样做，因为它在配置中显示的唯一服务位于中央集群中。例如，如果我们尝试使用Sqoop2-2服务(摄取)配置Hue服务(中央群集)，则不能在Hue service Configuration中选择Sqoop2-2服务：

Hue service configuration for Central Cluster, only shows Sqoop2 service, not Sqoop2-2

我们想把这几个联系起来：

Sqoop2-2 service in Ingestion cluster

有没有办法通过Cloudera Manager在多个集群中配置跨服务，或者我们需要手动修改hdfs-site.xml来连接Sqoop2-2服务(摄取)和HDFS服务(Central)？

提前感谢你的回答。

诚挚的问候。

Answer 1

我不相信在cloudera管理器中有办法做到这一点。通过使用存储集群中/etc/hadoop/conf/hdfs-site.xml中的大部分数据到摄取集群，您可以做到这一点。

将它们分开的理由是什么呢？通常，您希望守护进程尽可能靠近存储，以获得最佳性能。