我们如何在hadoop生态系统之上建立多租户？

Question

我们正试图在hadoop生态系统之上建立多租户。

我们的生态系统通常由hadoop组件组成，如hdfs、纱线、蜂箱、oozie、动物园管理员。

到目前为止，我一直在研究这样的概念

1. HDFS联合会

它通过一个独立的namenode为每个联邦HDFS分区联合您的分布式存储(HDFS)。 问题:假设单个集群有2个租户，因此有2个namenode，2个namenodes将意味着2个单元服务器、2个oozie服务器和其他hadoop组件中类似的2个组件，这些组件将与各自的namenode通信并在各自的HDFS分区中写入。

1. 容量调度器

可以为每个租户执行计算配额。(例如租户1- 50%和租户2- 50%)

1. MAPR多租赁特性

我找不到如何为hadoop集群开发类似的多租户环境。

我想要做的是，每个租户(和它的用户)都会有一个

1. 计算配额(通过容量调度程序)
2. HDFS中每个租户的HDFS目录(如/usr/ tenant 1、/usr/tenant 2)

属于tenant1组的所有用户都可以在hdfs目录(/usr/tenant1 1/username)中写入

我面临的问题是..。假设我以tenant1用户的身份从hive创建了一个表，它创建了表/app/hive/仓库，类似地/app/oozie/data。我当时的想法是，它将在用户的hdfs主目录中创建表，因此只有tenant1用户才能访问它。但它没有发生。

在如何继续我的开发以创建Hadoop生态系统上的多租户方面，我能得到一些帮助吗？

Answer 1

您可以在某种程度上使用多个命名空间来实现以满足您的需求。

我想请您在Namespace上的Apache博客上看看。

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/Federation.html

可以在namenode中实现多个命名空间。

亲切问候安德鲁