以s3为数据存储方式的HBase文件夹结构

Question

我使用HBase和Phoenix设置了一个电子病历集群，用于批量加载数据。指定的存储模式为s3。我想知道区域和柱族在根文件夹的s3中的什么位置？另外，批量加载完成后，S3根文件夹的一般结构是什么？有人能帮我这个忙吗。

Answer 1

在常规设置中(当您的HBase数据在HDFS中时)，您应该会在用于HBase的HDFS中看到以下目录结构：

/hbase/data/default/TableName/RegionID/ColumFamily

这是假设您的表没有名称空间(否则，名称空间应该在那里，而不是'default')。

因此，在/ HBase /data/default中应该有许多文件夹，每个文件夹都对应于HBase中的表。

在每个TableName文件夹中，您应该有多个文件夹，每个文件夹对应于该表中的一个区域。(地域ID通常是这样的长ID: 49920919fc726446ec73c111a99f00f0)

然后，在每个region子文件夹中，您应该有一个与柱族相对应的文件夹。

最后，在该文件夹中，您将看到实际的HFile (刷新数据后)。

我怀疑当你的HBase数据在S3而不是HDFS中时，这应该有什么不同，但我自己从来没有使用过S3。只需浏览上面的文件夹结构即可。