是否可以将HDFS存储类型/策略与HBase一起使用？

Question

HDFS有一个叫做storage types/policies的功能--它可以将文件存储在具有不同属性的商店中(快速固态硬盘或缓慢但廉价的归档存储)。

我想知道是否可以通过HBase使用此功能？

我的用例是，我有一些数据是“热”的，预计会经常被访问，所以我想把它放在“热”(SSD)存储中，而有些数据是“冷”的，不经常访问，所以我想把它放在一个更便宜的存储上。我正在尝试找出如何使用HBase/HDFS来组织这项工作。

Answer 1

我可以看到，存储策略允许您指定策略on a file or directory，它们是根据特定规则应用的。

我们应该记住，在HBase安装过程中，我们指定了存储数据的HDFS目录，例如：

<property>
   <name>hbase.rootdir</name>
   <value>hdfs://localhost:8030/hbase</value>
</property>

因此，/hbase是一个HDFS目录，您可以在其中指定策略。我们知道HBSE目录结构类似于：

hdfs://hbase/data/MyFirstNamespace/MyTable1
hdfs://hbase/data/MyFirstNamespace/MyTable2

因此，我将在HDFS中设置目录级别的存储策略，例如，针对MyTable1的Cold和针对MyTable2的All_SSD：

hdfs storagepolicies -setStoragePolicy -path /hbase/data/MyFirstNamespace/MyTable1 -policy Cold
hdfs storagepolicies -setStoragePolicy -path /hbase/data/MyFirstNamespace/MyTable2 -policy All_SSD

这需要在创建新的HBase表之后完成。

Answer 2

HBase数据存储在配置了属性hbase.rootdir的路径下的HDFS中(如果HDFS是目标存储)。你可以在hbase-site.xml中找到它的值。然后，您可以对该HDFS路径应用HDFS存储策略。