Hive-Hbase集成

Question

我正在尝试将Hive和Hbase整合在一起。为此，我浏览了cwiki和其他几个博客和帖子，但我无法做到这一点。我正在使用Hive-0.7.0和Hbase-0.90.4。有人能为我提供一些关于这样做的最低(和必须)要求的信息吗？为了同时使用Hive和Hbase，我是否需要一个完全分布式的Hbase设置？当我在独立模式下尝试它时，我能够添加hive-hbase处理程序，但不能超过这一点。

Answer 1

你得到了什么样的错误？你到底安装了什么？配置非常困难(对于没有经验的人来说)。

我推荐你叫"Cloudera“它是一个包含HBase Hive的Hadoop发行版。您可以在一台机器上进行快速安装(伪模式)。一切都是自动配置的(HBase蜂巢、Zookepper等等)，你唯一需要的就是RedHat或CentOS。

"MapR“是另一种选择。

Answer 2

您没有指定错误。但我能从你的问题中得到的是：

“hbase因为你已经下载了Hbase版本Hbase-0.90.4下载与hive -0.9.0相同范围的Hive版本”它会工作的很好。

对于配置单元hbase集成，请检查附加的此jar文件

bin/hive --auxpath /hadoop/hive-0.9.0/lib/**hive-hbase-handler-0.9.0.jar，/hadoop/hive-0.9.0/lib/hbase-0.92.0.jar，/hadoop/hive-0.9.0/lib/zookeeper-3.3.4.jar，/hadoop/hive-0.9.0/lib/**guava-r09.jar -hiveconf hbase.master=localhost:25000

/hadoop/ hive -0.9.0/lib/定义您的配置单元所在位置的通知，这可能会根据您的位置方案。

Rest all是配置所需的jars。

运行成功后，可以创建表检查是否正常使用创建'org.apache.hadoop.hive.hbase.HBaseStorageHandler‘存储的表demo_hTable ("hbase.columns.mapping“= ":key，cf1:val") TBLPROPERTIES ("hbase.table.name”= "demo_table_one")；

在运行此命令之前，此demo_table_one必须驻留在Hbase中。

Answer 3

如果您已经安装了Hbase-0.90.4和hive 11，那么它应该可以正常工作。您可以尝试使用以下命令在hive中创建表，并通过hbase进行映射：

在配置单元CLI中：

用SERDEPROPERTIES ("hbase.columns.mapping“=”key“，cf1: name，cf1: age，cf2: desig，cf2: city ") TBLPROPERTIES ("hbase.table.name”=“xyz”)创建'org.apache.hadoop.hive.hbase.HBaseStorageHandler‘存储的表default.hbase_hive_tbl(id int，name字符串，age int，desig字符串，city字符串)；

在这里，hbase_hive_tbl是在配置单元中创建的，并与hbase表XYZ映射。在任何表中都可以看到加载到hbase或配置单元中的数据。

我想它可以解决你的问题。如果需要更多的许可，请让我们知道。