用Hbase表在spark上运行Hive表视图映射问题: java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.laz

Question

我试图访问Hbase表，通过映射它从蜂箱通过火花引擎。

来自蜂巢：

当我在用Hbase映射的Hive视图上运行查询时，我可以得到所有想要的结果。

来自斯派克：

当我运行查询从hive表中提取时，我可以得到它，但是当我对hbase映射的hive表执行同样的操作时，我会得到以下错误。

Error: java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams(Lorg/apache/hadoop/conf/Configuration;Ljava/util/Properties;Ljava/lang/String;)Lorg/apache/hadoop/hive/serde2/lazy/LazySimpleSerDe$SerDeParameters; (state=,code=0)

我想知道是否有可能通过火花，因为我没有从互联网上找到任何解决方案。

从上面的错误我可以看出这是一些jar问题，这种方法存在于hive-serde jar和hive-exec jar中，但是尝试了所有可能的选择，但都无法成功。

有人能帮上忙吗。

注意:我在这里的主要目的是检查性能，因为它在蜂箱和猪身上花费了大量的时间。

Answer 1

我不知道你用的是哪种版本的软件，hbase和spark .

似乎是版本错配的问题.

Spark 1.3.1 uses Hive 0.13 API, while Spark 1.5.1 uses Hive 1.2, hbase serde that comes with hive 2.3 is not compatible with Hive 0.13 API. I tried with old Serde for Hive 0.13, but there are lots of conflicts with Hbase API versions.

• 根据您的需要，您可以尝试Spark+Hbase本地集成而不是Hive-Hbase Serde。
• 或者你可以使用正确的兼容版本的蜂巢。

同时，看看https://issues.apache.org/jira/browse/HIVE-12406也可以是同样的问题..。