如何将Hbase表导出到MySql表

Question

我正在尝试使用sqoop将Hbase表导出到mysql表。

以下是我的查询：

> sqoop-export 
> --connect jdbc:mysql://mysqlserver_ip:3306/mysqldb 
> --username user 
> --password pwd 
> --table mysqltbl 
> --update-key empid 
> --export-dir hostname:60030/hbase/tblfromhbase

其中主机名:60030是我的Hbase根dir路径和端口。

我犯的错误是

> 1) ERROR security.UserGroupInformation: PriviledgedActionException
> as:hbase (auth:SIMPLE) cause:java.io.IOException:Failed on local
> exception: com.google.protobuf.InvalidProtocolBufferException:Protocol
> message end-group tag did not match expected tag.; Host Details :
> local host is: "hostname/ip";destination host is: "hostname":60030;
> 
> 2) ERROR tool.ExportTool: Encountered IOException running export job:
> java.io.IOException: Failed on local exception:
> com.google.protobuf.InvalidProtocolBufferException:Protocol message
> end-group tag did not match expected tag.; Host Details :local host
> is: "hostname/ip"; destination host is: "hostname":60030;

提前谢谢。

Answer 1

恐怕目前Sqoop不支持直接从HBase出口。您可以首先使用mapreduce将数据从HDFS导出到普通文件，然后调用Sqoop将数据导出到MySQL。

您可以在有疑问的12911042中找到其他信息。

Answer 2

使用sqoop将mysql表导出到hbase非常方便，但将hbase表导出到mysql并不方便。这是一个间接的方法。将hbase表导出到hive，创建hive表，然后转储到sql文件，然后导入到mysql。查看一下：http://blog.csdn.net/zreodown/article/details/8850172