从Python连接到Hbase，并连接happybase / Thrift

Question

我已经安装了5.9.0安装了HBase，并在CentOS 7.3的VirtualBox vm中的端口9090上运行了VirtualBox服务器。

请帮助找出为什么我不能成功地通过快乐基础进行界面，或帮助确定下一步的追求。

我是一个经验丰富的Java程序员，学习Python。我有使用本机接口使用来自Java的Hbase的经验，虽然不是在这个特定的环境中。

• 我已经验证了我可以使用hbase shell创建表、插入数据等等。
• 我已经验证了9090 (节俭)是倾听和接受连接。
• 我想，我已经验证了，Thrift服务器运行的协议/传输设置与喜怒哀乐的连接参数相同。

Python脚本实际上是直接从获得的：

import happybase

connection = happybase.Connection(host='localhost',port=9090,transport='buffered', protocol='compact')

connection.create_table('mytable',
    {'cf1': dict(max_versions=10),
     'cf2': dict(max_versions=1, block_cache_enabled=False),
     'cf3': dict(),  # use defaults
    }
)

错误消息，我找不到很好的参考：

[root@data1 ~]# python testhbase.py
Traceback (most recent call last):
  File "testhbase.py", line 10, in <module> 'cf3': dict(),  # use defaults
  File "build/bdist.linux-x86_64/egg/happybase/connection.py", line 311, in create_table
  File "/usr/lib64/python2.7/site-packages/thriftpy/thrift.py", line 198, in _req return self._recv(_api)
  File "/usr/lib64/python2.7/site-packages/thriftpy/thrift.py", line 210, in _recv fname, mtype, rseqid = self._iprot.read_message_begin()
  File "/usr/lib64/python2.7/site-packages/thriftpy/protocol/compact.py", line 147, in read_message_begin % proto_id)
thriftpy.protocol.exc.TProtocolException: TProtocolException(type=4)
 [root@data1 ~]#

我在端口9095上运行了Thift web服务管理器，它报告：

HBase Version   1.2.0-cdh5.9.0, rUnknown    HBase version and revision
Thrift Impl Type    threadpool  Thrift RPC engine implementation type chosen by this Thrift server
Compact Protocol    true    Thrift RPC engine uses compact protocol
Framed Transport    false   Thrift RPC engine uses framed transport

任何帮助都是非常感谢的。谢谢。

Answer 1

我想您不是在使用支持的节俭守护进程版本。

您确定使用了具有正确协议和传输的节俭1(而不是thrift2)守护进程吗？

Answer 2

幸福基础只支持Thrift1。

对于使用Thrift2支持hbase的python，请尝试如下：https://github.com/apache/hbase/blob/master/hbase-examples/src/main/python/thrift2/DemoClient.py

Answer 3

我也遇到了同样的问题，在花了40+几个小时之后，我发现在Cloudera中：

settings->network->advance->port forwarding

您需要添加新的端口9090和9095(可选)以使其工作。

由于某些原因，在Cloudera映像中默认没有添加此端口。