我试图使用Snappydata 1.0.1从Hadoop (HDP 2.6.3)读取和处理数据。
当指向Hive转移(在Snappydata配置中通过hivesite.xml)时,Snappydata分发版可以读取数据库列表,但不能在Snappydata中创建表。它告诉我们“没有找到表”。此外,Snappydata集群UI显示了该表,但是Snappydata无法进一步使用它--插入、选择、删除使用此表的命令会抛出表中没有找到的错误,然后创建表告诉‘table已经存在’。
没有说明蜂巢转移,它运行良好。
在hivesite.xml中的配置:
<property>
<name>hive.metastore.uris</name>
<value>thrift://srv1.company.org:9083</value>
</property>
此外,我们正在使用智能连接器模式。
这似乎很奇怪--指向Hive亚稳态破坏了Snappydata代码,它与外部Hive完全无关(我们还没有从Hadoop读取或写入)。
有一个假设,即Snappydata与我们的Hive亚稳态版本不兼容,这种不兼容导致了奇怪的行为。有人能澄清这个问题吗?
发布于 2018-07-10 09:11:52
似乎要从Hadoop (Hive,HDFS)读取数据,我们必须在Snappydata中创建完全相同的外部表。例如,在Hadoop中有表A,我们必须在Snappydata中创建具有相同定义和外部关键字的表,以便从Hadoop表A中读取数据。这可以用Snappydata中存在的自元数据存储来解释。
然而,从文档中还不清楚。很遗憾,几乎两个星期没有人回答这个问题了。
https://stackoverflow.com/questions/51066406
复制相似问题