ibis ImpalaTable to pyspark dataframe

Question

在我的例子中，我需要加载黑斑羚数据来触发(Pyspark)。因为我想使用spark的FPGrowth。

数据是用库杜写的，是由黑斑羚制作的。直接与kudu相连的火花被相关部门拒绝。我也未能与cloudera公司生产的黑斑马jdbc连接。

所以我最后的选择是

1. 使用ibis (https://github.com/ibis-project/ibis)加载数据
2. 将ImpalaTable转换为spark的Dataframe

但我找不到办法。

我想错了吗？

Answer 1

以前，这边请不是为我工作的。

我可以获得表的架构，但由于超时而无法查询。

我终于发现了一个问题。我的问题由防火墙引起。

我只打开主节点的端口，但是我需要打开数据节点的端口.

现在一切都好了。