Flink 1.1.3与Hive 2.1.0交互

Question

不好意思给您带来不便，但我在“医生”或“互联网”上没有找到答案。

我有一个平台，上面有：

• Hadoop 2.7.3
• 蜂箱2.1.0
• Hbase 1.2.4
• 火花1.6

我已经集成了Flink 1.1.3在本地模式和纱线模式上使用它。

我有兴趣使用带有Hive的Flink (如hiveContext和Spark)来读取shell中的数据，有可能吗？怎么做呢？

致以问候。

Answer 1

Flink不支持与Hive的直接连接，因为SQL上下文支持它。但是有一种简单的方法可以使用Flink表API来分析Flink中的表格中的数据。

您需要做的是首先获得您希望分析的Hive表的确切HDFS位置。

hdfs://app/hive/warehouse/mydb/mytable

然后读取数据

DataSet<Record> csvInput = env
            .readCsvFile("hdfs://app/hive/warehouse/mydb/mytable/data.csv")
            .pojoType(MyClass.class, "col1", "col2", "col3");

然后，您需要从DataSet创建一个表，然后将它注册到TableEnvironment中。

Table mytable = tableEnv.fromDataSet(csvInput);
tableEnv.registerTable("mytable", mytable );

现在，您可以使用table语法查询这个表了。

下面是示例代码的链接。

希望这能有所帮助。

Answer 2

从Flink 1.9.0，我们正式支持Flink与蜂巢。https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/

你还在考虑这个选择吗？