输出蜂巢数据增量

Question

我们需要增量地运行HiveQL并将结果导出到avro中的一个文件中，并且需要导出记录。

下面是我所看到的两种方式，以及我在使用它们时所看到的挑战。

选项1:使用Pig和customer加载程序: a.编写一个自定义的猪加载程序，该加载程序运行蜂箱查询incemental。编写一个猪流，并创建一个与蜂箱装载机结果的关系。将结果保存在avro文件中。

选项2. SQOOP导出--我无法以增量方式找到导出单元查询结果的原因。

到目前为止，根据我的分析，我认为选择1将更适合我的需求。

有谁能解释一下，如果你认为我们能很容易地在sqoop获得这一点吗？

Answer 1

Sqoop可以将数据从HDFS目录导出到目标数据库，而不是文件。在这种情况下sqoop不能

1. 读取增量结果，除非您有单独的单元表或分区(这将导致新目录)
2. 以avro格式写入外部文件。