使用Apache从mysql导入数据到Hive/hdfs

Question

我试图使用Nifi将数据从mysql导入到hdfs/hive，但遇到了一些挑战。请给我建议。

1. QueryDatabaseTable --mysql数据
2. ConvertAvroToJson --输出

[{"emp_id": 467260, "emp_name": "Rob", "emp_age": 32},
{"emp_id": 467261, "emp_name": "Vijay", "emp_age": 32},
{"emp_id": 467258, "emp_name": "Jayaprakash", "emp_age": 26},
{"emp_id": 467259, "emp_name": "Kalyan", "emp_age": 32},
{"emp_id": 467262, "emp_name": "Andy", "emp_age": 20},
{"emp_id": 467263, "emp_name": "Ashley", "emp_age": 24},
{"emp_id": 467264, "emp_name": "Mounika", "emp_age": 24}]

1. 拆分json --如何将json文件拆分为单个流文件

Answer 1

正如James所说，在SplitJson中，您可能需要is $，或者您可以尝试$.*

作为另一种选择，您可以尝试QueryDatabaseTable -> SplitAvro -> ConvertAvroToJson，这将首先拆分Avro记录，而不是将整个集转换为JSON，然后拆分JSON。

在ApacheHDF1.0.0中，将有一个允许您直接转换为NiFi的ConvertAvroToORC处理器，然后您可以使用PutHDFS和PutHiveQL (在NiFi 0.7.0和1.0.0中)将文件传输到HDFS，并在目标目录上创建一个Hive表，以便为查询数据做好准备。

Answer 2

我认为拆分这些记录的JsonPath表达式只是$，因为记录数组是根对象。