如何在NiFi中使用UDF？

Question

我试图对数据进行加密，以便只加密某些列。示例：{col1，col2，col3，col4} => {col1，加密(Col2)，col3，encrypted(col4)}

如果我的加密过程可以通过使用udf来完成，我如何在NiFi中注册和/或使用udf？

在Hive中，可以首先注册udf，例如:使用jar‘hdfs/path/to/jar/abc.jar’将临时函数udf_name创建为'abc.efg.udf_class_name‘；然后执行:从表中选择col1、udf_name(col2)、col3、udf_name(col4)；

在NiFi中，有一个QueryRecord，它允许我对流文件的内容执行select查询。但是，我不知道如何在NiFi中注册udf。

在类似的情况下，是否可以在同一个流文件上在NiFi中执行多个sql命令？

Answer 1

据我所知，Apache不支持NiFi。但是，如果源数据属于NiFi记录读取器/作家API支持的数据类型(即CSV、Avro、JSON等)，则可以使用ConvertRecord处理器。

• 将ConvertRecord处理器配置为Record Reader设置为源数据类型，例如CSVReader并将Record Writer设置为ScriptedRecordSetWriter。
• 然后，必须使用您选择的脚本语言配置ScriptedRecordSetWriter :我猜，Clojure & Groovy在您的情况下会工作。
• 然后提供脚本，以便在Script File或Script Body字段中进行加密。

​

​

​

​

​

​