自定义kylo中的数据吸收模板

Question

我正在尝试使用配置文件自定义kylo中可用的标准数据摄取模板。我在kylo/conf目录中的application.properties文件中添加了字段名nifi.getfile.business_line1=Test。当我试图在处理器${ business_line1 }中使用nifi表达式时，它将抛出为“business_line1未找到”。

或者，还有其他方法来提供自定义标准数据吗？

有人能给我一个解决办法吗..。

Answer 1

使用您的示例，Kylo将在创建提要时查找所有GetFile处理器，并将“business_line1”属性替换为“Test”值。但是，GetFile处理器不允许自定义属性，您将得到类似于以下内容的错误消息：

“business_line1”对“测试”进行验证无效，因为“business_line1”不是受支持的属性

有几种方法可以解决这个问题：

1. 如果您想使用NiFi表达式，那么您将需要创建一个UpdateAttribute处理器并在那里添加'business_line1‘属性。任何后续处理器都可以以${business_line1}的形式访问该值。
2. 如果希望所有GetFile处理器对属性具有相同的值，可以在Kylo的application.properties中设置以下属性：nifi.getfile.file_filter=Test

Kylo文档将详细介绍如何使用变量替换：http://kylo.readthedocs.io/en/latest/how-to-guides/ConfigurationProperties.html。

在NiFi中，可以使用NiFi表达式语言访问流文件属性：https://nifi.apache.org/docs/nifi-docs/html/expression-language-guide.html