我有几个Nifi进程组,在升级到生产环境之前,我想对它们运行集成测试。问题是我似乎找不到任何关于如何做到这一点的文档。
Data Provenance似乎是一个很有前途的工具,可以实现我想要的功能,然而,在流程文件的生命周期中,数据是向kafka或文件系统发布的,或者从kafka或文件系统发布数据。结果,流文件UUID发生了变化,所以我不能使用nifi-api查询它。
此外,我知道Nifi提供了一个TestRunner库来运行测试,然而,这似乎只适用于通过代码生成的处理器/处理器组,而不是UI。
有人知道用于集成和单元测试nifi流程组的工具、框架或模式吗?理想情况下,这将是一种解决方案,您可以在不修改现有工作流的情况下以编程方式比较处理器/处理器组的输入/输出。
发布于 2018-08-14 07:24:23
随着Apache NiFi Registry的引入,我们已经看到用户将流从开发/沙箱环境提升到测试/QE环境,在测试/QE环境中,围绕“被测流”存在现有的“测试工具”流,以便他们可以通过流发送可重复和确定性的(或实际生产数据的匿名样本),并将结果与期望值进行比较。
正如您所指出的,提供了一个用于单元测试的TestRunner类和一个whole testing framework。虽然手动将UI构造的流转换为编程构造可能很困难,但您也可以创建一些类似转换器的东西来接受流模板或flow.xml.gz文件,并将其转换为可由测试框架处理的内容。
发布于 2019-01-11 00:28:40
也许plumber会帮助你进行流测试。
我们还想测试整个NiFi流程,而不仅仅是单个处理器,所以我们创建了这个库,并决定将其开源。Scala中的简单示例:
// read flow previously exported from NiFi
val template = TemplateDeserializer.deserialize(this.getClass.getClassLoader.getResourceAsStream("exported-flow.xml"))
val flow = NifiTemplateFlowFactory(template).create()
// enqueue some data to any processor
flow.enqueueByName("csv row,12,another value,true", "CsvParserProcessor")
// run entire flow once
flow.run(1)
// get the results from any processor
val records = flow.resultsFromProcessorRelation("LastProcessorInFlow","successRelation")
records should have size 1此库仍在开发中,因此欢迎改进和想法!:)
https://stackoverflow.com/questions/51831506
复制相似问题