首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >集成和单元测试Nifi流程组

问集成和单元测试Nifi流程组
EN

Stack Overflow用户
提问于 2018-08-14 06:42:32
回答 2查看 2.3K关注 0票数 6

我有几个Nifi进程组,在升级到生产环境之前,我想对它们运行集成测试。问题是我似乎找不到任何关于如何做到这一点的文档。

Data Provenance似乎是一个很有前途的工具,可以实现我想要的功能,然而,在流程文件的生命周期中,数据是向kafka或文件系统发布的,或者从kafka或文件系统发布数据。结果,流文件UUID发生了变化,所以我不能使用nifi-api查询它。

此外,我知道Nifi提供了一个TestRunner库来运行测试,然而,这似乎只适用于通过代码生成的处理器/处理器组,而不是UI。

有人知道用于集成和单元测试nifi流程组的工具、框架或模式吗?理想情况下,这将是一种解决方案,您可以在不修改现有工作流的情况下以编程方式比较处理器/处理器组的输入/输出。

EN

回答 2

Stack Overflow用户

发布于 2018-08-14 07:24:23

随着Apache NiFi Registry的引入,我们已经看到用户将流从开发/沙箱环境提升到测试/QE环境,在测试/QE环境中,围绕“被测流”存在现有的“测试工具”流,以便他们可以通过流发送可重复和确定性的(或实际生产数据的匿名样本),并将结果与期望值进行比较。

正如您所指出的,提供了一个用于单元测试的TestRunner类和一个whole testing framework。虽然手动将UI构造的流转换为编程构造可能很困难,但您也可以创建一些类似转换器的东西来接受流模板或flow.xml.gz文件,并将其转换为可由测试框架处理的内容。

票数 2
EN

Stack Overflow用户

发布于 2019-01-11 00:28:40

也许plumber会帮助你进行流测试。

我们还想测试整个NiFi流程,而不仅仅是单个处理器,所以我们创建了这个库,并决定将其开源。Scala中的简单示例:

代码语言:javascript
复制
    // read flow previously exported from NiFi
    val template = TemplateDeserializer.deserialize(this.getClass.getClassLoader.getResourceAsStream("exported-flow.xml"))
    val flow = NifiTemplateFlowFactory(template).create()
    // enqueue some data to any processor
    flow.enqueueByName("csv row,12,another value,true", "CsvParserProcessor")

    // run entire flow once
    flow.run(1)

    // get the results from any processor
    val records = flow.resultsFromProcessorRelation("LastProcessorInFlow","successRelation")
    records should have size 1

此库仍在开发中,因此欢迎改进和想法!:)

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/51831506

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档