自动部署NIFI模板

Question

我是nifi的新手，正在尝试理解(因为它看起来像是基于GUI的)是否有一种方法可以在Nifi上自动扩展和缩小，以及如何将xml Nifi模板部署到集群中。

本质上，我们试图做的是使用Nifi从kafka服务器收集JMX和日志文件，当它们以自动方式出现时，因此日志和JMX计数器开始流动到，比如说和Elasticsearch集群。

例如，现在我们已经使用Ansible自动化了kafka服务器的部署，所以我们希望在集群部署的同时配置和部署Nifi xml teamplates，这样就不需要手动干预来收集kafka jmx计数器和日志文件。

如何在Nifi中实现自动化？

Answer 1

有许多工具和技术可用于自动部署模板，包括：

• curl，请参见SO: Post a NIFI template via REST? - most basic API template -执行模板部署和一些迁移
  • -执行进程组迁移。

困难的部分是从现有流迁移到新的流，特别是在现有流可能具有排队的流文件，并且起源历史引用现有流的情况下。但是，如果您自动化了整个NiFi集群的部署，并将模板部署到一个空画布上，那么这可能不是问题。

您可以在Configuration Management of Flows中阅读所涉及的问题和未来计划的完整处理。

Answer 2

对于自动化NIFI模板部署，有一个运行良好的工具：https://github.com/hermannpencole/nifi-config

• 准备您的nifi开发

1. Create a template on nifi  
2. and download it 
3. Extract a sample configuration with the tools

​

• Deploy it on production
  1. 使用工具取消部署旧版本
  2. 使用工具部署模板
  3. 使用update更新生产配置

​

Answer 3

基本上，您需要将下载的模板导入到目标生产实例；您可以使用nifi-rest-api。

创建nifi模板并手动下载到文件夹后，您应该使用脚本或工具将模板导入到目标nifi实例，并在导入后更改一些设置。

以下是您可以使用的一些工具：

1. this 是一个基于脚本的项目，用于部署。
2. this one是基于java的

如果不能满足您的需求，您可以创建一个与上述工具类似的工具。您可以在所有步骤中使用nifi-rest-api。部署步骤应如下所示：

template

• Delete数据流获取现有模板(获取现有模板(与您的模板同名的模板)

• 删除相关控制器服务(数据库连接池、Http Context)

• Upload您的template

• Delete数据流由您的模板创建的before

• Create数据流从新更新的template

中删除数据流

也许在导入过程中存在更多的子步骤，而不需要您的模板和数据流属性。所有步骤都有一个rest-api服务调用，您可以在上面的第一个链接中找到。