Nifi:从分割的日志流文件中创建一个流文件

Question

我想为nifi处理器创建日志文件，我让它们形成tailFail并逐行拆分文本，然后检查是否是错误、信息或警告日志，并路由到可执行文件处理器，但此时我有5个流文件，我想统一这个拆分的流文件并将其写入一个流文件中，我尝试使用合并内容，但我认为它不适合我的任务。

1. 我还想知道nifi自定义日志是否返回了我在工作流程中添加的所有处理器的日志文件，以及是否在logback.xml中添加了附加程序。
2. 我想知道是否有可能统一分割日志数据？(我也尝试过routeonAttriute，但它对我不起作用)我的工作流程如下所示：

​

Answer 1

在拆分行之后，您可以使用RouteOnContent来检查该行是否匹配regexp。

然后，如果要连接行，可以使用以下脚本。

这只是一个例子：

//get 1000 flow file list from incoming queue but not more then 1000
def ffList = session.get(1000)
if(!ffList)return

ffList.each{ff->
    session.read(ff, {rawIn ->
        //you can write here to a new output flowfile
        //but in this example i will just add content into a plain file on disk
        new File('./logs/warn.log') << rawIn << '\n'
    } as InputStreamCallback)

    session.remove(ff)
}

​

​