如何使用StreamSets解析日志文件的多行记录？

Question

我使用StreamSets解析日志文件，StreamSets逐行解析日志记录的问题是多行，如下所示

00:01:03.930 [WebContainer : 41] Outbound message:
00:01:03.930 [WebContainer : 41] Values to hide NewPassword -- mask -- .+

我尝试了regex和grok模式，但是新的行标记对我不起作用。那么，如何使StreamSets将记录解析为多行呢？

Answer 1

我创建了自定义处理器来解析我的文件。我遵循了本教程，工作得很好，就像我想要https://github.com/streamsets/tutorials/tree/master/tutorial-origin一样

Answer 2

我会尝试使用Javascript评估器(处理器)

并编写以下代码(处理多行代码，并将其视为一条记录)

for(var i = 0; i < records.length; i++) {
  try {
    items = records[i].value['items']

<write your logic here to consider multiple lines >


    }

  } catch (e) {
    // Send record to error
    error.write(records[i], e);
  }
}