日志文件源的复杂事件处理

Question

我想要处理像CEP (复杂事件处理)这样的日志文件，但是CEP打算使用流，而不是日志文件作为源。

是否有类似CEP的工具用于日志文件(带时间戳的批处理数据)源？

或者，在使用现有的CEP工具(或框架)处理日志文件之前，是否应该将其转换为流文件？

我尝试过FlinkCEP，它以某种方式完成了工作，但它似乎不适合复杂的事件模式，或者很难学习如何使用它。复杂事件模式的例子很少。

但是Siddhi呢，它适用于日志文件吗？

BR Esa

Answer 1

Siddhi适用于日志文件，您可以使用siddhi作为embedded mode，也可以通过使用siddhi将siddhi用作服务器。

在这两种情况下都使用Siddhi file source，并在文本映射中使用text mapping来实现这一点。您可以定义开始和结束正则表达式模式来标识每个日志消息，并使用正则表达式提取日志中的每个元素进行处理。这将帮助您将日志转换为流，然后您将能够以流模式处理日志。