LogQL中的Regexp过滤

Question

我想把Kibana的查询翻译成LogQL：

host:("test1-myservice-*") AND level:ERROR 
AND NOT logger_name:"com.example.ExampleClass" 
AND _exists_:stack_trace 
AND NOT stack_trace:(
    "interrupted"
    OR "Read timed out"
    OR "java.lang.InterruptedException"
)

我在Grafana探索中尝试过以下方法，但它不返回JSON日志消息的任何记录：

{host=~"test1-myservice-.*"} | json 
| logger_name != "com.example.ExampleClass" 
| stack_trace !="" 
| stack_trace =~ ".*InterruptedException.*"

当使用!=而不是=~时，它返回所有记录：

{host=~"test1-myservice-.*"} | json 
| logger_name != "com.example.ExampleClass" 
| stack_trace !="" 
| stack_trace !~ ".*InterruptedException.*"

如果我是对的，以下内容将从文档应用到JSON日志行的stack_trace字段：

字符串类型的工作方式与Prometheus标签匹配器在日志流选择器中使用的完全一样。这意味着您可以使用相同的操作(=，!=，=~，!~)。

来源：标签过滤表达式

以下几点似乎行得通，但似乎有些尴尬：

{host=~"test1-myservice-.*"} | json 
| logger_name != "com.example.ExampleClass" 
| stack_trace !="" 
!~ ".*InterruptedException.*|.*Read timed out.*"
| json

此外，如果我是对的，它将在完整的JSON字符串中搜索InterruptedException和Read timed out子字符串，而不是只搜索它的stack_trace字段。

是否有更多的LogQL方式将上面的Kibana查询转换为LogQL？在这种情况下，!~操作符应该工作吗？

环境: Grafana 7.5.4 / 8.2.3，Loki: 2.4.1

Answer 1

这样做是可行的：

{host=~"test1-myservice-.*"} | json 
| logger_name != "com.example.ExampleClass" 
| stack_trace !="" 
| stack_trace !~ "(?s).*InterruptedException.*"

注意(?s)，它支持与regex .字符匹配的新行。( JSON消息的stack_trace字段通常包含多行。)

在文档的日志流选择器部分中也提到了这一点

注意：=~ regex运算符是完全锚定的，这意味着regex必须与整个字符串(包括换行符)匹配。regex .字符默认不匹配换行符。如果希望regex点字符与换行符匹配，可以使用单行标志，如下所示：(?s)search_term.+匹配search_term\n。

Answer 2

不确定日志行的确切外观，但我认为您不需要提取标签(通过使用| json )

这是一篇关于如何编写查询的非常有用的文章。how-to-create-fast-queries-with-lokis-logql-to-filter-terabytes-of-logs-in-seconds --如果您想使查询更易读，也可以使用新的模式解析器而不是正则表达式。

因此，在不知道日志行的外观的情况下，我认为这应该很好：

{host=~"test1-myservice-.*"}
!= "com.example.ExampleClass" 
!~ ".*InterruptedException.*|.*Read timed out.*"

根据您的需要，您还可以使用我前面提到的模式解析器。