- 综合排序
- 最热优先
- 最新优先
- 来自专栏k8s技术圈
Loki 查询语言 LogQL 使用
前面我们在学习到使用 Loki 的 Ruler 进行报警的时候，使用了一种查询语言来定义报警规则，这个就是受 PromQL 的启发，Loki 自己推出的查询语言，称为 LogQL，它就像一个分布式的 log stream selector 由于 Loki 的设计，所有 LogQL 查询必须包含一个日志流选择器。 其中标签名后面的 = 运算符是一个标签匹配运算符，LogQL 中一共支持以下几种标签匹配运算符： =: 完全匹配 !=: 不相等 =~: 正则表达式匹配 ! LogQL 支持从查询输入中自动推断出的多种值类型： String（字符串）用双引号或反引号引起来，例如"200"或`us-central1`。 显然 LogQL 中的数学运算是面向区间向量操作的，LogQL 中的支持的二进制运算符如下： +：加法 -：减法 *：乘法 /：除法 %：求模 ^：求幂 比如我们要找到某个业务日志里面的错误率，就可以按照如下方式计算
8.7K31发布于 2021-06-25 - 来自专栏Loki
LogQL如何转义特殊字符
在本篇中，我将介绍如何在Loki的LogQL中正确转义字符串中的特殊字符。 在编写LogQL查询时，可能已经意识到，我们必须在多个地方编写用双引号分隔的字符串。 例如，下面这条查询语句 {namespace="loki-ops",container="query-frontend"} |= """ Logql将返回解析错误，因为Loki认为没有关闭双引号字符串
3.8K20发布于 2021-05-13 - 来自专栏云原生应用工坊
Observable Platform 5：PromQL, LogQL and TraceQL
LogQL : LogQL是用于查询和分析日志数据的查询语言，通常与日志聚合工具（如Grafana Loki）一起使用。LogQL允许用户过滤、聚合和分析日志事件，用于故障排除、异常检测和安全监控。 历史在PromQL、LogQL和TraceQL之前，业界在查询和分析监控指标、日志和链路时使用了不同的方法和工具。 LogQL 历史: LogQL由Grafana Loki团队开发，并于2018年首次发布。它是为了满足日志数据查询和分析的需求而设计的，并在开源社区中得到广泛接受。 LogQL 常用语句和语法:LogQL常用的语句包括基本查询、关键字过滤、时间范围、聚合和正则表达式匹配。 文档出处:PromQL官方文档 (英文): Prometheus Query Language (PromQL)LogQL官方文档 (英文): LogQL - Log Query LanguageTraceQL
65710编辑于 2023-12-20 - 来自专栏MoeLove
五分钟了解LogQL用法
受PromQL的启发，Loki也有自己的LogQL查询语句。根据官方的说法，它就像一个分布式的grep日志聚合查看器。 LogQL的表达式就是干这个的。当前，过滤的表达式主要支持如下4种： |=：日志行包含的字符串 !=：日志行不包含的字符串 |~：日志行匹配正则表达式 ! = "timeout" 日志度量 LogQL同样支持通过函数方式将日志流进行度量，通常我们可以用它来计算消息的错误率或者排序一段时间内的应用日志输出Top N。 显然LogQL中的数学运算还是面向区间向量操作的。 里面集合运算的案例，暂且跳过 比较运算 LogQL支持的比较运算符合PromQL一样，均为以下内容： ==：等于 !
4.9K10发布于 2020-11-03 - 来自专栏Loki
如何在Loki中使用LogQL做聚合查询
q-header-list=&q-url-param-list=&q-signature=aa16545d966bd8eb9e3874fc403f9c5fdbfc4e98] 自从Loki2.0发布以来，LogQL 对于有些时候，当研发的同学没有提供Metrics时，我们也能利用LogQL构建基于日志的相关指标，这里面就主要用到了聚合查询。 response_status) ( rate({container="ingress-nginx",service="hosted-grafana”} | json | __error__=""[1m]) ) 我们可以看到，LogQL 总结 Loki的范围向量操作对于计算日志量来说是非常好用的，我们通过LogQL的解析器和样本表达式，可以很快的从日志中提取出一套新的度量指标，我们甚至不需要改变代码就能看到系统当前的运行情况。
5.4K30发布于 2021-01-15 - 来自专栏Loki
如何在Lok中使用LogQL做聚合查询
自从Loki2.0发布以来，LogQL v2凭借丰富的查询功能，让Loki也逐渐具备日志分析的能力。 对于有些时候，当研发的同学没有提供Metrics时，我们也能利用LogQL构建基于日志的相关指标，这里面就主要用到了聚合查询。 response_status) ( rate({container="ingress-nginx",service="hosted-grafana”} | json | __error__=""[1m]) ) 我们可以看到，LogQL 总结 Loki的范围向量操作对于计算日志量来说是非常好用的，我们通过LogQL的解析器和样本表达式，可以很快的从日志中提取出一套新的度量指标，我们甚至不需要改变代码就能看到系统当前的运行情况。
1.8K20发布于 2021-05-13 - 来自专栏Loki
Loki迎来2.0重大更新，LogQL语法大幅增强！
LogQL语法大增强 本次LogQL已经将原先的filter expression更换为log pipeline，进一步增强了日志查询期间的管道功能，新的log pipeline包含了几大表达器。 关于regexp解析器，这个比较复杂，需要自己按照正则语法从日志里面提取内容，例如这条语句 #日志内容 POST /api/prom/api/v1/query_range (200) 1.5s # LogQL 行格式化表达式 主要用于重新格式化日志的输出行 标签格式化表达式主要用于日志标签的增删改查 举个例子： 我们可以通过这条LogQL语句格式化成一个标准的模板输出： {cluster="ops-tools1 简单来说，以前LogQl这部分只能对日志行进行聚合查询，现在也能对日志内容做聚合查询了。 虽然Loki不如ElasticSearch那样可以对日志单独做索引，但是借助LogQL V2的的日志管道表达式可以弥补相当大一部分索引功能。
2.2K10发布于 2021-05-13 - 来自专栏Loki
如何用LogQL在几秒内查询TB级的日志
LogQL在很大程度上受Prometheus的PromQL启发。但是，当涉及到在过滤海量日志时，我们就像面临在大海捞针一样复杂。 LogQL是Loki特有的语句，在本文中，我们将提供LogQL的快速过滤器查询技巧，这些查询可以在几秒钟内过滤掉数TB的数据。 在Loki中，我们可以使用三种类型的过滤器： ?
1K20发布于 2021-05-13 - 来自专栏Loki
如何用LogQL在几秒内快速查询TB级的日志
1610072294;1610079494&q-header-list=&q-url-param-list=&q-signature=c2183f6b9da6ee929eed9dc690e8676ac13d8a27] LogQL LogQL是Loki特有的语句，在本文中，我们将提供LogQL的快速过滤器查询技巧，这些查询可以在几秒钟内过滤掉数TB的数据。
2.3K40发布于 2021-01-08 - 来自专栏Loki
如何用Loki来绘制Ingress Nginx监控大屏
在视频里，我们看到基于LogQL V2语法为Nginx日志分析提供了一个新的思路。这个demo我们可以通过官网的Dashboard中找到。 你也完全可以按照官方提供的日志json格式来配置ingress-nginx 调整LogQL V2查询语句 编辑一个Panel，将原本LogQL语句中的filename=/var/log/nginx/json_access.log 总结 如果你对LogQL V2语法不太了解的情况下，建议开始前先仔细阅读官网文档logql[3]，它会非常帮助你理解其精髓之处，或者你也可以参考我之前的一篇文章《Loki迎来2.0重大更新，LogQL 总之，LogQL查询语句给当下Loki系统带来了非常灵活的运用，不过用Loki日志来做度量并不是社区本意，大家切勿本末倒置。 : https://grafana.com/docs/loki/latest/logql/
2.1K30发布于 2021-05-13 - 来自专栏东风微鸣技术博客
Grafana系列-Loki-基于日志实现告警
查询 Loki 日志查询语言 (LogQL) 是一种查询语言，用于从 Loki 中检索日志。 LogQL 与 Prometheus 非常相似，但有一些重要的区别。 LogQL 快速上手 所有 LogQL 查询都包含日志流选择器(log stream selector)。 Grafana UI 对于 LogQL 的支持比较好, 有完善的提示/帮助和指南, 以及非常适合不了解 LogQL 语法的 Builder 模式及 Explain 功能. 读者上手的时候不要被前面大段大段的 LogQL 和 YAML 吓到, 可以直接使用 Grafana 构造自己想要的基于日志的查询和告警. 最后, 一定要结合 Grafana UI 进行 LogQL 的使用, 这样可以更加方便地进行 LogQL 的编写和调试. 希望本文对大家有所帮助. ️
1.6K10编辑于 2023-12-13 - 来自专栏伪架构师
依葫芦画瓢，我用Loki画了个Traefik的面板
前段时间在Loki2.0发布时，更新了一个配套的用LogQL语法绘制Nginx监控面板的Demo。今天小白准备用同样的手法炮制一个基于Traefik日志的监控面板。 所以我们还是将日志格式改为json，方便logql解析。 别急，空白的原因是logql没有查询到合适日志，我们需要修改每个panel的查询语句，让他定位到合适的日志。 总结 Traefik的面板仅仅只是依葫芦画瓢的抄袭了官方的Nginx面板，不过在"抄袭"的过程中也能学习到几个LogQL的重要语句的使用场景。 / (sum(rate({job="xxx"} |~ "RequestProtocol" | json | __error__=""[$__interval])) / 100) 可以看到，LogQL
1.1K20发布于 2021-01-29 - 来自专栏码匠的流水账
聊聊loki的Query
序 本文主要研究一下loki的Query kubecon2019_tomkeynote_correlation.png Query loki/pkg/logql/engine.go // Query is a LogQL query to be executed. type Query interface { // Exec processes the query. Statistics stats.Result } Query接口定义了Exec方法，返回Result；Result定义了Data、Statistics属性 Exec loki/pkg/logql data, Statistics: statResult, }, err } Exec方法执行q.Eval(ctx)及stats.Snapshot Eval loki/pkg/logql 的类型做不同处理，如果是SampleExpr类型执行q.evalSample；如果是LogSelectorExpr类型则执行q.evaluator.Iterator Snapshot loki/pkg/logql
59500发布于 2021-01-28 - 来自专栏Loki
依葫芦画瓢，我用Loki画了个Traefik的面板
前段时间在Loki2.0发布时，更新了一个配套的用LogQL语法绘制Nginx监控面板的Demo。今天小白准备用同样的手法炮制一个基于Traefik日志的监控面板。 所以我们还是将日志格式改为json，方便logql解析。 1611032485&q-header-list=&q-url-param-list=&q-signature=05af1f1ac9b9950022c342528181e9dd04e20c7f] 别急，空白的原因是logql q-signature=a806555fc98b2f44c39c55f043ad893bdba7da3d] 总结 Traefik的面板仅仅只是依葫芦画瓢的抄袭了官方的Nginx面板，不过在"抄袭"的过程中也能学习到几个LogQL / (sum(rate({job="xxx"} |~ "RequestProtocol" | json | __error__=""[$__interval])) / 100) 可以看到，LogQL
1.1K20发布于 2021-01-19 - 来自专栏云原生应用工坊
多集群运维(三)：应用系统的多维监控方法论
监控分析 在应用监控领域，社区设计了如PromQL、LogQL、TraceQL等专用查询语言，主要是为了解决特定的监控数据查询和分析需求。 LogQL (Log Query Language) 用途：LogQL 是 Loki 的日志查询语言，用于查询和分析日志数据。 设计原因：针对日志数据：考虑到日志数据的多样性和复杂性，LogQL 提供了一种有效的方式来过滤、分析和聚合日志信息。 简化日志分析：LogQL 允许用户以类似于PromQL的方式查询日志，使得用户能够使用熟悉的语法进行复杂的日志分析。 LogQL 示例：{app="myapp"} |= "error" 这个查询用于查找标签为 app="myapp" 的日志流中包含 "error" 的日志行。
40510编辑于 2024-01-27 - 来自专栏码匠的流水账
聊聊loki的Query
序 本文主要研究一下loki的Query Query loki/pkg/logql/engine.go // Query is a LogQL query to be executed. type Query promql_parser.Value Statistics stats.Result } Query接口定义了Exec方法，返回Result；Result定义了Data、Statistics属性 Exec loki/pkg/logql data, Statistics: statResult, }, err } Exec方法执行q.Eval(ctx)及stats.Snapshot Eval loki/pkg/logql 的类型做不同处理，如果是SampleExpr类型执行q.evalSample；如果是LogSelectorExpr类型则执行q.evaluator.Iterator Snapshot loki/pkg/logql
52820发布于 2021-02-08 - 来自专栏Loki
Loki告警日志内容的骚方法
很多小伙伴在用Loki的Ruler配置日志告警规则时都会有一个大胆的想法： “ 要是能把日志内容告出来该多好 ” 在LogQL V1的时代，受限于简单的日志过滤解释器影响，我们往往只能通过简单的聚合函数将日志转化成区间向量加以告警 经过小白的测试，当下我们通过LogQL V2的语法还真可以解决这个问题。 1. 主要思路 LogQL v2[1]的主要更新点在于将以往的log-filter换成了log-pipeline。 logfmt格式 logfmt[2]格式的日志是一个可阅读性较好的结构化格式，LogQL V2的解释器能够直接提取logfmt的日志，下列我们以docker的日志为例子,我们要将error级别中关于OCI 在LogQL中json解释器的用法和logfmt一样，小白转化一下大家自然明白： 日志格式 {"time":"2020-12-17T04:09:13.227200674+08:00","level":" 参考资料 [1]LogQL语法: https://grafana.com/docs/loki/latest/logql [2]logfmt: https://brandur.org/logfmt [3]
3.8K30发布于 2021-05-13 - 来自专栏k8s技术圈
使用 Loki 进行日志报警(二)
Alertmanager 的地址，规则存储方式等，然后通过 loki.alerting_groups 配置了报警规则，Loki 的 rulers 规则和结构与 Prometheus 是完全兼容，唯一的区别在于查询语句（LogQL ）不同，在Loki中我们用 LogQL 来查询日志，一个典型的 rules 配置文件如下所示： groups: # 组名称 - name: xxxx rules: # Alert 名称 - alert: xxxx # logQL查询语句 expr: xxxx # 产生告警的持续时间 pending rate({app="nginx"}[1m])) by (job) > 0.01 表示通过日志查到 nginx 日志的错误率大于1%就触发告警，同样重新使用上面的 values 文件更新 Loki： logql
4.8K20发布于 2021-06-25 - 来自专栏gopher云原生
Loki & Promtail 详解
LogQL：Loki 提供的日志查询语言，类似 Prometheus 的 PromQL，而且 Loki 支持 LogQL 查询直接转换为 Prometheus 指标。 将 LogQL 查询转换为 Prometheus 指标。 可以通过 Grafana 自带的 Alert rules & notifications，定义有关 LogQL 指标的报警，推送到 Notification channels（ Prometheus Alertmanager 以下主要介绍 LogQL 转化为 Prometheus 指标的方式实现告警。 首先，在 Grafana 添加 Prometheus 数据源，URL 只需要填入 http://loki-ip:3100/loki 即可将 LogQL 查询转换为 Prometheus 指标。
16.7K82发布于 2021-10-18 - 来自专栏Loki
Loki告警的正确姿势
在Loki中我们用logQL来查询日志指标。 配置说明如下： groups: # 组名称 - name: <string> rules: # Alert名称 - alert: <string> # logQL 下面这个就是某大佬利用nginx日志和logQL做的监控和告警大盘，简直不要太炫酷。 ? ? 这部分查询会在接下来的LogQL v2语法中实现。
4.2K10发布于 2021-05-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号