- 综合排序
- 最热优先
- 最新优先
- 来自专栏大猪的笔记
检索日志
有时需要在大量日志中查找某个关键字。可用以下命令： find . -name "86??" |xargs grep -rn "get_web not hit cache" 从日志命名为 86xx的文件中搜索它的行号和文件名。 就是这么开心。
80240发布于 2019-11-22 - 来自专栏日志服务CLS
【日志服务CLS】Nginx 访问日志检索、分析示例
0x01.前言 看到小编鼓励作者写连载，趁着截稿日期延长并且还有Apple Watch大奖的诱惑就又有动力再肝一篇出来了 2333…… 0x02.再看日志检索 想要检索自然需要提前知道都有哪些字段，这里针对所有的键依次进行说明 字段名称 字段含义 1 remote_addr 客户端 IP 地址 2 remote_user 客户端名称 3 time_local 服务器本地时间 4 request_method HTTP 请求方法 5 4XX状态码的日志 status:[400 TO 500} image.png 4，键值模糊搜索 举个例子，检索UA中含有baidu的日志 http_user_agent : *baidu* image.png 5，etc... ，Nginx 访问日志分析案例 尝试第一个 SQL 分析示例，但是没有成功检索 带宽曲线图 * | select HISTOGRAM(CAST(msec*1000 AS TIMESTAMP), INTERVAL
1.4K21发布于 2021-05-22 - 来自专栏无量测试之道
大规模服务异常日志检索
root@ bin # more check_log.sh #检查一个目录下所有指定日志文件中的报错日志脚本 #! /usr/bin/env bash #是对shell的声明 base="/home/project" #定义一个变量，用于指定扫描日志的目录 while [[ 1 ]]; do #shell result=`grep -C10 base/name/logs/catalina.out | grep -vE "DEBUG|skywalking|10.8.0.37:8800" | grep -C5 -E "Exception|ERROR"` # 获取catalina.out 文件中报Exception|ERROR的日志，过滤掉DEBUG|skywalking|10.8.0.37:8800这三类信息
1.1K10编辑于 2022-07-04 - 来自专栏小明说Java
ES Serverless让日志检索更加便捷
在软件开发过程中，开发人员会在代码中添加日志记录，以记录程序的运行情况和异常信息。当程序出现问题时，就可以通过日志检索来定位。所以搭建一个高性能日志系统或者便捷查询的日志系统是十分重要的。 本文主要是讲解腾讯云大数据 ES Serverless，在日志检索的使用，并且通过案例说明ES Serverless如何做到开箱即用，0部署的，使得日志检索跟便携，对于ES小白也能得心应手。 Elasticsearch Service索引创建产品开通成功之后，进入首页，在左边菜单点击，日志分析在进行日志检索之前，需要先创建索引，在日志分析中，创建空索引，比如要检索商品，可以创建索引：product Elasticsearch Service日志检索上述是基本体验ES Serverless检索功能，ES Serverless也是在我们检索过程中会把日志记录收集起来，可以在ES Serverless控制台中日志分析进行查看了 全局日志检索在ES Serverless控制台中日志分析，进入索引，点击检索分析，就可以看到，刚刚在kibana检索的数据日志了条件日志检索重要，可以进行日期过滤筛选，比如筛选一年前的日志数据还能进行其他复杂条件过滤
94910编辑于 2023-11-30 - 来自专栏Tencent Serverless 官方专栏
腾讯云云函数 SCF 日志检索实践
如果我们能够从网关返回信息中拿到某个失败请求的 RequestId ，我们还可以根据 RequestId 检索指定请求的日志。 ? 这是最基础的日志检索使用方法。 高级日志如何使用 下面给大家分享一下已捕获的异常，查找函数运行时间大于 x 的请求，关键词组合检索中如何使用高级日志。 1. 高级日志里提供了运行时间检索的方法，比如我们想查找运行时间大于 150ms 的日志，我们可以在检索框输入 SCF_Duration>150，即可找出该时间范围的日志。 ? 时间范围和关键词检索可组合使用，在上述示例中会将所有日志都过滤出来。 高级日志服务提供了丰富的检索语法，我们可参考日志检索语法教程：https://cloud.tencent.com/document/product/583/40964 6 月 4 日（周四）20:00
3.1K102发布于 2020-06-04 - 来自专栏IT云清
5.Elasticsearch检索文档
我们会发现，我们存储的文档，在_source中，其他的类似_index,_type等都是元数据，元数据在后面会做详细解释。
72020发布于 2019-01-22 - 来自专栏ffffffff0x
安全蓝队 : windows日志检索和分析
前言 在运维工作过程中，如若windows服务器被入侵，往往需要检索和分析相应的安全日志。 本文将介绍windows的日志类型、存放位置、检索方案以及方便检索的工具使用方法。 默认位置: %SystemRoot%\System32\Winevt\Logs\ForwardedEvents.evtx [2.png] 事件级别 在事件日志中有5个事件级别。 [5.png] --- 日志工具 Sysmon [6.png] Sysmon 是微软的一款轻量级的系统监控工具，最开始是由 Sysinternals 开发的，后来 Sysinternals 被微软收购， ，事件日志的类型、级别、存放位置和ID，日志的检索方案以及检索工具sysmon和logparser的使用。
4.6K21发布于 2021-01-06 - 来自专栏腾讯技术工程官方号的专栏
企业微信万亿级日志检索系统
业界方案对比 公司内外有很多日志系统方案，根据是否对日志做全文检索可以分为两类： 全文检索的日志系统：对日志内容切分词和建倒排，通过查询关键词的倒排取交集支持模糊匹配，这类系统一般入库资源消耗较多，也不支持日志统计 ，典型实现有：ELK、Hermes 以及腾讯云日志服务(Cloud Log Service, CLS)等系统； 部分字段检索的日志系统：只对部分字段建索引，支持特定字段的快速检索，入库资源消耗较低，但是这类系统对模糊匹配未能很好支持 我们新设计的检索系统在资源消耗较小的前提下，很好满足背景所提的所有检索需求。 最终将匹配后的日志返回给 WebSvr 聚合展示给用户。 通过并发检索的优化手段，模糊查询一个模块一小时日志（12 台机器，7.95GB 日志量）耗时从 1 分钟降到 5.6 秒。 最近热文： ☞ 浏览器性能优化实战 ☞ Flutter 动态化新知识 ☞ 一文掌握 Linux 内存管理 视频号最新视频 5月28-29日 QECon全球软件质量&效能大会 欢迎关注 ?
1.8K30发布于 2021-05-21 - 来自专栏腾讯云存储
解锁数据价值：COS支持日志检索与分析功能
对话记录： 总结 通过上述实际案例，我们可以看到腾讯云“COS日志检索与分析”能力，能够记录存储桶相关的各种请求日志，并实现对日志数据的实时检索与分析。 输入检索分析语句 检索分析语句由检索条件和 SQL 语句组成，输入检索分析语句，对访问日志进行检索和统计分析。 检索条件：指定日志需要匹配的条件，返回符合该条件的日志。 例如使用status:404检索响应状态码为404的应用请求日志。检索条件为空或*时代表无检索条件，即所有日志。更多语法规则和示例信息请参见 检索条件语法。 三、输入检索分析语句，选择时间范围，单击搜索按钮即可检索该存储桶上报到 CLS 的访问日志。 查看日志检索结果、统计分析结果 检索成功后，在日志检索页面可查看访问日志的检索结果、统计分析结果。 分别对应原始日志和统计图表，支持快捷切换。详细说明如下： 原始日志：当检索分析语句仅包含检索条件时，可在原始日志中查看匹配检索条件的日志，默认按日志时间倒排。
79410编辑于 2024-03-20 - 来自专栏云开发
日志检索优化：所有字段都在，搜什么得什么
日志里明明看到一个字段（比如 memory_usage），打开检索面板却找不到这个选项 2. 好不容易写对一条 CQL 检索语句，系统却给您自动拼接 requestId、timestamp 等默认条件，结果一片空白 这次日志检索把这两个痛点一次修了。 改了什么 可视化检索字段自动同步 以前，可视化检索的字段列表靠后台版本更新维护。 现在系统动态拉取日志上报的所有 Key，新上报的日志字段会自动出现在可选列表里，不用等版本更新。 现在系统完全以您手动输入的检索语句为准，不再自动拼接任何默认条件，搜什么得什么。 怎么用 无需额外配置，直接在控制台 → 日志监控 → 日志管理使用即可。
11300编辑于 2026-07-07 - 来自专栏前端迷
webpack 5 更新日志
★webpack 团队于北京时间 10 月 12 日凌晨发布了 v5.0.0-beta.0 版本，本文译自 webpack/changelog-v5。 webpack 4 仅能于生成 ES5 的代码。webpack 5 现支持 ES5 或 ES2015 的代码。 默认配置将生成 ES2015 的代码。 如果你需要支持旧版浏览器（例如，IE11），则可以将其降为 output.ecmaVersion: 5。 （自 alpha.3 起） 更新解析器 enhanced-resolve 已更新至 v5。 在 webpack 5 中，有一个新的 experiments 配置项，允许启用实验性功能。这样可以清楚地了解启用/使用了哪些实验特性。
1.9K10发布于 2019-10-22 - 来自专栏技术杂记
日志服务器（5）
[root@h105 rsyslog-mysql-5.8.10]# Tip: 注意到这里并没有索引，应该是和日志的 append only 属性相关 ---- 查看表结构 [root@h105 rsyslog-mysql | | mysql | | performance_schema | | test | +--------------------+ 5
1.2K20发布于 2021-10-19 - 来自专栏悟空聊架构 | 公众号
别只会搜日志了，求你懂点检索原理吧
前言 项目中我们总是用 Kibana 界面来搜索测试或生产环境下的日志，来看下有没有异常信息。Kibana 就是 我们常说的 ELK 中的 K。 Kibana 界面如下图所示： ? 但这些日志检索原理是什么呢？这里就该我们的 Elasticsearch 搜索引擎登场了。 我会分为三篇来讲解 Elasticsearch（简称ES）的原理、实战及部署。 比如收集日志或交易数据，并且要分析和挖掘此数据以查找趋势，统计信息，摘要或异常。 原始数据从多个来源 ( 包括日志、系统指标和网络应用程序 ) 输入到 Elasticsearch 中。 Elasticsearch 的数据是怎么采集的？ , 3,4, 5 B 大话 1,2, 3 C 外传 2,4, 5 D 解析 3,5 E 降魔 4 F 梦幻 5 G 独家 5 检索：独家大话西游 将 独家大话西游 解析拆分成 独家、大话、西游 ES
2.6K42发布于 2020-10-15 - 来自专栏日志服务CLS
解锁数据价值：对象存储 COS 支持日志检索与分析功能
对话记录： 总结 通过上述实际案例，我们可以看到腾讯云“COS日志检索与分析”能力，能够记录存储桶相关的各种请求日志，并实现对日志数据的实时检索与分析。 输入检索分析语句 检索分析语句由检索条件和 SQL 语句组成，输入检索分析语句，对访问日志进行检索和统计分析。 检索条件：指定日志需要匹配的条件，返回符合该条件的日志。 例如使用status:404检索响应状态码为404的应用请求日志。检索条件为空或*时代表无检索条件，即所有日志。更多语法规则和示例信息请参见 检索条件语法。 三、输入检索分析语句，选择时间范围，单击搜索按钮即可检索该存储桶上报到 CLS 的访问日志。 查看日志检索结果、统计分析结果 检索成功后，在日志检索页面可查看访问日志的检索结果、统计分析结果。 分别对应原始日志和统计图表，支持快捷切换。详细说明如下： 原始日志：当检索分析语句仅包含检索条件时，可在原始日志中查看匹配检索条件的日志，默认按日志时间倒排。
97510编辑于 2024-03-25 - 来自专栏Apache Doris
统一全文检索与 SQL 分析：Apache Doris 日志分析实践
这两类工作看似属于同一个分析流程，但长期以来通常由不同系统完成：Elasticsearch 等搜索引擎负责全文检索，Apache Doris 等 OLAP 数据库负责聚合分析，由此形成了日志平台中较为常见的 这些问题并不会影响双引擎架构本身的可用性，但也推动分析数据库探索另一种实现方式：将全文检索直接纳入 SQL 查询执行流程。 将全文检索融入 SQL 查询Apache Doris 提供的 search() 并不是 LIKE 或正则表达式的简单封装，而是建立在原生倒排索引之上，使全文检索能够直接作为 SQL 查询条件参与执行。 常见使用场景search() 的价值并不局限于单纯的日志检索。对于同时包含非结构化文本和结构化指标的数据场景，全文检索结果可以直接参与后续聚合分析。下面以三个典型场景说明这种查询方式的应用。 只要查询同时包含“从文本中筛选目标数据”和“围绕筛选结果进行结构化分析”两个步骤，都可以考虑将全文检索直接纳入 SQL 查询流程。
6810编辑于 2026-09-02 - 来自专栏云计算教程系列
5 种 Docker 日志最佳实践
Docker日志驱动 在Docker中进行日志记录的第三种方法是使用平台的日志驱动程序将日志事件转发给在主机上运行的syslog实例。 然而，使用Docker日志驱动程序也有一些缺点: 它不允许进行日志解析，只允许进行日志转发。 Docker日志命令只与日志驱动程序JSON文件一起工作。 在没有配置的情况下自动缩放日志事件。 通过多个日志事件、stats和Docker API数据流来检索日志。 Sidecar方法 Sidecars已经成为管理微服务架构的流行方法。 从日志记录的角度来看，Sidecar方法的优点是每个容器都与它自己的日志容器有关(应用程序容器保存日志事件和日志容器标记，然后像Loggly那样将它们转发到日志管理系统)。 原文：5 Docker Logging Best Practices 作者：Jeffrey Walker 翻译：Vincent
2.9K00发布于 2017-08-21 - 来自专栏Sign
精灵之息 开发日志（5）
但是就算明白这个，也很难改，因为“精灵之息”或者说“独立游戏”身上带有的那种“不亲切感”是它吸引到一部分人的原因，那如果这个东西没了，那独立游戏还算独立游戏吗？
58120发布于 2021-08-06 - 来自专栏企鹅号快讯
Python模块知识5：日志logging
logging模块提供了通用的日志系统，可以采用不同的方式记录日志，比如文件，HTTP、GET/POST，SMTP，Socket等，甚至可以自己实现具体的日志记录方式； 日志分不同提醒级别，级别顺序为： 1、logger：提供日志接口，供应用代码使用。最常用的操作有两类：配置和发送日志消息。 3、filter：决定一个日志记录是否发送到handler。 4、formatter：指定日志记录输出的具体格式。 %(name)s-%(levelname)s-%(message)s')) #5添加到handler logger.addHandler(screen) #6调取日志，打印到屏幕 logger.warning message') logging.info('This is info message') logging.warning('This is warning message') 执行结果：屏幕 文件： 案例5：
1.2K70发布于 2018-01-11 - 来自专栏我的小碗汤
5 款强大的 Kubernetes Events 收集与检索工具
Kubernetes 可用于导出指标、日志和事件以实现可观察性。事件是了解服务中正在发生的事情的丰富信息来源，并且可以使用多种工具来充分利用它们。 这样你就可以直接学习如何收集和检索 Kubernetes 事件。 Rebooted HostPort 冲突 检索 Kubernetes 事件的解决方案 有多种解决方案可用于检索 Kubernetes 事件。让我们看看现成可用的项目。 详细信息请看 kspan[5] GitHub Kubernetes 事件教程 现在我们已经大致了解了 Kubernetes 事件是什么以及如何利用它们，您可以在 YouTube 和 GitHub 上找到更详细教程 salesforce/sloop [4] kubernetes-event-exporter: https://github.com/opsgenie/kubernetes-event-exporter [5]
2.2K21编辑于 2023-03-19 - 来自专栏iSharkFly
Hibernate 5 测试的时候日志错误
请参考： OSSEZ-44 - Covid19Test 运行出现日志错误 In Progress
76530发布于 2020-04-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号