- 综合排序
- 最热优先
- 最新优先
- 来自专栏大猪的笔记
检索日志
有时需要在大量日志中查找某个关键字。可用以下命令： find . -name "86??" |xargs grep -rn "get_web not hit cache" 从日志命名为 86xx的文件中搜索它的行号和文件名。 就是这么开心。
80240发布于 2019-11-22 - 来自专栏日志服务CLS
【日志服务CLS】Nginx 访问日志检索、分析示例
0x01.前言 看到小编鼓励作者写连载，趁着截稿日期延长并且还有Apple Watch大奖的诱惑就又有动力再肝一篇出来了 2333…… 0x02.再看日志检索 想要检索自然需要提前知道都有哪些字段，这里针对所有的键依次进行说明 remote_user 客户端名称 3 time_local 服务器本地时间 4 request_method HTTP 请求方法 5 request_url URL 地址 6 status HTTP 请求状态码 7 4XX状态码的日志 status:[400 TO 500} image.png 4，键值模糊搜索 举个例子，检索UA中含有baidu的日志 http_user_agent : *baidu* image.png 分析语句由检索条件和 SQL 语句组成，两者通过竖线(|)分割 [检索条件] | [SQL 语句] 摘自文档中最简单的两个示例 无检索条件，计算访问次数 PV 值 * | select count(* ，Nginx 访问日志分析案例 尝试第一个 SQL 分析示例，但是没有成功检索 带宽曲线图 * | select HISTOGRAM(CAST(msec*1000 AS TIMESTAMP), INTERVAL
1.4K21发布于 2021-05-22 - 来自专栏无量测试之道
大规模服务异常日志检索
root@ bin # more check_log.sh #检查一个目录下所有指定日志文件中的报错日志脚本 #! /usr/bin/env bash #是对shell的声明 base="/home/project" #定义一个变量，用于指定扫描日志的目录 while [[ 1 ]]; do #shell skywalking|10.8.0.37:8800" | grep -C5 -E "Exception|ERROR"` # 获取catalina.out 文件中报Exception|ERROR的日志
1.1K10编辑于 2022-07-04 - 来自专栏小明说Java
ES Serverless让日志检索更加便捷
本文主要是讲解腾讯云大数据 ES Serverless，在日志检索的使用，并且通过案例说明ES Serverless如何做到开箱即用，0部署的，使得日志检索跟便携，对于ES小白也能得心应手。 Elasticsearch Service索引创建产品开通成功之后，进入首页，在左边菜单点击，日志分析在进行日志检索之前，需要先创建索引，在日志分析中，创建空索引，比如要检索商品，可以创建索引：product 检索索引ES检索的话，就可以直接使用DSL语句了，比如全局检索匹配GET product-7lxx48ae/_search{ "query": { "match_all": {} }}返回结果很多数据 Elasticsearch Service日志检索上述是基本体验ES Serverless检索功能，ES Serverless也是在我们检索过程中会把日志记录收集起来，可以在ES Serverless控制台中日志分析进行查看了 全局日志检索在ES Serverless控制台中日志分析，进入索引，点击检索分析，就可以看到，刚刚在kibana检索的数据日志了条件日志检索重要，可以进行日期过滤筛选，比如筛选一年前的日志数据还能进行其他复杂条件过滤
94910编辑于 2023-11-30 - 来自专栏Tencent Serverless 官方专栏
腾讯云云函数 SCF 日志检索实践
如果我们能够从网关返回信息中拿到某个失败请求的 RequestId ，我们还可以根据 RequestId 检索指定请求的日志。 ? 这是最基础的日志检索使用方法。 高级日志如何使用 下面给大家分享一下已捕获的异常，查找函数运行时间大于 x 的请求，关键词组合检索中如何使用高级日志。 1. 高级日志里提供了运行时间检索的方法，比如我们想查找运行时间大于 150ms 的日志，我们可以在检索框输入 SCF_Duration>150，即可找出该时间范围的日志。 ? 时间范围和关键词检索可组合使用，在上述示例中会将所有日志都过滤出来。 高级日志服务提供了丰富的检索语法，我们可参考日志检索语法教程：https://cloud.tencent.com/document/product/583/40964 6 月 4 日（周四）20:00
3.1K102发布于 2020-06-04 - 来自专栏ffffffff0x
安全蓝队 : windows日志检索和分析
前言 在运维工作过程中，如若windows服务器被入侵，往往需要检索和分析相应的安全日志。 本文将介绍windows的日志类型、存放位置、检索方案以及方便检索的工具使用方法。 --- Windows日志 在windows系统的运行过程中会不断记录日志信息，根据种类可以分为事件日志、IIS日志、FTP日志，数据库日志，邮件服务日志等。 开始-运行，输入 eventvwr.msc 打开事件查看器，查看日志 [1.png] 可以看到，事件查看器将日志分成了2大类，windows日志、应用程序和服务日志，windows日志中又有应用程序、安全 ，事件日志的类型、级别、存放位置和ID，日志的检索方案以及检索工具sysmon和logparser的使用。
4.6K21发布于 2021-01-06 - 来自专栏NLP-知识图谱
Lucene7 的加权检索（Boost）
http://archive.apache.org/dist/lucene/java/7.0.0/changes/Changes.html#v7.0.0.api_changes 检索时，对检索词设置权重 booleanQueryBuilder.build(); log.info("lucene search terms：{}", booleanQuery.toString("question")); 这时候日志应该记录如下
1.7K20发布于 2020-05-25 - 来自专栏腾讯技术工程官方号的专栏
企业微信万亿级日志检索系统
这一过程通常需要耗费 10 分钟以上，非常低效； 日志保存时间短：单机磁盘存储容量有限，为保存最新日志，清理脚本周期清理旧日志文件腾出磁盘空间，比如：现网一核心存储 7 天日志占用了 90%的磁盘空间， 7 天前日志都会被清理，用户投诉因日志被清理而得不到解决； 日志缺失：虽然现网保留 7 天最新日志，但是由于某些模块请求量大或日志打印不合理，我们也会限制一个小时日志打印量，超过阈值后不再保存，比如：现网一核心存储前 业界方案对比 公司内外有很多日志系统方案，根据是否对日志做全文检索可以分为两类： 全文检索的日志系统：对日志内容切分词和建倒排，通过查询关键词的倒排取交集支持模糊匹配，这类系统一般入库资源消耗较多，也不支持日志统计 ，典型实现有：ELK、Hermes 以及腾讯云日志服务(Cloud Log Service, CLS)等系统； 部分字段检索的日志系统：只对部分字段建索引，支持特定字段的快速检索，入库资源消耗较低，但是这类系统对模糊匹配未能很好支持 我们新设计的检索系统在资源消耗较小的前提下，很好满足背景所提的所有检索需求。
1.8K30发布于 2021-05-21 - 来自专栏技术杂记
日志服务器（7）
* uucp,news.crit /var/log/spooler local7. * uucp,news.crit /var/log/spooler local7. @h202 ~]# diff /tmp/before /tmp/after 11a12 > *.* @192.168.100.105 [root@h202 ~]# 增加了一条，将本地的日志记录到远程的服务器 system logger: [ OK ] [root@h202 ~]# ---- 审计本地所有操作 将客户端执行的所有命令写入系统日志
1.6K20发布于 2021-10-20 - 来自专栏腾讯云存储
解锁数据价值：COS支持日志检索与分析功能
对话记录： 总结 通过上述实际案例，我们可以看到腾讯云“COS日志检索与分析”能力，能够记录存储桶相关的各种请求日志，并实现对日志数据的实时检索与分析。 输入检索分析语句 检索分析语句由检索条件和 SQL 语句组成，输入检索分析语句，对访问日志进行检索和统计分析。 检索条件：指定日志需要匹配的条件，返回符合该条件的日志。 例如使用status:404检索响应状态码为404的应用请求日志。检索条件为空或*时代表无检索条件，即所有日志。更多语法规则和示例信息请参见 检索条件语法。 三、输入检索分析语句，选择时间范围，单击搜索按钮即可检索该存储桶上报到 CLS 的访问日志。 查看日志检索结果、统计分析结果 检索成功后，在日志检索页面可查看访问日志的检索结果、统计分析结果。 分别对应原始日志和统计图表，支持快捷切换。详细说明如下： 原始日志：当检索分析语句仅包含检索条件时，可在原始日志中查看匹配检索条件的日志，默认按日志时间倒排。
79410编辑于 2024-03-20 - 来自专栏云开发
日志检索优化：所有字段都在，搜什么得什么
日志里明明看到一个字段（比如 memory_usage），打开检索面板却找不到这个选项 2. 好不容易写对一条 CQL 检索语句，系统却给您自动拼接 requestId、timestamp 等默认条件，结果一片空白 这次日志检索把这两个痛点一次修了。 改了什么 可视化检索字段自动同步 以前，可视化检索的字段列表靠后台版本更新维护。 现在系统动态拉取日志上报的所有 Key，新上报的日志字段会自动出现在可选列表里，不用等版本更新。 现在系统完全以您手动输入的检索语句为准，不再自动拼接任何默认条件，搜什么得什么。 怎么用 无需额外配置，直接在控制台 → 日志监控 → 日志管理使用即可。
11300编辑于 2026-07-07 - 来自专栏python全栈教程专栏
mysql数据库（7）：表中检索信息
例如，如果你想要知道哪个动物在1998以后出生的，测试birth列: SELECT * FROM pet WHERE birth > '2021-7-9'; 可以组合条件,例如找出思思的狗：select 'pig'); (4)选择特殊列：select name,birth from pet; 找出谁拥有宠物，使用这个查询：select owner from pet; 请注意该查询只是简单地检索每个记录的 为了使输出减到最少，增加关键字DISTINCT检索出每个唯一的输出记录：select distinct owner from pet; 可以使用一个WHERE子句结合行选择与列选择。 假定当前月是7月，那么月值是7，你可以找在8月出生的动物 (8月)，方法是：SELECT name, birth FROM pet WHERE MONTH(birth) = 8; (7)NULL值操作
6.8K20发布于 2021-10-18 - 来自专栏Sign
精灵之息 开发日志（7）
一部100分钟的电影，前面90分钟可能都是铺垫，而最后10分钟的反转才将整个电影升华给观众脑海里留下不可磨灭的印象。
54930发布于 2021-08-17 - 来自专栏对线JAVA面试
MySQL中的7种日志
MySQL中一共有 7 种日志，多数人只知道其中的 3 种。 最近我在面试一个 DBA 时，得知一共有 7 种日志文件，今天我们一起来看看这些日志文件都有哪些作用，以帮助大家理解 MySQL 中的事物以及事物背后的原理。！ MySQL中有七种日志文件，分别是： 重做日志（redo log） 回滚日志（undo log） 二进制日志（binlog） 错误日志（errorlog） 慢查询日志（slow query log） 一般查询日志 （general log） 中继日志（relay log） 其中重做日志和回滚日志与事务操作息息相关，二进制日志也与事务操作有一定的关系，这三种日志，对理解 MySQL 中的事务操作有着重要的意义。 每个事务提交时会将重做日志刷新到重做日志文件。 当重做日志缓存可用空间少于一半时，重做日志缓存被刷新到重做日志文件。
80330编辑于 2022-10-27 - 来自专栏悟空聊架构 | 公众号
别只会搜日志了，求你懂点检索原理吧
前言 项目中我们总是用 Kibana 界面来搜索测试或生产环境下的日志，来看下有没有异常信息。Kibana 就是 我们常说的 ELK 中的 K。 Kibana 界面如下图所示： ? 但这些日志检索原理是什么呢？这里就该我们的 Elasticsearch 搜索引擎登场了。 我会分为三篇来讲解 Elasticsearch（简称ES）的原理、实战及部署。 比如收集日志或交易数据，并且要分析和挖掘此数据以查找趋势，统计信息，摘要或异常。 原始数据从多个来源 ( 包括日志、系统指标和网络应用程序 ) 输入到 Elasticsearch 中。 Elasticsearch 的数据是怎么采集的？ 为了区分不同 type 下的同一名称的字段，Lucence 需要处理冲突，导致检索效率下降 ES7.x 版本：URL 中的 type 参数为可选。
2.6K42发布于 2020-10-15 - 来自专栏lsqingfeng
springboot集成elasticsearch7实现全文检索及分页
springboot集成elasticsearch7实现全文检索及分页 elasticsearch系列文章前面已经更新过三篇（https://blog.csdn.net/lsqingfeng/category 关于集成，这里使用的es中提供的 HighLevelRestClient，高级别客户端，这也是官方推荐的，另外es7以上，已经不推荐使用TransportClient了，es7也取消了type的概念。
3.2K20编辑于 2021-12-06 - 来自专栏DevOps持续集成
Centos7 安装ELK日志分析
1.安装前准备 借鉴：https://www.cnblogs.com/straycats/p/8053937.html 操作系统：Centos7 虚拟机 8G内存 jdk8+ 软件包下载：采用rpm rpm -ivh elasticsearch-6.4.2.rpm rpm -ql elasticsearch # default /usr/share/elasticsearch #默认日志目录 /var /log/elasticsearch /etc/elasticsearch/elasticsearch.yml 配置文件 path.data #数据目录 path.logs #日志目录 network.host
68550发布于 2019-10-18 技术日志挑战——第7天：0730
精度：大约7位十进制数字。范围：大约 1.2E-38 到 3.4E+38。用途：适用于空间和精度要求不高的场景，例如图形处理。double大小：通常占用8个字节（64位）。 解释浮点数值：输出表明float类型只能精确到约7位小数，而double类型可以精确到约15-16位小数。精度和范围：使用std::numeric_limits类，可以获取浮点数类型的精度和范围信息。
72310编辑于 2024-07-30- 来自专栏运维知识
Linux ContOS7 日志管理（rsyslog）
目录 01. rsyslog 记录日志程序 02.日志文件 03.日志等级 Linux 日志文件是记录 Linux 系统运行信息的文件。 Linux 日志文件通常存储在 /var/log/ 目录中。该目录包含许多不同的日志文件，每个文件记录不同类型的信息。 01. rsyslog 记录日志程序 日志是哪里来的？？ 日志服务是rsyslog程序提供的 是 Linux 系统中一个用于系统日志管理的工具。 .日志文件 这是/var/log下的不同日志文件 对应的 /var/log/messages *** 包含系统的一般日志消息 如：用户登录 进程启动 服务启动 /var/log/ 系统启动时的日志文件 /var/log/maillog 电子邮箱文件日志 举两个重要的例子 /var/log/messages 存放的是系统的日志信息 *
76110编辑于 2024-06-03 - 来自专栏日志服务CLS
解锁数据价值：对象存储 COS 支持日志检索与分析功能
对话记录： 总结 通过上述实际案例，我们可以看到腾讯云“COS日志检索与分析”能力，能够记录存储桶相关的各种请求日志，并实现对日志数据的实时检索与分析。 输入检索分析语句 检索分析语句由检索条件和 SQL 语句组成，输入检索分析语句，对访问日志进行检索和统计分析。 检索条件：指定日志需要匹配的条件，返回符合该条件的日志。 例如使用status:404检索响应状态码为404的应用请求日志。检索条件为空或*时代表无检索条件，即所有日志。更多语法规则和示例信息请参见 检索条件语法。 三、输入检索分析语句，选择时间范围，单击搜索按钮即可检索该存储桶上报到 CLS 的访问日志。 查看日志检索结果、统计分析结果 检索成功后，在日志检索页面可查看访问日志的检索结果、统计分析结果。 分别对应原始日志和统计图表，支持快捷切换。详细说明如下： 原始日志：当检索分析语句仅包含检索条件时，可在原始日志中查看匹配检索条件的日志，默认按日志时间倒排。
97510编辑于 2024-03-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号