- 综合排序
- 最热优先
- 最新优先
- 来自专栏大猪的笔记
检索日志
有时需要在大量日志中查找某个关键字。可用以下命令： find . -name "86??" |xargs grep -rn "get_web not hit cache" 从日志命名为 86xx的文件中搜索它的行号和文件名。 就是这么开心。
80240发布于 2019-11-22 - 来自专栏无量测试之道
大规模服务异常日志检索
root@ bin # more check_log.sh #检查一个目录下所有指定日志文件中的报错日志脚本 #! /usr/bin/env bash #是对shell的声明 base="/home/project" #定义一个变量，用于指定扫描日志的目录 while [[ 1 ]]; do #shell skywalking|10.8.0.37:8800" | grep -C5 -E "Exception|ERROR"` # 获取catalina.out 文件中报Exception|ERROR的日志
1.1K10编辑于 2022-07-04 - 来自专栏日志服务CLS
【日志服务CLS】Nginx 访问日志检索、分析示例
0x01.前言 看到小编鼓励作者写连载，趁着截稿日期延长并且还有Apple Watch大奖的诱惑就又有动力再肝一篇出来了 2333…… 0x02.再看日志检索 想要检索自然需要提前知道都有哪些字段，这里针对所有的键依次进行说明 字段名称 字段含义 1 remote_addr 客户端 IP 地址 2 remote_user 客户端名称 3 time_local 服务器本地时间 4 request_method HTTP 请求方法 键值大小搜索 举个例子，状态码大于 400 status :>400 image.png 相似的操作符还有 :> 大于某个数值 :< 小于某个数值 :>= 大于等于某个数值 :<= 小于等于某个数值 3， 键值范围搜索 举个例子，检索4XX状态码的日志 status:[400 TO 500} image.png 4，键值模糊搜索 举个例子，检索UA中含有baidu的日志 http_user_agent : ，Nginx 访问日志分析案例 尝试第一个 SQL 分析示例，但是没有成功检索 带宽曲线图 * | select HISTOGRAM(CAST(msec*1000 AS TIMESTAMP), INTERVAL
1.4K21发布于 2021-05-22 - 来自专栏小明说Java
ES Serverless让日志检索更加便捷
在软件开发过程中，开发人员会在代码中添加日志记录，以记录程序的运行情况和异常信息。当程序出现问题时，就可以通过日志检索来定位。所以搭建一个高性能日志系统或者便捷查询的日志系统是十分重要的。 本文主要是讲解腾讯云大数据 ES Serverless，在日志检索的使用，并且通过案例说明ES Serverless如何做到开箱即用，0部署的，使得日志检索跟便携，对于ES小白也能得心应手。 Elasticsearch Service索引创建产品开通成功之后，进入首页，在左边菜单点击，日志分析在进行日志检索之前，需要先创建索引，在日志分析中，创建空索引，比如要检索商品，可以创建索引：product Elasticsearch Service日志检索上述是基本体验ES Serverless检索功能，ES Serverless也是在我们检索过程中会把日志记录收集起来，可以在ES Serverless控制台中日志分析进行查看了 全局日志检索在ES Serverless控制台中日志分析，进入索引，点击检索分析，就可以看到，刚刚在kibana检索的数据日志了条件日志检索重要，可以进行日期过滤筛选，比如筛选一年前的日志数据还能进行其他复杂条件过滤
94910编辑于 2023-11-30 - 来自专栏Tencent Serverless 官方专栏
腾讯云云函数 SCF 日志检索实践
如果我们能够从网关返回信息中拿到某个失败请求的 RequestId ，我们还可以根据 RequestId 检索指定请求的日志。 ? 这是最基础的日志检索使用方法。 高级日志里提供了运行时间检索的方法，比如我们想查找运行时间大于 150ms 的日志，我们可以在检索框输入 SCF_Duration>150，即可找出该时间范围的日志。 ? 时间范围和关键词检索可组合使用，在上述示例中会将所有日志都过滤出来。 3.关键词组合检索 如果我们想同时检索多个关键词，比如 error，userid，region我们可以使用 and 或者 or 连接这些关键词。 高级日志服务提供了丰富的检索语法，我们可参考日志检索语法教程：https://cloud.tencent.com/document/product/583/40964 6 月 4 日（周四）20:00
3.1K102发布于 2020-06-04 - 来自专栏desperate633
第2-3课 检索数据检索列检索排序数据
这两课主要介绍sql中利用select语句对数据的简单检索。 下面分别讨论不同类型的检索 检索列 单个列 select prod_id from Products; 多个列 select prod_id, prod_name, prod_price from Products ; 所有列 select * from Products; 检索不同值 的列 select distinct vend_id from products; 检索前几列或者后几列 select prod_name from products limit 5; select prod_name from products limit 5 offset 5; 检索排序数据 单个列排序 select prod_name
1.3K20发布于 2018-08-22 - 来自专栏ffffffff0x
安全蓝队 : windows日志检索和分析
前言 在运维工作过程中，如若windows服务器被入侵，往往需要检索和分析相应的安全日志。 本文将介绍windows的日志类型、存放位置、检索方案以及方便检索的工具使用方法。 --- Windows日志 在windows系统的运行过程中会不断记录日志信息，根据种类可以分为事件日志、IIS日志、FTP日志，数据库日志，邮件服务日志等。 [3.png] [4.png] 事件ID Windows 的日志以事件 id 来标识具体发生的动作行为，可通过下列网站查询具体 id 对应的操作 https://docs.microsoft.com/en-us ，事件日志的类型、级别、存放位置和ID，日志的检索方案以及检索工具sysmon和logparser的使用。
4.6K21发布于 2021-01-06 - 来自专栏腾讯技术工程官方号的专栏
企业微信万亿级日志检索系统
业界方案对比 公司内外有很多日志系统方案，根据是否对日志做全文检索可以分为两类： 全文检索的日志系统：对日志内容切分词和建倒排，通过查询关键词的倒排取交集支持模糊匹配，这类系统一般入库资源消耗较多，也不支持日志统计 ，典型实现有：ELK、Hermes 以及腾讯云日志服务(Cloud Log Service, CLS)等系统； 部分字段检索的日志系统：只对部分字段建索引，支持特定字段的快速检索，入库资源消耗较低，但是这类系统对模糊匹配未能很好支持 我们新设计的检索系统在资源消耗较小的前提下，很好满足背景所提的所有检索需求。 日志查询高性能 增加索引提升查询性能 开发通常依据模块、时间段、callid 这 3 个维度查询日志，为了加快查询性能也对这 3 个维度分别增加索引： 模块：一个模块包含若干机器，每台机器在分布式文件系统中拥有独占的日志目录 最终将匹配后的日志返回给 WebSvr 聚合展示给用户。 通过并发检索的优化手段，模糊查询一个模块一小时日志（12 台机器，7.95GB 日志量）耗时从 1 分钟降到 5.6 秒。
1.8K30发布于 2021-05-21 - 来自专栏python3
MySQL(3)——日志
MySQL日志： mysql> SHOW [GLOBAL|SESSION] VARIABLES LIKE '%log%'; 这样子可以看到所有关于日志的变量： 错误日志 、查询日志、慢查询日志、事务日志 错误日志： 默认开启，且在datadir的根目录下，文件名是"HOSTNAME.err" 可以在/etc/my.cnf中定义 log_error 会包含sock文件找不到、MySQL未初始化 还比如会反解0.0.0.0到本地失败的信息 2、服务器运行过程中的错误信息 3、时间调度器运行一个时间时产生的信息 由于事务日志没有写入磁盘，当下一个操作需要用到上一个操作的结果时，事务日志就必须能够生成一个视图给用户查询。 查看也是一样 一般在利用二进制日志进行还原时，必须使用此项，关闭会话级别的二进制日志。 否则只会突然增加二进制日志的量，不便于管理。
83710发布于 2020-01-09 - 来自专栏Langchain
【LangChain系列3】【检索模块详解】
用于日志记录、监控、流传输和其他任务；1-3、特点LangChain的特点如下：大语言模型(llm): LangChain为自然语言处理提供了不同类型的模型，这些模型可用于处理非结构化文本数据，并且可以基于用户的查询检索信息 1-5、安装pip install langchain二、检索模块详解许多LLM应用程序需要用户特定数据，这些数据不是模型的训练集的一部分. 完成这一任务的主要方法是通过检索增强生成（RAG）. 在这种情况下，"\n\n" 表示将使用两个换行符作为分隔符，这通常用于将段落或日志条目分开。 依赖包安装：pip install pymilvus2-5、检索器检索器： 一旦数据在数据库中，您仍然需要检索它. LangChain支持许多不同的检索算法，并且是我们增加最多价值的地方之一. .自查询允许您从查询中解析出语义部分和查询中存在的其他元数据过滤器.集合检索器: 有时您可能希望从多个不同的来源或使用多个不同的算法检索文档.集合检索器使您可以轻松实现此目的.附录1、报错：cannot
2.1K10编辑于 2025-01-07 - 来自专栏腾讯云存储
解锁数据价值：COS支持日志检索与分析功能
输入检索分析语句 检索分析语句由检索条件和 SQL 语句组成，输入检索分析语句，对访问日志进行检索和统计分析。 检索条件：指定日志需要匹配的条件，返回符合该条件的日志。 例如使用status:404检索响应状态码为404的应用请求日志。检索条件为空或*时代表无检索条件，即所有日志。更多语法规则和示例信息请参见 检索条件语法。 三、输入检索分析语句，选择时间范围，单击搜索按钮即可检索该存储桶上报到 CLS 的访问日志。 查看日志检索结果、统计分析结果 检索成功后，在日志检索页面可查看访问日志的检索结果、统计分析结果。 分别对应原始日志和统计图表，支持快捷切换。详细说明如下： 原始日志：当检索分析语句仅包含检索条件时，可在原始日志中查看匹配检索条件的日志，默认按日志时间倒排。 3、日志数据下仅展示“显示字段”，若您希望查看更多或者隐藏日志对应的字段信息，可通过下述三种方式实现： 列表操作：在原始日志下，左侧面板快速找到该字段，单击显示或隐藏即可完成配置。
79410编辑于 2024-03-20 - 来自专栏云开发
日志检索优化：所有字段都在，搜什么得什么
日志里明明看到一个字段（比如 memory_usage），打开检索面板却找不到这个选项 2. 好不容易写对一条 CQL 检索语句，系统却给您自动拼接 requestId、timestamp 等默认条件，结果一片空白 这次日志检索把这两个痛点一次修了。 改了什么 可视化检索字段自动同步 以前，可视化检索的字段列表靠后台版本更新维护。 现在系统动态拉取日志上报的所有 Key，新上报的日志字段会自动出现在可选列表里，不用等版本更新。 现在系统完全以您手动输入的检索语句为准，不再自动拼接任何默认条件，搜什么得什么。 怎么用 无需额外配置，直接在控制台 → 日志监控 → 日志管理使用即可。
11300编辑于 2026-07-07 3-3日志
using Microsoft.Extensions.Logging; ServiceCollection services = new ServiceCollection(); //向容器中增加注册日志服务 2、logger节点的minlevel属性和maxlevel属性，表示这个logger接受日志的最低级别和最高级别。 3、日志输出时，会从上往下匹配rules节点下所有的logger，若发现当前日志的分类名符合这个logger的name的通配符，就会把日志输出给这个logger。 services.AddLogging(logBuilder => { logBuilder.AddNLog(); }); 知识点： archiveAboveSize为“单个日志文件超过多少字节就把日志存档 指定数量个数的存档文件，旧的会被删掉；当然也可以不设置maxArchiveFiles参数，而设置maxArchiveDays参数，这样可以设定保存若干天的日志存档。
15100编辑于 2026-06-17- 来自专栏悟空聊架构 | 公众号
别只会搜日志了，求你懂点检索原理吧
但这些日志检索原理是什么呢？这里就该我们的 Elasticsearch 搜索引擎登场了。 我会分为三篇来讲解 Elasticsearch（简称ES）的原理、实战及部署。 比如收集日志或交易数据，并且要分析和挖掘此数据以查找趋势，统计信息，摘要或异常。 原始数据从多个来源 ( 包括日志、系统指标和网络应用程序 ) 输入到 Elasticsearch 中。 Elasticsearch 的数据是怎么采集的？ , 3,4, 5 B 大话 1,2, 3 C 外传 2,4, 5 D 解析 3,5 E 降魔 4 F 梦幻 5 G 独家 5 检索：独家大话西游 将 独家大话西游 解析拆分成 独家、大话、西游 ES 个词= 0.5 所以检索出来的记录顺序如下： 1-大话西游 ( 想关性得分：1 ) 2-大话西游外传 ( 想关性得分：0.67 ) 3-解析大话西游 ( 想关性得分：0.67
2.6K42发布于 2020-10-15 - 来自专栏DeepHub IMBA
RAG中的3个高级检索技巧
RAG系统检索的文档可能并不总是与用户的查询保持一致，这是一个常见的现象。 本文将探讨三种有效的技术来增强基于rag的应用程序中的文档检索，通过结合这些技术，可以检索与用户查询密切匹配的更相关的文档，从而生成更好的答案。 查询扩展 查询扩展指的是一组重新表述原始查询的技术。 一盘情况下适配器会插入到预训练模型层之间的小型前馈神经网络中，所以训练适配器的目标是更改嵌入查询，以便为特定任务生成更好的检索结果。 嵌入适配器是一个可以在嵌入阶段之后和检索之前插入的阶段。 # 3. How much debt does the company have? Is it increasing or decreasing? # 4. query_embedding) return torch.cosine_similarity(updated_query_embedding, document_embedding, dim=0) 3、
1.5K10编辑于 2024-01-23 - 来自专栏日志服务CLS
解锁数据价值：对象存储 COS 支持日志检索与分析功能
输入检索分析语句 检索分析语句由检索条件和 SQL 语句组成，输入检索分析语句，对访问日志进行检索和统计分析。 检索条件：指定日志需要匹配的条件，返回符合该条件的日志。 例如使用status:404检索响应状态码为404的应用请求日志。检索条件为空或*时代表无检索条件，即所有日志。更多语法规则和示例信息请参见 检索条件语法。 三、输入检索分析语句，选择时间范围，单击搜索按钮即可检索该存储桶上报到 CLS 的访问日志。 查看日志检索结果、统计分析结果 检索成功后，在日志检索页面可查看访问日志的检索结果、统计分析结果。 分别对应原始日志和统计图表，支持快捷切换。详细说明如下： 原始日志：当检索分析语句仅包含检索条件时，可在原始日志中查看匹配检索条件的日志，默认按日志时间倒排。 3、日志数据下仅展示“显示字段”，若您希望查看更多或者隐藏日志对应的字段信息，可通过下述三种方式实现： 列表操作：在原始日志下，左侧面板快速找到该字段，单击显示或隐藏即可完成配置。
97510编辑于 2024-03-25 - 来自专栏Apache Doris
统一全文检索与 SQL 分析：Apache Doris 日志分析实践
这两类工作看似属于同一个分析流程，但长期以来通常由不同系统完成：Elasticsearch 等搜索引擎负责全文检索，Apache Doris 等 OLAP 数据库负责聚合分析，由此形成了日志平台中较为常见的 将全文检索融入 SQL 查询Apache Doris 提供的 search() 并不是 LIKE 或正则表达式的简单封装，而是建立在原生倒排索引之上，使全文检索能够直接作为 SQL 查询条件参与执行。 常见使用场景search() 的价值并不局限于单纯的日志检索。对于同时包含非结构化文本和结构化指标的数据场景，全文检索结果可以直接参与后续聚合分析。下面以三个典型场景说明这种查询方式的应用。 day')) ()DISTRIBUTED BY HASH(trace_id) BUCKETS 16PROPERTIES ( "inverted_index_storage_format" = "V3" 对于需要长期保留的日志，还可以结合冷热分层存储，将近期高频访问的数据保存在本地 SSD，将较早的数据迁移至 Amazon S3、HDFS 等成本更低的存储介质，在查询性能与长期存储成本之间取得平衡。
6810编辑于 2026-09-02 - 来自专栏python3
Python3 日志模块
Python3 日志模块 python3 日志模块官网说明 python中日志等级从高到低依次为：CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET /usr/bin/python3 import logging logging.info('this is the info message') logging.debug('this is the debug /usr/bin/python3 import logging logging.basicConfig(filename='test.log',level=logging.DEBUG,format='% 3) logging.handlers.RotatingFileHandler 这个Handler类似于上面的FileHandler，但是它可以管理文件大小。 2-打印同时在控制台，也有文件 3-录活控制等级 """ # logging.disable(logging.CRITICAL) # 禁止输出日志 def public_log(logger_name
1.1K20发布于 2020-01-03 - 来自专栏技术杂记
日志服务器（3）
===================================================================================== Install 3 rpm | 1.1 MB 00:00 (2/3) x86_64.rpm | 2.2 MB 00:01 (3/ el6_7.1.x86_64 3/ 3/3 Installed: php.x86_64 0:5.3.3-46.el6_7.1
94320发布于 2021-10-19 - 来自专栏漫漫架构路
3. 日志模块（下）
在日志模块的上篇中，我们详细拆解了 MyBatis 是如何整合第三方日志框架，实现了完善的日志功能的。 那么在本节中，我们再来具体分析下：为了实现“将日志功能优雅地嵌入到核心流程中，实现无侵入式地日志打印”这一目标，MyBatis 内部做了怎样的设计。 创建数据库连接Connection Connection conn = DriverManager.getConnection("xxx"); //3. 在上述步骤中，可以认为最核心的需要打印日志的功能点为： 1. 创建 PrepareStatement 时：打印待执行的 SQL 语句； 2. 访问数据库时：打印实际参数的类型和值； 3. 小结 在日志模块中，我们首先对 MyBatis 的日志功能进行了需求分析，接下来探讨了 MyBatis 对第三方日志框架的整合方式，进而看到了 MyBatis 如何对 JDBC 原生的组件进行日志功能增强
58940编辑于 2023-10-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号