- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
centos 日志审计_CentOS7 – 审计日志
/var/log/audit/audit.log : 默认日志路径 1、监控文件或者目录的更改 auditctl -w /etc/passwd -p rwxa -w path : 指定要监控的路径，上面的命令指定了监控的文件路径 2、查找日志ausearch -a number #只显示事件ID为指定数字的日志信息，如只显示926事件：ausearch -a 926 -c commond #只显示和指定命令有关的事件，如只显示rm 命令产生的事件：auserach -c rm -i #显示出的信息更清晰，如事件时间、相关用户名都会直接显示出来，而不再是数字形式 -k #显示出和之前auditctl -k所定义的关键词相匹配的事件信息 3、日志字段说明
4.2K20编辑于 2022-08-31 - 来自专栏技术杂记
日志服务器（7）
* uucp,news.crit /var/log/spooler local7. * uucp,news.crit /var/log/spooler local7. @h202 ~]# diff /tmp/before /tmp/after 11a12 > *.* @192.168.100.105 [root@h202 ~]# 增加了一条，将本地的日志记录到远程的服务器 system logger: [ OK ] [root@h202 ~]# ---- 审计本地所有操作 将客户端执行的所有命令写入系统日志
1.5K20发布于 2021-10-20 - 来自专栏服务端技术杂谈
分布式概念-日志术
在所有分布式系统实现中，很多技术点是基于日志实现的，可以认为日志是分布式系统中除了网络通信之外另一个实现基础。 我做的第一个类似于hadoops的分布式任务调度处理系统就是基于raft+日志实现的，所以我们这次聊聊日志之于分布式系统的意义。 在设计分布式存储系统时，为了提高性能，我们可以将数据放到内存中实现高速查询，redis方式就是这种实现方式，读写以key-value方式查询和更改。 所以redolog日志追加的日志，是kv操作更新之后的结果，且顺序追加到日志文件中，磁盘对于顺序写有较高效率。 宕机恢复流程处理如下： 从头读取日志文件中每次的更改操作结果，利用结果修改内存中数据。 从后面扫描日志文件，找到最后一个“end check point” 再向前寻找最近的“begin check point”，并回放该日志之后的所有更新操作日志 如果日志被切割维护在多个磁盘中，需要分批次更新操作
47310发布于 2020-02-26 - 来自专栏Java架构师学习
日志: 分布式系统的核心日志的应用
我们经常听到很多名词,NoSQL数据库、KV存储、Hadoop、raft、paxos 以及版本控制等等，这些中间件或者协议本质上都或多或少依赖于日志，可以发现日志一直都在分布式系统中扮演者非常重要的角色 由于日志本身固有的特性，记录从左向右开始顺序插入，也就意味着左边的记录相较于右边的记录“更老”, 也就是说我们可以不用依赖于系统时钟，这个特性对于分布式系统来说相当重要。 ? 日志在分布式系统中的应用 ? 我们利用这个特性实现解决分布式系统中遇到的很多问题。 结语 日志在分布式系统中扮演了很重要的角色，是理解分布式系统各个组件的关键，随着理解的深入，我们发现很多分布式中间件都是基于日志进行构建的，例如Zookeeper、HDFS、Kafka、RocketMQ
2.1K70发布于 2018-05-04 - 来自专栏Web前后端、全栈出发
分布式日志处理：ELK+Kafka实现日志收集
分布式日志处理： Sleuth实现微服务跟踪 ELK+Kafka实现日志收集系统 背景： 主要针对，分布式项目！ 、分布式消息系统` 概念：Producer：生产者(消息的来源) Consumer：消费者(消息输出) Topic：主题(消息传递的约定) 消息系统介绍 一个消息系统负责将数据从一个应用传递到另外一个应用 (kafka采用) ELK: 是三个开源软件的缩写,对应着三个技术： E—— Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。 它的特点有： 分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 L—— Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式 一般工作方式为c/s架构: client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤
1.8K10编辑于 2024-08-06 - 来自专栏JavaEdge
分布式日志收集框架 Flume
2 Flume概述 2.1 官网 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 它具有基于流式数据流的简单灵活的架构。 2.2 设计目标 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。 2.4 发展史 Cloudera公司提出0.9.2，叫Flume-OG 2011年Flume-728编号，重要里程碑(Flume-NG)，贡献给Apache社区 2012年7月 1.0版本 2015年5 Consolidation合并 日志收集中非常常见的情况是大量日志生成客户端将数据发送到连接到存储子系统的少数消费者代理。 例如，从数百个Web服务器收集的日志发送给写入HDFS集群的十几个代理。 size_16,color_FFFFFF,t_70] data.log文件内容 [20190613000749249.png] 成功接收 [在这里插入图片描述] 5.3 应用场景3 - 将A服务器上的日志实时采集到
1.1K70发布于 2019-06-13 - 来自专栏民工哥技术之路
SpringCloud 分布式日志采集方案
由于微服务架构中每个服务可能分散在不同的服务器上，因此需要一套分布式日志的解决方案。spring-cloud提供了一个用来trace服务的组件sleuth。它可以通过日志获得服务的依赖关系。 基于sleuth，可以通过现有的日志工具实现分布式日志的采集。 这里使用的是ELK，也就是elasticsearch、logstash、kibana。 ，只有通过抓取日志，才能获知依赖关系。 eclipse控制台输出日志 在kibana中搜索日志 我们看到日志信息在rest字段中。 到此为止，整个日志采集就搭建完成了。系统上线后只需要在elasticsearch中就能搜索到各个服务器上，各个微服务的日志内容了。
88320编辑于 2021-12-06 - 来自专栏Sign
精灵之息 开发日志（7）
一部100分钟的电影，前面90分钟可能都是铺垫，而最后10分钟的反转才将整个电影升华给观众脑海里留下不可磨灭的印象。
50430发布于 2021-08-17 - 来自专栏Danny的专栏
分布式日志调用链追踪
而随着现在越来越多的系统分布式化、微服务化，一个请求往往需要经过多个分布式模块协同处理，比如下面这个简单的分布式系统，购买一件商品的流程大致为：在web/h5/app端发送下单请求到网关(gateway 二、分布式日志调用链追踪介绍 要解决上面的问题，可以在请求入口（比如上图中的网关模块gateway，甚至web/h5/app都可以）针对每一个请求生成一个requestId，后面整个执行链路中都带着这个 当出现问题之后，在任意模块根据关键字找出requestId，如果相关模块部署在同一台机器上，可以利用tail -f 日志文件1.log 日志文件2.log 日志文件3.log |grep 'requestId 的值'之类的方式查看调用链路的日志，比如查看一个用户登录时，在gateway、business、user模块打印的日志： ? 三、分布式日志调用链追踪实现 以上只是一个把分布式日志“串”起来的一个思路，技术架构、部署方式不同的项目，具体实现方式肯定也不同。
1.7K10发布于 2019-02-25 - 来自专栏DevOps
分布式日志系统：Plumelog简介
简介 一个简单易用的java日志系统，解放你的日志查询困难问题，方便快速追踪问题，安装配置简单，性能优秀 演示视频地址：https://v.qq.com/x/page/g3308uxlcnw.html 一.特性 无代码入侵的分布式日志系统，基于log4j、log4j2、logback搜集日志，设置链路ID，方便查询关联日志 基于elasticsearch作为查询引擎 高吞吐，查询效率高 全程不占应用程序本地磁盘空间 ，免维护;对于项目透明，不影响项目本身运行 无需修改老项目，引入直接使用，支持dubbo,支持springcloud 二.架构 plumelog-core 核心组件包含日志搜集端，负责搜集日志并推送到kafka ，redis等队列 plumelog-server 负责把队列中的日志日志异步写入到elasticsearch plumelog-demo 基于springboot的使用案例 plumelog-lite 外加嵌入式版本plumelog-lite lite模式，不依赖任何外部中间件直接启动使用，但是性能有限，一天10个G以内可以应付，还必须是SSD硬盘，适合管理系统类的小玩家 redis,kafka模式可以集群分布式部署
1K10编辑于 2024-03-29 - 来自专栏对线JAVA面试
MySQL中的7种日志
MySQL中一共有 7 种日志，多数人只知道其中的 3 种。 最近我在面试一个 DBA 时，得知一共有 7 种日志文件，今天我们一起来看看这些日志文件都有哪些作用，以帮助大家理解 MySQL 中的事物以及事物背后的原理。！ MySQL中有七种日志文件，分别是： 重做日志（redo log） 回滚日志（undo log） 二进制日志（binlog） 错误日志（errorlog） 慢查询日志（slow query log） 一般查询日志 （general log） 中继日志（relay log） 其中重做日志和回滚日志与事务操作息息相关，二进制日志也与事务操作有一定的关系，这三种日志，对理解 MySQL 中的事务操作有着重要的意义。 每个事务提交时会将重做日志刷新到重做日志文件。 当重做日志缓存可用空间少于一半时，重做日志缓存被刷新到重做日志文件。
73430编辑于 2022-10-27 - 来自专栏技巅
分布式日志收集系统： Facebook Scribe之日志收集方案
写入日志到Scribe的解决方案 1.概述 Scribe日志收集服务器只负责收集主动写入它的日志，它本身不会去主动抓取某一个日志，所以为了把日志写入到scribe服务器，我们必须主动向scribe 服务器发送日志信息。 3.单独的抓取日志文件的客户端 写一个单独的客户端是一种适用于任何应用系统的解决方案，前提是应用系统需要产生相应的日志文件。 这种解决方案实现的方式有两种：一是循环的去检测日志文件或文件夹，如果有新的日志生成就读取日志文件并上传到scribe服务器；二是通过事件响应的机制来监控文件或文件夹。 （2）单独的抓取日志文件客户端：具有很好的通用性，不需要每一个应用系统单独开发日志写入模块，只需要应用系统生成日志文件。而且这种方案对应用系统没有影响。
1.5K40发布于 2018-05-25 - 来自专栏开源 & 技术分享
Gin 框架：实现分布式日志追踪
[up-97ffbe2a2118986ceef9b2fa4bed992db74.png] 介绍 通过一个完整例子，在基于 Gin 框架中实现分布式日志追踪。 什么是 API 日志追踪？ 验证日志 两个服务的日志中，会有同样的 traceId，不同的 requestId。 我们可以通过 grep traceId 来追踪 RPC。 b2d70ab9f8207ef4a9f0c3fb1be5c22c"} ... operation=/v1/greeter resCode=200 eventStatus=Ended EOE 概念 当我们没有使用例如 jaeger 调用链服务的时候，我们希望通过日志来追踪分布式系统里的 当启动了日志中间件，原数据中间件，调用链中间件的时候，中间件会往日志里写入如下三种 ID。 EventId 当启动了日志中间件，EventId 会自动生成。 -486c-b29d-7af777a78ebe","requestId":"dd19cf9a-c7be-486c-b29d-7af777a78ebe","traceId":"316a7b475ff500a76bfcd6147036951c
2.6K60编辑于 2021-12-13 - 来自专栏落叶飞翔的蜗牛
zipkin——分布式性能追踪日志系统
包含组件 collector 收集器 storage 存储 api 查询 webUI 界面 ZipKin数据模型 Trace：一组代表一次用户请求所包含的spans，其中根span只有一个。 Span： 一组代表一次HTTP/RPC请求所包含的annotations。 annotation：包括一个值，时间戳，主机名(留痕迹)。 几个时间 cs：客户端发起请求，标志Span的开始 sr：服务端接收到请求，并开始处理内部事务，其中sr - cs则为网络延迟和时钟抖动 ss：服务端处理完请求，返回响应内容，其中ss - sr则为服务端处理请求耗时 cr：客户端接收到服务端响应内容，标志着Span的结束，其中cr - ss则为网络延迟和时钟抖动 启动zipkin java -jar zipkin-server-2.10.1-exec.jar Demo
90920发布于 2021-01-14 - 来自专栏技巅
分布式日志收集系统：Facebook Scribe
以下是我在公司内部分享的关于分布式日志收集系统的PPT内容，现在与大家分享，希望对于需要使用的人能够起到基本的入门作用或是了解！ 1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1 （5）Scribe的具体应用实例 （6）Scribe的扩展 （7）Scribe研究体会 3.Scribe简介 Scribe是facebook开源的日志收集系统，在facebook 它能够从各种日志源上收集日志，存储到一个中央存储系统 （可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。 6.Scribe部署结构 image.png 7.Scribe的主要功能 1.支持多种存储类型：7种并且可扩展 2.日志自动切分功能：按文件大小和时间切分 3.灵活的客户端：
2.2K30发布于 2018-05-25 【DEBUG 日志 | 分布式评估 AUC 乱飞】
分布式评估 AUC 乱飞：DDP all_gather 导致 label/pred 错位在本人的实践操作中，多卡训练时，验证 AUC/AP 时高时低，甚至比单卡差一截；换种 batch_size 或改 ❓ Bug 现象单卡 GPU：AUC 稳定在 0.86±0.01双卡 DDP 分布式训练：AUC 在 0.62～0.91 抖动；改 drop_last、batch_size，曲线形态改变但仍不稳虽然打印每卡本地 average_precision_score(lab_all.numpy(), pred_all.numpy()) print(f"[Global] AUC={auc:.4f} AP={ap:.4f}")经验总结最后定位是 分布式汇总指标时
56110编辑于 2025-09-06- 来自专栏Danny的专栏
dubbo分布式日志调用链追踪
而随着现在越来越多的系统分布式化、微服务化，一个请求往往需要经过多个分布式模块协同处理，比如下面这个简单的分布式系统，购买一件商品的流程大致为：在web/h5/app端发送下单请求到网关(gateway 二、分布式日志调用链追踪介绍 要解决上面的问题，可以在请求入口（比如上图中的网关模块gateway，甚至web/h5/app都可以）针对每一个请求生成一个requestId，后面整个执行链路中都带着这个 当出现问题之后，在任意模块根据关键字找出requestId，如果相关模块部署在同一台机器上，可以利用tail -f 日志文件1.log 日志文件2.log 日志文件3.log |grep 'requestId 三、分布式日志调用链追踪实现 以上只是一个把分布式日志“串”起来的一个思路，技术架构、部署方式不同的项目，具体实现方式肯定也不同。 这时business模块在打印日志时（无论是配置的AOP，还是嵌入在代码里的日志），都可以直接从ThreadLocal中获取requestId。
89640编辑于 2022-04-02 - 来自专栏菜鸟成长学习笔记
分布式日志存储架构代码实践
上一篇，我们针对分布式日志存储方案设计做了一个理论上的分析与总结，文章地址[1]。本文我们将结合其中的一种方案进行实战代码的演示。 系统日志的生成也是在该模块中进行生成。 2. MQ服务，则是作为日志队列，临时存储日志消息。这样是为了提高日志的处理能力。 启动日志消费者 启动日志消费者，保证一旦有日志，消费者能把日志实时存储到MongoDB中。同样的需要到logs目录下执行该命令。 6eGHPz [2] opentelemtry+tsdb: https://zhuanlan.zhihu.com/p/509856830 [3] Github仓库: https://github.com/7small7 /go_functions [4] Github仓库: https://github.com/7small7/go_functions
81420编辑于 2022-06-08 - 来自专栏开源 & 技术分享
Echo 框架：实现分布式日志追踪
[up-55f502865c4e0f73917242daf7a5a458605.png] 介绍 通过一个完整例子，基于 Echo 框架实现分布式日志追踪。 什么是 API 日志追踪？ 验证日志 两个服务的日志中，会有同样的 traceId，不同的 requestId。 我们可以通过 grep traceId 来追踪 RPC。 eb466c6e0c46538027d8b8c2efc08baa"} ... operation=/v1/greeter resCode=200 eventStatus=Ended EOE 概念 当我们没有使用例如 jaeger 调用链服务的时候，我们希望通过日志来追踪分布式系统里的 当启动了日志中间件，原数据中间件，调用链中间件的时候，中间件会往日志里写入如下三种 ID。 EventId 当启动了日志中间件，EventId 会自动生成。 -486c-b29d-7af777a78ebe","requestId":"dd19cf9a-c7be-486c-b29d-7af777a78ebe","traceId":"316a7b475ff500a76bfcd6147036951c
92040编辑于 2021-12-13 - 来自专栏DevOps持续集成
Centos7 安装ELK日志分析
1.安装前准备 借鉴：https://www.cnblogs.com/straycats/p/8053937.html 操作系统：Centos7 虚拟机 8G内存 jdk8+ 软件包下载：采用rpm rpm -ivh elasticsearch-6.4.2.rpm rpm -ql elasticsearch # default /usr/share/elasticsearch #默认日志目录 /var /log/elasticsearch /etc/elasticsearch/elasticsearch.yml 配置文件 path.data #数据目录 path.logs #日志目录 network.host
62750发布于 2019-10-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号