- 综合排序
- 最热优先
- 最新优先
- 来自专栏服务端技术杂谈
分布式概念-日志术
在所有分布式系统实现中，很多技术点是基于日志实现的，可以认为日志是分布式系统中除了网络通信之外另一个实现基础。 我做的第一个类似于hadoops的分布式任务调度处理系统就是基于raft+日志实现的，所以我们这次聊聊日志之于分布式系统的意义。 在设计分布式存储系统时，为了提高性能，我们可以将数据放到内存中实现高速查询，redis方式就是这种实现方式，读写以key-value方式查询和更改。 所以redolog日志追加的日志，是kv操作更新之后的结果，且顺序追加到日志文件中，磁盘对于顺序写有较高效率。 宕机恢复流程处理如下： 从头读取日志文件中每次的更改操作结果，利用结果修改内存中数据。 从后面扫描日志文件，找到最后一个“end check point” 再向前寻找最近的“begin check point”，并回放该日志之后的所有更新操作日志 如果日志被切割维护在多个磁盘中，需要分批次更新操作
47310发布于 2020-02-26 - 来自专栏技术杂记
日志服务器（8）
qishToW6PlZC.UewgjQaLp9YPPTFqvLbh47F6QUhHqPhrLT6fqdEfqYr6TIGyOl0XuAiUnlvJflixfO/:16545:0:99999:7::: [root@h202 ~]# ---- 服务端检查日志 通过这种方式已经可以实现操作审记了 ---- 查看服务端数据库中的日志 检查数据库确保数据也写了一份到mysql中 [root@h105 ~]# mysql -u root -p Enter password
1.3K20发布于 2021-10-20 - 来自专栏Java架构师学习
日志: 分布式系统的核心日志的应用
我们经常听到很多名词,NoSQL数据库、KV存储、Hadoop、raft、paxos 以及版本控制等等，这些中间件或者协议本质上都或多或少依赖于日志，可以发现日志一直都在分布式系统中扮演者非常重要的角色 由于日志本身固有的特性，记录从左向右开始顺序插入，也就意味着左边的记录相较于右边的记录“更老”, 也就是说我们可以不用依赖于系统时钟，这个特性对于分布式系统来说相当重要。 ? 日志在分布式系统中的应用 ? 我们利用这个特性实现解决分布式系统中遇到的很多问题。 结语 日志在分布式系统中扮演了很重要的角色，是理解分布式系统各个组件的关键，随着理解的深入，我们发现很多分布式中间件都是基于日志进行构建的，例如Zookeeper、HDFS、Kafka、RocketMQ
2.1K70发布于 2018-05-04 - 来自专栏Web前后端、全栈出发
分布式日志处理：ELK+Kafka实现日志收集
分布式日志处理： Sleuth实现微服务跟踪 ELK+Kafka实现日志收集系统 背景： 主要针对，分布式项目！ 、分布式消息系统` 概念：Producer：生产者(消息的来源) Consumer：消费者(消息输出) Topic：主题(消息传递的约定) 消息系统介绍 一个消息系统负责将数据从一个应用传递到另外一个应用 (kafka采用) ELK: 是三个开源软件的缩写,对应着三个技术： E—— Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。 它的特点有： 分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 L—— Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式 一般工作方式为c/s架构: client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤
1.8K10编辑于 2024-08-06 - 来自专栏JavaEdge
分布式日志收集框架 Flume
text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzNTg5NTEw,size_16,color_FFFFFF,t_70] WebServer/ApplicationServer分散在各个机器上，然而我们依旧想在Hadoop平台上进行统计分析，如何将日志收集到 2 Flume概述 2.1 官网 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 它具有基于流式数据流的简单灵活的架构。 2.2 设计目标 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。 Consolidation合并 日志收集中非常常见的情况是大量日志生成客户端将数据发送到连接到存储子系统的少数消费者代理。 例如，从数百个Web服务器收集的日志发送给写入HDFS集群的十几个代理。 size_16,color_FFFFFF,t_70] data.log文件内容 [20190613000749249.png] 成功接收 [在这里插入图片描述] 5.3 应用场景3 - 将A服务器上的日志实时采集到
1.1K70发布于 2019-06-13 - 来自专栏民工哥技术之路
SpringCloud 分布式日志采集方案
由于微服务架构中每个服务可能分散在不同的服务器上，因此需要一套分布式日志的解决方案。spring-cloud提供了一个用来trace服务的组件sleuth。它可以通过日志获得服务的依赖关系。 基于sleuth，可以通过现有的日志工具实现分布式日志的采集。 这里使用的是ELK，也就是elasticsearch、logstash、kibana。 xml version="1.0" encoding="UTF-8"? >true</withJansi> <encoder> <pattern>${CONSOLE_LOG_PATTERN}</pattern> <charset>utf8< eclipse控制台输出日志 在kibana中搜索日志 我们看到日志信息在rest字段中。
88320编辑于 2021-12-06 - 来自专栏Danny的专栏
分布式日志调用链追踪
而随着现在越来越多的系统分布式化、微服务化，一个请求往往需要经过多个分布式模块协同处理，比如下面这个简单的分布式系统，购买一件商品的流程大致为：在web/h5/app端发送下单请求到网关(gateway 二、分布式日志调用链追踪介绍 要解决上面的问题，可以在请求入口（比如上图中的网关模块gateway，甚至web/h5/app都可以）针对每一个请求生成一个requestId，后面整个执行链路中都带着这个 当出现问题之后，在任意模块根据关键字找出requestId，如果相关模块部署在同一台机器上，可以利用tail -f 日志文件1.log 日志文件2.log 日志文件3.log |grep 'requestId 的值'之类的方式查看调用链路的日志，比如查看一个用户登录时，在gateway、business、user模块打印的日志： ? 三、分布式日志调用链追踪实现 以上只是一个把分布式日志“串”起来的一个思路，技术架构、部署方式不同的项目，具体实现方式肯定也不同。
1.7K10发布于 2019-02-25 - 来自专栏DevOps
分布式日志系统：Plumelog简介
简介 一个简单易用的java日志系统，解放你的日志查询困难问题，方便快速追踪问题，安装配置简单，性能优秀 演示视频地址：https://v.qq.com/x/page/g3308uxlcnw.html 一.特性 无代码入侵的分布式日志系统，基于log4j、log4j2、logback搜集日志，设置链路ID，方便查询关联日志 基于elasticsearch作为查询引擎 高吞吐，查询效率高 全程不占应用程序本地磁盘空间 ，免维护;对于项目透明，不影响项目本身运行 无需修改老项目，引入直接使用，支持dubbo,支持springcloud 二.架构 plumelog-core 核心组件包含日志搜集端，负责搜集日志并推送到kafka ，redis等队列 plumelog-server 负责把队列中的日志日志异步写入到elasticsearch plumelog-demo 基于springboot的使用案例 plumelog-lite 外加嵌入式版本plumelog-lite lite模式，不依赖任何外部中间件直接启动使用，但是性能有限，一天10个G以内可以应付，还必须是SSD硬盘，适合管理系统类的小玩家 redis,kafka模式可以集群分布式部署
1K10编辑于 2024-03-29 - 来自专栏技巅
分布式日志收集系统： Facebook Scribe之日志收集方案
写入日志到Scribe的解决方案 1.概述 Scribe日志收集服务器只负责收集主动写入它的日志，它本身不会去主动抓取某一个日志，所以为了把日志写入到scribe服务器，我们必须主动向scribe 服务器发送日志信息。 3.单独的抓取日志文件的客户端 写一个单独的客户端是一种适用于任何应用系统的解决方案，前提是应用系统需要产生相应的日志文件。 这种解决方案实现的方式有两种：一是循环的去检测日志文件或文件夹，如果有新的日志生成就读取日志文件并上传到scribe服务器；二是通过事件响应的机制来监控文件或文件夹。 （2）单独的抓取日志文件客户端：具有很好的通用性，不需要每一个应用系统单独开发日志写入模块，只需要应用系统生成日志文件。而且这种方案对应用系统没有影响。
1.5K40发布于 2018-05-25 - 来自专栏Sign
精灵之息 开发日志（8）
所以数据没变很正常呀，虽然我以为改了很多东西，但是对那些玩家来说，其实根本就没有变化。
49830发布于 2021-08-20 - 来自专栏小白晋级大师
分布式系统架构8：分布式缓存
这是小卷对分布式系统架构学习的第11篇文章，今天了解分布式缓存的理论知识以及Redis集群。 分布式缓存也是面试常见的问题，通常面试官会问为什么要用缓存，以及用的Redis是哪种模式，用的过程中遇到哪些问题这些1. 而能够保证强一致性的 ZooKeeper、Doozerd、Etcd 等框架，吞吐量比不过Redis，通常不会用作“缓存框架”，而是作为通知、协调、队列、分布式锁等使用2.透明多级缓存TMC实际开发中，同时搭配进程内缓存和分布式缓存 ，查询以进程内缓存数据优先3.实现方案3.1 memcached缓存在服务端，memcached集群环境实际就是一个个memcached服务器的堆积cache的分布式主要是在客户端实现，通过客户端的路由处理来达到分布式解决方案的目的 如下是memcached客户端路由过程：3.2 Redis缓存与memcached客户端支持分布式方案不同，Redis更倾向于在服务端构建分布式存储以Redis集群模式为例，它没有中心节点，具有线性可伸缩的功能
85410编辑于 2025-01-20 - 来自专栏测试基础
【JMeter系列-8】JMeter自定义日志与日志分析
JMeter自定义日志与日志分析 JMeter日志概览 JMeter与Java程序一样，会记录事件日志，日志文件保存在bin目录中，名称为jmeter.log。 当然，我们也可以在面板中直接察看日志，点击右上角黄色标志物可以打开日志面板，再次点击收起。 ? 可见，通过日志可以帮助我们定位一些不容易直接察觉的问题。 另外，JMeter可以很方便地设置日志输出级别： ? 自定义日志 前面所看到的都是系统日志，也就是JMeter本身所打印的日志。如果我们自己想输出一些日志，该怎么办呢？ 在该请求下添加Beanshell断言，运行后，日志中输出了相应内容： ? 日志分析 针对该日志写一个日志分析脚本logAnalysis.sh： #!
3.7K32发布于 2020-09-16 - 来自专栏开源 & 技术分享
Gin 框架：实现分布式日志追踪
[up-97ffbe2a2118986ceef9b2fa4bed992db74.png] 介绍 通过一个完整例子，在基于 Gin 框架中实现分布式日志追踪。 什么是 API 日志追踪？ ------------------- endTime=2021-11-18T01:29:56.698997+08:00 ... ids={"eventId":"f5878390-1a5a-4bb9-8b39 -bf4261864c0f","requestId":"f5878390-1a5a-4bb9-8b39-bf4261864c0f","traceId":"b2d70ab9f8207ef4a9f0c3fb1be5c22c b2d70ab9f8207ef4a9f0c3fb1be5c22c"} ... operation=/v1/greeter resCode=200 eventStatus=Ended EOE 概念 当我们没有使用例如 jaeger 调用链服务的时候，我们希望通过日志来追踪分布式系统里的 当启动了日志中间件，原数据中间件，调用链中间件的时候，中间件会往日志里写入如下三种 ID。 EventId 当启动了日志中间件，EventId 会自动生成。
2.6K60编辑于 2021-12-13 - 来自专栏落叶飞翔的蜗牛
zipkin——分布式性能追踪日志系统
response = httpClient.execute(get); return EntityUtils.toString(response.getEntity(), "utf-8"
90920发布于 2021-01-14 - 来自专栏技巅
分布式日志收集系统：Facebook Scribe
以下是我在公司内部分享的关于分布式日志收集系统的PPT内容，现在与大家分享，希望对于需要使用的人能够起到基本的入门作用或是了解！ 1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1 2.分布式日志收集系统：Facebook Scribe主要内容 （1）Scribe简介及系统架构 （2）Scribe技术架构 （3）Scribe部署结构 （4）Scribe主要功能和使用方案 它能够从各种日志源上收集日志，存储到一个中央存储系统 （可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。 连接池 （2）灵活的日志缓存大小 （3）多线程功能(消息队列) （4）scribe服务器之间可以转发日志 6.以上功能都是可以通过配置文件来灵活配置 8.Scribe使用方案
2.2K30发布于 2018-05-25 【DEBUG 日志 | 分布式评估 AUC 乱飞】
分布式评估 AUC 乱飞：DDP all_gather 导致 label/pred 错位在本人的实践操作中，多卡训练时，验证 AUC/AP 时高时低，甚至比单卡差一截；换种 batch_size 或改 ❓ Bug 现象单卡 GPU：AUC 稳定在 0.86±0.01双卡 DDP 分布式训练：AUC 在 0.62～0.91 抖动；改 drop_last、batch_size，曲线形态改变但仍不稳虽然打印每卡本地 average_precision_score(lab_all.numpy(), pred_all.numpy()) print(f"[Global] AUC={auc:.4f} AP={ap:.4f}")经验总结最后定位是 分布式汇总指标时
56110编辑于 2025-09-06- 来自专栏Danny的专栏
dubbo分布式日志调用链追踪
而随着现在越来越多的系统分布式化、微服务化，一个请求往往需要经过多个分布式模块协同处理，比如下面这个简单的分布式系统，购买一件商品的流程大致为：在web/h5/app端发送下单请求到网关(gateway 二、分布式日志调用链追踪介绍 要解决上面的问题，可以在请求入口（比如上图中的网关模块gateway，甚至web/h5/app都可以）针对每一个请求生成一个requestId，后面整个执行链路中都带着这个 当出现问题之后，在任意模块根据关键字找出requestId，如果相关模块部署在同一台机器上，可以利用tail -f 日志文件1.log 日志文件2.log 日志文件3.log |grep 'requestId 三、分布式日志调用链追踪实现 以上只是一个把分布式日志“串”起来的一个思路，技术架构、部署方式不同的项目，具体实现方式肯定也不同。 这时business模块在打印日志时（无论是配置的AOP，还是嵌入在代码里的日志），都可以直接从ThreadLocal中获取requestId。
89640编辑于 2022-04-02 - 来自专栏菜鸟成长学习笔记
分布式日志存储架构代码实践
上一篇，我们针对分布式日志存储方案设计做了一个理论上的分析与总结，文章地址[1]。本文我们将结合其中的一种方案进行实战代码的演示。 系统日志的生成也是在该模块中进行生成。 2. MQ服务，则是作为日志队列，临时存储日志消息。这样是为了提高日志的处理能力。 在高并发的业务场景中，如果实时的将日志写入到MongoDB中，这样难免会降低业务处理的速度。 3. MongoDB服务，则是最终的日志落地。 magin.go(入口文件)->api(业务处理)->rabbitmq(日志生产者、消费者)->MongoDB(日志持久化)。 启动日志消费者 启动日志消费者，保证一旦有日志，消费者能把日志实时存储到MongoDB中。同样的需要到logs目录下执行该命令。
81420编辑于 2022-06-08 - 来自专栏开源 & 技术分享
Echo 框架：实现分布式日志追踪
[up-55f502865c4e0f73917242daf7a5a458605.png] 介绍 通过一个完整例子，基于 Echo 框架实现分布式日志追踪。 什么是 API 日志追踪？ 验证日志 两个服务的日志中，会有同样的 traceId，不同的 requestId。 我们可以通过 grep traceId 来追踪 RPC。 ","requestId":"e2670cdb-9a3c-42e9-ae8f-e01de3d8fbfa","traceId":"eb466c6e0c46538027d8b8c2efc08baa"} .. "} ... operation=/v1/greeter resCode=200 eventStatus=Ended EOE 概念 当我们没有使用例如 jaeger 调用链服务的时候，我们希望通过日志来追踪分布式系统里的 当启动了日志中间件，原数据中间件，调用链中间件的时候，中间件会往日志里写入如下三种 ID。 EventId 当启动了日志中间件，EventId 会自动生成。
92040编辑于 2021-12-13 - 来自专栏程序猿的大杂烩
分布式日志收集器 - Flume
Flume概述 官方文档： https://flume.apache.org/documentation.html Flume是一种分布式、高可靠和高可用的日志数据采集服务，可高效地收集、聚合和移动大量日志数据 df92badde3691ee3eb6074a177f0e96682345381 Compiled by jenkins on Mon Jun 3 03:49:33 PDT 2019 From source with checksum 9336bfa3ff8cfb5e20cd9d700135a2c1 headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 hello world } ---- Flume实战案例 - 将A服务器上的日志实时采集到 data.log [root@hadoop01 ~]# echo "hello avro" >> /data/data.log 此时机器B的agent在控制台输出的内容如下，如此一来我们就实现了将A服务器上的日志实时采集到
98230发布于 2020-11-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号