- 综合排序
- 最热优先
- 最新优先
- 来自专栏Java极客技术
SpringBoot 整合 Kafka 实现数据高吞吐
下面，我将结合生产环境的真实案例，以SpringBoot技术框架为基础，向大家介绍 kafka 的使用以及如何实现数据高吞吐！ 三、小结 本文主要以SpringBoot技术框架为背景，结合实际业务需求，采用 kafka 进行数据消费，实现数据量的高吞吐，在下篇文章中，我们会介绍消费失败的处理流程。
1.1K30编辑于 2022-12-04 - 来自专栏前端杂货铺
高吞吐koa日志中间件
Midlog中间件 node服务端开发中少不了日志打点，而在koa框架下的日志打点在多进程环境中日志信息往往无法对应上下文，而且在高并发下直接进行写buffer操作（内核调用writev）也会造成内存泄漏
1.8K100发布于 2018-03-15 - 来自专栏Hyperledger实践
高吞吐框架Disruptor应用场景
官方的性能测试用例 1.1 JDK BlockingQueue的吞吐测试, 先来个一个生产者, 一个消费者用例 https://github.com/zealzeng/fabric-samples/blob 在老的四代I5貌似每秒吞吐也蛮高, 百万级。 test.testImplementations(); } } 用例没用完整封装的Disruptor类, 而直接用了RingBuffer和BatchEventProcessor处理, 一样的处理逻辑，吞吐是千万级别 WorkHandler<T>... workHandlers) { return createWorkerPool(new Sequence[0], workHandlers); } 官方也有若干个例子,百万级别吞吐
5.2K20发布于 2020-11-11 - 来自专栏米奇爱编程
高吞吐量消息系统—kafka
CAP原则，kafka提供了充分的参数让用户选择，数据一致性越强吞吐量越低，需要根据业务场景评估。 3.数据可以重复消费 不同于传统的消息队列，队列中的数据只能消费一次。 Integer.toString(i), Integer.toString(i))); producer.close(); 这里acks指定了all，即需要等待所有的ISR拉取到record之后再返回，是kafka吞吐量最低但是数据一致性最高的做法 record.value()); } bootstrap.servers kafka server地址，可以是一个或者多个，用于发现其他kafka broker，所以没有必要填写所有的kafka地址，为了高可用写几个就行
88320发布于 2020-08-14 - 来自专栏性能与架构
Kafka是如何实现高吞吐率的
是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬盘，以此来换取更强的存储能力，但实际上，使用硬盘并没有带来过多的性能损失 kafka主要使用了以下几个方式实现了超高的吞吐率
2.2K60发布于 2018-04-03 - 来自专栏腾讯开源的专栏
【开源公告】“高可用、高吞吐、高可靠”分布式队列PhxQueue开源
PhxQueue PhxQueue 是微信开源的一款基于 Paxos 协议实现的高可用、高吞吐和高可靠的分布式队列，保证At-Least-Once Delivery，目前在微信内部广泛支持微信支付、 其设计出发点是高数据可靠性，且不失高可用和高吞吐，同时支持多种常见队列特性： * 同步刷盘，入队数据绝对不丢，自带内部实时对账 * 出入队严格有序 * 多订阅 * 出队限速 * 出队重放 * 所有模块均可平行扩展 * 存储层批量刷盘、同步，保证高吞吐 * 存储层支持同城多中心部署 * 存储层自动容灾/接入均衡 * 消费者自动容灾/负载均衡 高可用、高可靠、高性能的分布式队列PhxQueue正式开源 Github
1.1K61发布于 2018-03-02 - 来自专栏韩伟的专栏
分布式本质论：高吞吐、高可用、可扩展
而这些对于“服务速度”的要求，实际上包含的部分却是以下几个：高吞吐、高并发、低延迟和负载均衡。 高吞吐，意味着你的系统，可以同时承载大量的用户使用。这里关注的整个系统能同时服务的用户数。 这个吞吐量肯定是不可能用单台服务器解决的，因此需要多台服务器协作，才能达到所需要的吞吐量。 高并发是高吞吐的一个延伸需求。当我们在承载海量用户的时候，我们当然希望每个服务器都能尽其所能的工作，而不要出现无谓的消耗和等待的情况。 由于只有一个线程，也不需要有线程切换之类的开销，所以异步非阻塞成为很多对吞吐量、并发有较高要求的系统首选。 所以现在相当多的高并发的互联网业务，首选NoSQL来做存储设施。最早的NoSQL数据库有MangoDB等，现在最流行的似乎就是Redis了。
7.3K00发布于 2017-11-21 - 来自专栏携程技术
干货 | 高吞吐消息网关的探索与思考
关键性消息的特点是，低时延，低吞吐。通知类消息的特点是中时延，高吞吐。营销类消息的特点是中时延，高吞吐。针对不同的消息类型，应该选择不同的受理和分发模块，避免互相干扰。如图3所示。 ? 消息队列用Kafka，应对高吞吐量消息场景。ETL使用自研VDP(类似于阿里开源的Canal)，解析binlog，同步数据到HDFS。图10演示了Venus框架的基本结构。
2.1K41发布于 2018-03-16 - 来自专栏涤生的博客
高吞吐低延迟 Java 应用的 GC 优化
基础 Feed 数据平台为我们的经济图谱（会员、公司、群组等）中各种实体的更新建立索引，它必须高吞吐低延迟地实现相关的更新。 [LinkedIn Feeds] 为了将这些高吞吐量、低延迟类型的 Java 应用程序用于生产，开发人员必须确保在应用程序开发周期的每个阶段都保持一致的性能。 这篇博文将通过一系列步骤来明确需求并优化 GC，它的目标读者是对使用系统方法进行 GC 优化来实现应用的高吞吐低延迟目标感兴趣的开发人员。 优化 GC 的步骤 下面是一些针对高吞吐量、低延迟需求优化 GC 的总体步骤。此外，还包括在 Feed 数据平台原型实施的具体细节。 对于不受 CPU 限制的低吞吐量应用程序，GC 导致的高 CPU 使用率可能不是一个紧迫的问题。 !
2.1K30发布于 2019-04-24 - 来自专栏涤生的博客
高吞吐低延迟 Java 应用的 GC 优化
基础 Feed 数据平台为我们的经济图谱（会员、公司、群组等）中各种实体的更新建立索引，它必须高吞吐低延迟地实现相关的更新。如下图，LinkedIn Feeds 信息展示： ? 为了将这些高吞吐量、低延迟类型的 Java 应用程序用于生产，开发人员必须确保在应用程序开发周期的每个阶段都保持一致的性能。 这篇博文将通过一系列步骤来明确需求并优化 GC，它的目标读者是对使用系统方法进行 GC 优化来实现应用的高吞吐低延迟目标感兴趣的开发人员。 优化 GC 的步骤 下面是一些针对高吞吐量、低延迟需求优化 GC 的总体步骤。此外，还包括在 Feed 数据平台原型实施的具体细节。 对于不受 CPU 限制的低吞吐量应用程序，GC 导致的高 CPU 使用率可能不是一个紧迫的问题。
1.4K21发布于 2019-05-07 - 来自专栏EffectiveCoding
Kafka “高吞吐” 之顺序访问与零拷贝
前言 上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。 Kafka高吞吐的另一个依赖因素是磁盘的高速读写、sendFile 的零拷贝，顺序访问避免了磁盘IO速度缓慢的问题。而零拷贝直接降低了网络IO的代价。
1.5K30发布于 2019-07-31 - 来自专栏消息中间件
RocketMQ（五）：揭秘高吞吐量并发消费原理
RocketMQ（五）：揭秘高吞吐量并发消费原理趁着1024程序员节，我们一起加足「码」力，揭秘RocketMQ中高吞吐量的并发消费原理思维导图如下：上篇文章已经描述过拉取消息的流程，消息被拉取到消费者后就可以开始进行消费消息消费消息分为两种方式 ：并发消费、顺序消费并发消费采用多线程进行消费，能够大大提升消费吞吐量顺序消费会根据消息的有序性进行消费，吞吐量不如并发消费者消费流程ConsumeMessageConcurrentlyService 这也是再平衡机制进行处理的，后续的文章再来分析再平衡机制是如何为每个消费者分配队列的总结提交消费请求后，会根据每次消费批处理最大消息数量进行分批次构建消费请求并提交到线程池执行任务并发消费消息的特点是吞吐量大
1.1K31编辑于 2024-10-23 - 来自专栏Nicky's blog
Kafka 为什么具有高吞吐量的特性？
Kafka 高吞吐量原因：面试题总结 在面试中，Kafka 的高吞吐量设计是高频考点，核心需围绕“架构设计”“存储优化”“网络效率”“资源利用”四个维度展开，以下是结构化总结： 一、核心架构：并行化与分层设计 单 Partition 内消息顺序写入磁盘（规避磁盘随机读写的高开销，磁盘顺序读写速度接近内存）。 逻辑闭环：从“数据写入→存储→读取→传输”全链路串联技术点，体现系统性理解； 对比突出优势：例如“与 RabbitMQ 相比，Kafka 通过顺序写磁盘+零拷贝，避免随机 I/O 和数据复制开销，更适合高吞吐场景 总结：Kafka 高吞吐量的核心是“以空间换时间”“并行化”“减少不必要的开销”，通过架构、存储、网络的协同优化，实现了对磁盘、网络、CPU 资源的高效利用。
33010编辑于 2025-10-14 - 来自专栏运维民工
slurm--高吞吐量计算管理指南
这篇文章包含了Slurm管理员的信息，专门针对高吞吐量计算，即执行许多短作业。为高吞吐量计算获得最佳性能需要一些调整。 我们建议用10个线程来启动Munge守护进程，以支持高吞吐量（例如 munged --num-reads 10）。 用户限制 对slurmctld守护进程有效的ulimit值应该对内存大小、打开的文件数和堆栈大小设置得相当高。 Slurm配置 几个Slurm配置参数应该被调整以反映高吞吐量计算的需要。 PrologSlurmctld/EpilogSlurmctld：在高吞吐量的环境中，不建议使用这两个端口。当它们被启用时，必须为每个作业启动（或作业阵列的任务）创建一个单独的slurmctld线程。 设置为错误或信息，用于高吞吐量工作负载的常规操作。 SlurmdDebug：更详细的日志记录将减少系统的吞吐量。设置为错误或信息，用于具有高吞吐量工作负荷的常规操作。
1.9K00编辑于 2023-02-22 - 来自专栏Java极客技术
【真实生产案例】SpringBoot 整合 Kafka 实现数据高吞吐
下面，我将结合生产环境的真实案例，以SpringBoot技术框架为基础，向大家介绍 kafka 的使用以及如何实现数据高吞吐！ 三、小结 本文主要以SpringBoot技术框架为背景，结合实际业务需求，采用 kafka 进行数据消费，实现数据量的高吞吐，在下篇文章中，我们会介绍消费失败的处理流程。
1.5K20编辑于 2022-12-02 - 来自专栏站长技术
.net core高吞吐远程方法如何调用组件XRPC详解
它的设计理念和GRPC一样，基于连接复用的机制实现高吞的性能；XRPC采用了HTTP2复用的思想，在协议设计上也类似文本和二进制相结合；在应用层面并没使用消息而是基于接口代理的方式让使用更简便。
1K50编辑于 2022-07-23 - 来自专栏后端开发你必须学会的干货
一文理解Kafka如何做到高吞吐
Rebalance机制》 《一文理解Kafka重复消费的原因和解决方案》 《一文理解Kafka如何消息不丢失》 《一文理解如何解决Kafka消息积压问题》 《一文理解Kafka如何保证消息顺序性》 Kafka高吞吐量的原因 零拷贝并不是Kafka特有的机制，而是一种操作系统的底层支持，在NIO和Netty中都有应用，可以查看博客《NIO效率高的原理之零拷贝与直接内存映射》与《彻底搞懂Netty高性能之零拷贝》 批量压缩 Kafka 效果与Nginx压缩类似，都是牺牲部分CPU性能换取IO吞吐量的提升。
1.6K20发布于 2021-07-23 - 来自专栏大数据与实时计算
【kafka】高吞吐源码分析-顺序写入与刷盘机制
其瓶颈自然也在I/O层面，所以其高吞吐背后离不开如下几个特性: NIO 磁盘顺序读写 Queue数据结构的极致使用 分区提高并发 零拷贝提高效率 异步刷盘 压缩提高数据传输效率 本次我将从kafka-
3.6K52发布于 2020-04-03 - 来自专栏IT大咖说
Kafka是如何保证高性能和高吞吐量的？
Kafka是一款分布式消息发布和订阅系统，它的特点是高性能、高吞吐量。 最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。 所以kafka一开始设计的目标就是作为一个分布式、高吞吐量的消息系统，所以适合运用在大数据传输场景。 要了解leader选举，我们需要了解几个概念 Kafka分区下有可能有很多个副本(replica)用于实现冗余，从而进一步实现高可用。 被修改过后的页也就变成了脏页， 操作系统会在合适的时间把脏页中的数据写入磁盘， 以保持数据的 一 致性 Kafka中大量使用了页缓存， 这是Kafka实现高吞吐的重要因素之 一 。 对于高可靠要求的应用来说，宁愿重复消费也不应该因为消费异常而导致消息丢失 来源：简书 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
3.1K31发布于 2019-11-14 - 来自专栏DotNet NB && CloudNative
.NET 的全新低延时高吞吐自适应 GC - Satori GC
开发者们都是抱着既要又要还要的心理，需要的是一个既能做到大吞吐量，暂停时间又短，同时内存占用还小的 GC。 .NET 的新低延时高吞吐自适应 GC —— Satori GC 仍然采用 Dijkstra 风格的写屏障设计，因此吞吐量性能仍然能够匹敌已有的 Server GC。 在需要极低延时的场景（例如高帧率游戏或金融实时交易系统）中，这一设置可以有效减少 GC 暂停时间。 首先看分配速率： Server GC 是针对吞吐量进行大量优化的，因此做到最高的吞吐量性能并不意外。 总结 Satori GC 的目标是为 .NET 带来了一种全新的低延时高吞吐自适应 GC，不仅有着优秀的分配速率，同时还能做到亚毫秒级别的暂停时间和低内存占用，与此同时做到 0 配置开箱即用。
63510编辑于 2025-06-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号