- 综合排序
- 最热优先
- 最新优先
- 来自专栏涤生的博客
高吞吐低延迟 Java 应用的 GC 优化
基础 Feed 数据平台为我们的经济图谱（会员、公司、群组等）中各种实体的更新建立索引，它必须高吞吐低延迟地实现相关的更新。如下图，LinkedIn Feeds 信息展示： ? 为了将这些高吞吐量、低延迟类型的 Java 应用程序用于生产，开发人员必须确保在应用程序开发周期的每个阶段都保持一致的性能。 这篇博文将通过一系列步骤来明确需求并优化 GC，它的目标读者是对使用系统方法进行 GC 优化来实现应用的高吞吐低延迟目标感兴趣的开发人员。 优化 GC 的步骤 下面是一些针对高吞吐量、低延迟需求优化 GC 的总体步骤。此外，还包括在 Feed 数据平台原型实施的具体细节。 对于不受 CPU 限制的低吞吐量应用程序，GC 导致的高 CPU 使用率可能不是一个紧迫的问题。
1.4K21发布于 2019-05-07 - 来自专栏涤生的博客
高吞吐低延迟 Java 应用的 GC 优化
基础 Feed 数据平台为我们的经济图谱（会员、公司、群组等）中各种实体的更新建立索引，它必须高吞吐低延迟地实现相关的更新。 [LinkedIn Feeds] 为了将这些高吞吐量、低延迟类型的 Java 应用程序用于生产，开发人员必须确保在应用程序开发周期的每个阶段都保持一致的性能。 这篇博文将通过一系列步骤来明确需求并优化 GC，它的目标读者是对使用系统方法进行 GC 优化来实现应用的高吞吐低延迟目标感兴趣的开发人员。 优化 GC 的步骤 下面是一些针对高吞吐量、低延迟需求优化 GC 的总体步骤。此外，还包括在 Feed 数据平台原型实施的具体细节。 对于不受 CPU 限制的低吞吐量应用程序，GC 导致的高 CPU 使用率可能不是一个紧迫的问题。 !
2.1K30发布于 2019-04-24 - 来自专栏Java帮帮-微信公众号-技术文章全总结
【大牛经验】高吞吐低延迟Java应用的垃圾回收优化
LinkedIn有许多内部高吞吐量服务来满足每秒数千次的用户请求。要优化用户体验，低延迟地响应这些请求非常重要。 比如说，用户经常用到的一个功能是了解动态信息——不断更新的专业活动和内容的列表。 基础动态信息数据平台为我们的经济图谱(会员，公司，群组等等)中各种实体的更新建立索引，它必须高吞吐低延迟地实现相关的更新。 ? 图1 LinkedIn 动态信息 这些高吞吐低延迟的Java应用转变为产品，开发人员必须确保应用开发周期的每个阶段一致的性能。 本文章通过一系列步骤来明确需求并优化GC，目标读者是为实现应用的高吞吐低延迟，对使用系统方法优化GC感兴趣的开发人员。文章中的方法来自于LinkedIn构建下一代动态信息数据平台过程。 对于低吞吐量的非计算密集型应用，GC的高CPU使用率可能不需要担心。 ?
1.9K90发布于 2018-03-15 - 来自专栏SmartSi
Flink 使用Flink进行高吞吐，低延迟和Exactly-Once语义流处理
低延迟：延迟越低越好。许多应用程序需要亚秒级延迟。 高吞吐量：随着数据速率的增长，通过管道推送大量数据至关重要。 微批处理可以实现高吞吐量和Exactly-Once语义保证，但是当前的实现是以抛弃低延迟，流量控制和纯流式编程模型为代价实现上述目标的。 记录确认机制 微批次 事务更新 分布式快照 语义保证 At Least Once Exactly Once Exactly One Exactly One 延迟 非常低 高 低（事务延迟） 非常低 吞吐量 低 高 中到高（取决于分布式事务存储的吞吐量） 高 计算模型 流式 微批次 流式 流式 容错开销 高 低 取决于分布式事务存储的吞吐量 低 流控制 有问题 有问题 自然 自然 应用程序逻辑与容错分离 我们可以看到Flink的吞吐量比Trident高出20倍以上，吞吐量比Storm高300倍。在保持高吞吐的情况下，Flink还保证延迟为零。我们还看到，不使用微批次处理模型，高吞吐量不会以延迟为代价。
6.7K31发布于 2019-08-07 - 来自专栏ATYUN订阅号
NVIDIA AI推理性能里程碑：高吞吐量，高效率，低延迟
此处显示的数据适用于高容量吞吐量，通常以批量大小128运行，其中低延迟不一定是问题，因为高容量吞吐量是最重要的。 延迟：对于越来越多的AI驱动的实时服务，低延迟是一个关键因素，NVIDIA V100和T4都可以提供大约1ms的延迟，使实时服务可以轻松扩展。 T4的低配置PCIe外形尺寸和70W功率占用空间意味着它可以安装到现有的服务器部署中，从而显著延长这些服务器的使用寿命，并带来显着的性能提升。 这种类型的服务器部署可以很好地处理高批量和实时推理，视频转码甚至分布式训练工作负载。 随着AI服务的数量和复杂程度不断提高，驱动他们的明显趋势是加速推理。 因此，无论是扩展还是横向扩展，加速使用任何框架构建的任何类型的网络，NVIDIA V100和T4都已准备好迎接挑战，提供制作这些服务所需的高吞吐量，低延迟和高效率，使这些服务和产品成为现实。
1.8K10发布于 2018-12-13 - 来自专栏精益码农
TPL Dataflow组件应对高并发,低延迟要求
TPL Dataflow库为消息传递、CPU密集型/I-O密集型应用程序提供了编程基础, 可更明确控制数据的暂存方式、移动路线，达到高吞吐量和低延迟。 Post、SendAsync的不同点在于SendAsync可以延迟投递（后置管道的输入buffer不空，得到异步通知后再投递）。 本文作为TPL Dataflow的入门指南(代码较多建议左下角转向原文) 微软技术栈的可持续关注actor-based模型的流水线处理组件，应对单体程序中高并发，低延迟相当巴适。
3.2K10发布于 2020-04-16 - 来自专栏颇忒脱的技术博客
并行、延迟与吞吐量
“性能”这个词过于含糊，更准确的说应该是：延迟（latency）和吞吐量（throughput）。本文举几个简单的例子来解释在固定线程池大小的情况下，不同的并行程度与延迟和吞吐量的关系。 然后给出不同尺寸的工作集——一个尺寸为4的工作集代表意味着有4个task待执行——来观察当task被各种拆分时的吞吐量和延迟： task不被拆分时 task被拆分成2个sub-task的情况 task被拆分成 延迟对比 下面是延迟平均数、延迟中位数、延迟95%位数、延迟99%位数、延迟100%位数（最大延迟数）的对比图。 ? ? ? ? ? 不出所料，当并行程度越高的时候延迟就越低，但是要注意的是，并行程度的增高所带来的延迟降低的边际效益是递减的。 当subtask > 6时 那么当subtask数量 > 6 时会发生什么？ 下面是subtask分别为8、10时候的吞吐量、延迟数据。 ? ? ? ? ? ? 可以看到吞吐量峰值保持不变，依然是3 tasks/sec。延迟比subtask=6时略有增加。
2.2K00发布于 2019-04-18 - 来自专栏媒矿工厂
低延迟HLS
本文是来自WWDC(苹果全球开发者大会) 2019的演讲，演讲的作者Roger Pantos，HLS的技术主管，本次演讲主题是介绍低延迟HTTP实时流（Low-Latency HLS）的实现和效果以及如何使用低延迟 在演讲的开始，Roger首先描述了低延迟对于体育直播、新闻、即时互动游戏广播以及颁奖典礼和其他社交媒体活动等的重要性。 介绍了低延迟HLS的设计目标是1-2秒，并且具有速率适配、加密、广告、元数据、向后兼容等功能。 然后Roger介绍了低延迟HLS如何实现上述的目标，与之前的HLS相比有5大变化：减少发布延时、优化段发现、消除段往返、减少播放列表传输开销、快速切换层。随后介绍了完成这5项变化的细节。 接着Roger展示了使用低延迟HLS视频通话的延迟，在AppleTV上美国用户与澳大利亚用户在视频通话时的延迟低于2秒。 最后Roger介绍了对于开发者来说，如何使用低延迟HLS进行项目开发。
2.4K10发布于 2019-09-25 - 来自专栏大宽宽的碎碎念
延迟和吞吐的关系是什么？
原回答： https://www.zhihu.com/question/279164955/answer/405448070 所谓的“性能”一般指的是吞吐和延迟这两件事。 但是店员给你拿一个，和给几个人同时拿多个乐高积木，跑腿的时间是几乎一样的。所以整体看来，付出了你需要多等一点点时间的代价，换来的是整个“吞吐”的提高。 相信通过这个例子你可以大概明白一个排队系统里吞吐和延迟的关系，大概就是： 当吞吐量小时，延迟比较低，但是延迟低到一定成都受限于网络延迟、磁盘IO延迟的物理限制，无法进一步降低； 通过batch/并发等方式 ，可以有效提高系统的吞吐，此时延迟会着上涨，但不会像吞吐量那样长的那么快。 当压力超过了系统的某个临界值，吞吐不升反降，并且延迟会急剧上升 然而，现实会更加的复杂。上面假设店员每次拿东西时的时间差不多，这已经是非常理想的情况了。
1.2K40发布于 2018-06-07 - 来自专栏媒矿工厂
低延迟DASH流
这次将介绍的是使用开放源代码工具的低延迟DASH流。 首先Bo介绍了低延迟DASH流是什么，其中，一个低延迟流，从编码器屏幕到播放器屏幕之间的延迟必须要低于5秒;视频片段会被分割成许多的块来进行编码传输;且低延迟的特性也决定了它在传输路径上不应有额外的缓冲 DASH-IF所提出的最新变动中，包含了这些特性：添加了许多重新同步的节点，来使流可以被独立地处理;增加了功能描述，来告知播放器应当如何在低延迟模式下进行工作。 Bo还介绍了在低延迟流中的前人工作，DVB低延迟DASH：使用GPAC软件实现的GPAC低延迟DASH;苹果的低延迟HLS，使用的是苹果服务器和IOS的音视频播放器，以及社区驱动的LHLS。 最后Bo讨论了一些低延迟DASH的潜在问题，首先低延迟DASH的灵活性比传统的低延迟流要差;块的大小和延迟之间也存在着交换;低延迟DASH只支持HTTP/1.1。 最后附上演讲视频：
1.6K20发布于 2021-01-25 - 来自专栏用户11163528的专栏（2）
新加坡网络枢纽带来的全球高可用与低延迟
新加坡hn网络枢纽带来的全球高可用与低延迟新加坡地处亚洲网路枢纽核心，连接东南亚、南亚及中东、欧洲、北美多条国际海底光缆，天然具备优异的国际带宽资源与冗余能力。 借助新加坡的丰富链路，面向全球用户时能够实现平均低于100ms的访问延迟，从而满足实时交互、视频直播、电商高峰促发等对网络时延敏感的业务需求。 高性能硬件与弹性架构保障大规模并发新加坡数据中心普遍采用先进的硬件配置，包括最新一代的高主频多核CPU（如Intel Xeon Scalable、AMD EPYC系列）、NVMe SSD阵列与分布式存储 全方位运维与安全体系保障稳定上线新加坡IDC与云平台均提供完善的监控、告警与自动化运维工具，包括Prometheus、Grafana、Zabbix等，实现对CPU、内存、磁盘、网络吞吐及应用层性能的实时监控和趋势分析 综上所述，新加坡服务器凭借卓越的国际互联优势、顶级硬件与弹性架构，以及成熟的运维与安全体系，完全能够支撑大规模、高并发的全球化网站和应用，成为企业出海与多区域部署的首选节点。
64410编辑于 2025-04-27 - 来自专栏量子位
高吞吐低延迟低功耗｜登顶GitHub热榜、已开源
除了高吞吐量、低延迟，StreamDiffusion还做到了低功耗。单块RTX3060上，可降低58.2%的功耗；单块RTX4090，降低49.8%。 如此一来，可以大大减少UNet推理次数，显著提高吞吐量。 此外，原先的CFG算法中，需要额外大量计算负样本，导致计算效率低下。
35210编辑于 2023-12-28 面向万亿参数模型的专用计算架构：低延迟、高吞吐率云基础设施的系统集成与性能评估
领导者面临战略抉择：是沿用为传统Web应用和IT需求定制的通用型云平台，还是转向专为大规模训练、低延迟推理和快速迭代设计的专用AI云。 、延迟容忍的网络低延迟、高吞吐量的管道，微秒级差异至关重要静态数据输入/输出步骤数据动态、安全地流向所需位置，加速结果产出第二部分：专用AI云的体系结构重构专用AI云的本质在于其为AI规模化需求而重新设计的体系结构 AI云提供分布式AI原生对象存储、向量数据库和高吞吐量数据管道，确保训练集快速移动，推理保持低延迟，实验得以无缝扩展。AIOps与智能体开发的工作流嵌入性能的复合增长依赖于模型在工作流程的实时优化。 这正是专用AI云架构价值的理论投射：当RAG流程需要高维向量的快速查找和多步骤的智能体编排时，通用云的碎片化存储、高延迟网络将直接导致RAG的准确性和实时性退化。 性能在各个层面得到优化，从大规模微调到高吞吐量推理。
25710编辑于 2025-11-08- 来自专栏媒矿工厂
低延迟直播流技术
，但也因此会带来较大的延迟，因此低延迟也要在回放稳定性问题上进行权衡。 视频传输过程中往往对视频进行分段传输，因此，直播延迟也与视频分段的长度有关。 下面演讲者介绍了实现低延迟传输的方法。 实现低延迟最简单方法是，取用更短的视频片段，但是这会影响视频编码效率，同时也降低CDN缓冲的效率，带来更多的问题。 而更好的低延迟方法则是分块分发（Chunked delivery），对视频片段进行分块编码，分块传输，减弱片段长度对直播延迟的影响。 最后，演讲者还介绍了低延迟在MPEG-DASH以及Apple HLS协议中的整合，并介绍了低延迟传输的一些实际应用。
1.9K20发布于 2020-05-20 - 来自专栏RTSP/RTMP直播相关
Android音视频直播低延迟探究之：WLAN低延迟模式
Android WLAN低延迟模式Android WLAN低延迟模式是 Android 10 引入的一种功能，允许对延迟敏感的应用将 Wi-Fi 配置为低延迟模式，以减少网络延迟，启动条件如下：Wi-Fi “LOW_LATENCY”： 表示低延迟。低延迟对于一些对实时性要求较高的应用非常重要，例如在线游戏、视频会议、实时流媒体等。 在这种模式下，Wi-Fi 连接会尽量减少数据传输的延迟时间，以确保快速响应和流畅的交互体验。二、可能的应用场景在线游戏 对于竞技类在线游戏，低延迟是至关重要的。 实时流媒体 对于观看实时体育赛事、音乐会等流媒体内容，低延迟可以减少缓冲时间，提供更即时的观看体验。三、实现方式硬件支持 设备的 Wi-Fi 芯片和天线需要支持低延迟功能。 一些高端的 Wi-Fi 芯片可能会专门针对低延迟应用进行优化，提供更好的性能。软件配置 操作系统和应用程序可以通过设置来启用低延迟模式。
96310编辑于 2024-11-12 - 来自专栏音视频技术
Apple 低延迟HLS分析
低延迟HLS技术草案 2019年的WWDC上，Pantos宣布了最新的HLS草案，今年的变化旨在减少实时视频流的延迟。这个消息一出，业界反响很大，几家欢乐几家愁。 以上基本上就是这次苹果对低延迟HLS提出的技术草案，苹果也提供了参考实现用于测试和演示。 初步分析认为iOS13 beta里Apple还没有完全实现低延迟HLS的客户端功能。 ? ? ? ? AVPlayer的实现发现服务端对低延迟HLS支持不好的话，会自动切换回标准的HLS，让视频继续正常播放，所以测试低延迟HLS的时候只看视频是否能播放还不行，要抓包分析，确认低延迟HLS机制正常工作。 ，之前就有强力推动IPV6、HTTPS的先例，相信假以时日，Apple低延迟HLS也会成为业界标配。
5K63发布于 2019-07-01 - 来自专栏网络随笔
利用腾讯云轻量进行端口转发，实现低延迟高网速
国外的服务器，大部分网络都不太好，但是又有很多小伙伴爱买海外的服务器。有没有什么办法可以流畅管理这些机器呢？我们可以拿一台网络较好的云主机来中转一下SSH和RDP连接。
11K121编辑于 2022-03-15 - 来自专栏媒矿工厂
实时低延迟流式传输
本文来自BITMOVIN，由Jameson Steiner编辑，文章主要内容是“实时低延迟流式传输”。 什么是实时低延迟？ 实时流媒体的低延迟是指事件内容在媒体交付链的一端被捕获并在另一端向用户播放之间的时间延迟。 图1 端到端视频编码流程 低延迟是当前媒体行业最大的挑战之一，本文将深度探讨为什么需要关注低延迟。 为什么要关注低延迟？ 高延迟是最低的需求，而实时是最高的要求。可以参阅图2延迟频谱（包括延迟类型，延迟时间和流格式）： ? 低延迟分块传输 低延迟分块传输除了带来低延迟，还有以下几点影响： 不断接收到的CMAF块流中，可以使客户端缓冲区级别更平滑，跳动更少。因此降低了缓冲区欠载的风险并提高了播放稳定性。
3.1K31发布于 2020-07-07 - 来自专栏DataFunTalk
翟佳：高可用、强一致、低延迟——BookKeeper的存储实现
第二类是大数据场景，例如2010年左右随着实时计算的广泛使用，Kafka的这种高带宽和高吞吐使用需求。 BookKeeper使用packet source协议和ZooKeeper的zap协议，通过log append only的方式实现了低延迟和高吞吐。 在APCP里选择CP，而availability是通过多副本并发的方式提供高可用，BookKeeper有着低延迟、高吞吐、持久化、数据的强一致性、服务的高可用、单节点可以存储很多日志、IO隔离等优势，针对这些特性在后文会展开介绍 BookKeeper可用性读的高可用读的访问是对等的，任意一个节点返回就算读成功。这个特性可以把延迟固定在一个阈值内，当遇到网络抖动或坏节点，通过延迟的参数避障。 高吞吐低容量的PMem非常适合Journal持久话刷盘的需求，例如宕机后，需要对没刷到磁盘的这部分数据做恢复，需要Journal做replay log重放，由于只是增量日志而非全量数据，所以并不需要很大的容量
1.9K42编辑于 2022-07-22 - 来自专栏腾讯云音视频专家服务
低延迟直播的实现方法
直播实现低延迟，是对大部分直播产品的要求，也是提升直播产品用户体验最有效的一个方法。特别是体育赛事、直播互动、在线答题等场景对低延迟要求更高。今天简单跟大家介绍下如何直播如何实现低延迟。 通常RTMP/FLV协议延迟在1~3秒，这两种协议延迟的主要因素是上面说的网络传输延迟和GOP的大小，三种协议的比较如下： 直播协议 优点 缺点 播放延迟 FLV 成熟度高、高并发无压力 需集成 SDK 才能播放 2s - 3s RTMP 优质线路下理论延迟最低 高并发情况下表现不佳 1s - 3s HLS(m3u8) 手机浏览器支持度高 延迟非常高 10s - 30s FLV延迟一般在2-10秒左右 ，就注定它不是低延迟直播的最佳解决方案。 4.png 5.png 小结 今天给大家介绍了如何判断直播延迟、延迟产生的原因、排查方法以及腾讯云快直播低延迟解决方案，相信在这个过程中大家已经对直播延迟有一定的理解，以后遇到直播延迟问题也知道从哪里入手
5.5K80发布于 2020-12-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号