- 综合排序
- 最热优先
- 最新优先
- 来自专栏JAVA
推理延迟：解决PyTorch模型Inference阶段的RuntimeError ⏳⚡
推理延迟：解决PyTorch模型Inference阶段的RuntimeError ⏳⚡ 摘要 大家好，我是默语，擅长全栈开发、运维和人工智能技术。 在PyTorch模型的推理阶段，RuntimeError是常见的问题之一。这类错误通常会导致模型推理延迟，严重影响模型的实时性能和用户体验。 然而，在模型推理阶段，我们常常会遇到各种RuntimeError，这些错误会导致推理过程延迟甚至失败。本文将详细分析这些错误的常见原因，并提供一系列有效的解决方法。 这类错误在模型推理阶段尤为常见，因为推理过程对时间要求较高，任何小的错误都可能导致显著的延迟。 表格总结 解决方案 优点 注意事项 检查和调整数据格式 确保数据格式与模型期望一致 使用torch.reshape时需注意目标形状 确保内存充足 提高推理效率，减少推理延迟 需确保GPU和内存资源充足
1.3K10编辑于 2024-11-22 如何破解AI推理延迟难题：构建敏捷多云算力网络
3、推理服务层 ：模型服务的“前线阵地”推理平台是直接承接业务请求、完成模型推理计算的节点，具备以下特点：分布广泛，通常部署在全国多个地域，贴近用户或边缘节点；每次计算轻量，但请求量巨大、波动频繁，对响应延迟敏感 4、训练算力层：模型训练的强力引擎相比推理平台，训练任务通常对资源有更高要求，训练平台需要具备：大规模 GPU 资源，通常集中部署在少数几个高性能算力集群；高带宽、低延迟的内网传输能力，以支撑海量训练数据读写 以一家专注于文生图的AI初创企业为例，在产品上线前夕突遇训练节点调度不稳定的问题，溯源发现是网络在多云资源池间连接延迟过高。 02、一张融合又隔离的网络训练和推理虽然共享底层架构，但对带宽、延迟、合规等网络指标要求迥异：■ 训练任务：带宽大、持续时间长、容忍延迟，重数据一致性与吞吐；■ 推理服务：请求频繁、对响应延迟敏感，要求链路尽可能短 尤其在推理服务爆发式增长后，企业面临以下挑战：■ 难以监控整条链路（从端侧 → 中台 → 推理节点）的请求响应时延；■ 当推理响应变慢时，无法快速定位是网络问题、调度延迟，还是推理节点负载过高；■ 大量请求突发时
35810编辑于 2025-09-16- 来自专栏DeepHub IMBA
ONNX Runtime Python 推理性能优化：8 个低延迟工程实践
在深度学习落地过程中，有一个常见的误区：一旦推理速度不达标，大家的第一反应往往是拿着模型开到，比如：做剪枝、搞蒸馏、甚至牺牲精度换小模型。 实际上生产环境中的 Python 推理链路隐藏着巨大的“工程红利”。很多时候你的模型本身并不慢，慢的是低效的数据搬运、混乱的线程争用以及不合理的 Runtime 默认配置。 以下是 8 个经过实战验证的低延迟优化策略，专治各种“莫名其妙的慢”。 6、CPU 推理？直接上量化 如果只能用 CPU，INT8 量化或者动态量化是提速神器。配合 CPU 的向量指令集能极大减少矩阵乘法的开销。 providers=providers) x = np.random.rand(1, 3, 224, 224).astype(np.float32) print(bench(sess, x)) 总结 做低延迟推理没有什么黑科技
34510编辑于 2025-12-30 - 来自专栏DeepHub IMBA
TensorRT 和 ONNX Runtime 推理优化实战：10 个降低延迟的工程技巧
只要精度守得住，延迟的改善非常直接。 TensorRT 开 FP16 就是一个 flag 的设置：config.set_flag(trt.BuilderFlag.FP16)。 micro-batch 在 GPU 上效果明显 单条请求跑推理简单，但硬件利用率往往上不去。打包成 4-8 个请求一起跑，能在保持低延迟的同时提升吞吐。 CUDA Graph 能把整个推理过程录制下来，replay 时几乎没有 CPU 开销。 这里可以理解成在 GPU driver 层面把推理编译成一个可重放的宏。 后面再加上 CUDA Graph、micro-batch 和固定 shape，能把延迟压到很低，基本上拿来就可以用了 几个容易踩的坑 延迟指标一定要看 p50/p90/p95，别只盯平均值。
51110编辑于 2025-11-15 - 来自专栏AI SPPECH
144_推理时延优化：Profiling与瓶颈分析 - 使用PyTorch Profiler诊断推理延迟，优化矩阵运算的独特瓶颈
随着模型规模的不断扩大（从数亿参数到数千亿甚至万亿参数），即使在最先进的硬件上，推理延迟也常常成为用户体验和系统吞吐量的主要瓶颈。 1.1 推理时延优化的重要性 大语言模型的推理延迟直接影响着： 用户体验：实时应用场景（如聊天机器人、客服系统）要求响应时间通常在几百毫秒以内 系统吞吐量：延迟优化可以显著提升单位时间内处理的请求数量 成本效益比：相同硬件条件下，更低的延迟意味着更高的资源利用率 扩展能力：优化的推理性能使得模型能够在更多样化的硬件平台上部署 在当前的大模型生态中，即使是微小的延迟优化（例如降低10%的推理时间）也能带来显著的商业价值 1.1.1 延迟（Latency） 延迟是指从输入请求到获得输出结果的总时间。 对于大语言模型，我们通常关注： 端到端延迟：完整推理过程的总时间，包括数据预处理、模型计算和后处理 推理延迟：仅模型计算部分的时间 Token生成延迟：生成单个Token所需的时间（在自回归生成中尤为重要
40510编辑于 2025-11-16 - 来自专栏C博文
边缘计算+AI算力网络：如何构建低延迟、高并发的实时推理系统？
这种结合为构建低延迟、高并发的实时推理系统提供了新的可能。 ，进一步降低推理延迟。 构建低延迟、高并发的实时推理系统 系统架构设计 构建低延迟、高并发的实时推理系统，首先需要设计一个合理的系统架构。 常用的性能评估指标包括： 延迟指标 延迟是实时推理系统中最关键的性能指标之一，包括以下几种： 端到端延迟：从数据输入到结果输出的总时间。端到端延迟是用户最关心的指标，反映了系统对用户请求的响应速度。 例如，可以将边缘计算节点部署在5G基站附近，提供低延迟、高带宽的AI推理服务。
1.2K10编辑于 2025-07-19 - 来自专栏时空探索之旅
AI论文速读 | YingLong：基于联合预测框架与延迟链式推理的时序预测基础模型
关键词： 时间序列预测、基础模型、联合预测框架、延迟链式推理（DCoT） 摘要 本文提出了一种用于时间序列预测的联合预测框架，该框架与传统的直接或递归方法形成对比。 这个框架为本文设计的基础模型 “YingLong” 实现了最先进的性能，并揭示了一种新的尺度效应：由于非因果方法中延迟的思维链推理，更长的输出显著提高了模型精度。 延迟链式推理（Delayed Chain-of-Thought, DCoT） 延迟链式推理：论文发现了一个新的现象，即通过延长输出序列（即增加延迟链式推理的长度），可以显著提高模型的预测精度。 这种现象被称为延迟链式推理（DCoT）。在DCoT中，未来的token（即链式推理token）可以影响过去的token，从而提供更多的上下文信息，增强模型的推理能力。 延迟链式推理（DCoT）的影响实验 实验目的：验证延迟链式推理（DCoT）对模型性能的影响。 实验方法：通过改变DCoT的长度，观察模型在GIFT-Eval基准测试中的性能变化。
47510编辑于 2025-07-08 - 来自专栏海向
RabbitMQ 延迟队列，消息延迟推送
目录 应用场景 消息延迟推送的实现 测试结果 ---- 应用场景 目前常见的应用软件都有消息的延迟推送的影子，应用也极为广泛，例如： 淘宝七天自动确认收货。 这种解决方案相较于消息的延迟推送性能较低，因为我们知道 redis 都是存储于内存中，我们遇到恶意下单或者刷单的将会给内存带来巨大压力。 消息延迟推送的实现 在 RabbitMQ 3.6.x 之前我们一般采用死信队列+TTL过期时间来实现延迟队列，我们这里不做过多介绍，可以参考之前文章来了解：TTL、死信队列 在 RabbitMQ 3.6 .x 开始，RabbitMQ 官方提供了延迟队列的插件，可以下载放置到 RabbitMQ 根目录下的 plugins 下。 延迟队列插件下载 ? 首先我们创建交换机和消息队列，application.properties 中配置与上一篇文章相同。
2.7K10发布于 2019-09-23 - 来自专栏玩转 Spring Cloud
Rabbitmq 通过延迟插件实现延迟队列
Rabbitmq 通过延迟插件实现延迟队列 文章目录 DLX+TTL 存在时序问题 安装延迟插件 下载地址 安装 Java 代码实现 DLX+TTL 存在时序问题 由于队列先入先出的特性 通过死信队列(DLX)和给每条消息设置过期时间(TTL)来实现延迟队列, 会存在时序问题. 可以通过给 Rabbitmq 安装延迟插件来实现延迟队列功能 安装延迟插件 下载地址 rabbitmq-delayed-message-exchange 插件可到这里下载: RabbitMQ 延迟插件 RabbitAdmin.class); TopicExchange exchange = new TopicExchange("exchange.delay"); // 交换器设置延迟属性 class MsgListener { @RabbitHandler public void msgHandler(String msg) { log.info("接收到的延迟消息
1.7K20编辑于 2022-05-05 - 来自专栏ATYUN订阅号
NVIDIA AI推理性能里程碑：高吞吐量，高效率，低延迟
TensorRT推理服务器也是新产品，这是一种容器化推理微服务，可最大限度地提高NVIDIA GPU的利用率，并与Docker和Kubernetes无缝集成到DevOps部署中。 此处显示的数据适用于高容量吞吐量，通常以批量大小128运行，其中低延迟不一定是问题，因为高容量吞吐量是最重要的。 延迟：对于越来越多的AI驱动的实时服务，低延迟是一个关键因素，NVIDIA V100和T4都可以提供大约1ms的延迟，使实时服务可以轻松扩展。 这种类型的服务器部署可以很好地处理高批量和实时推理，视频转码甚至分布式训练工作负载。 随着AI服务的数量和复杂程度不断提高，驱动他们的明显趋势是加速推理。 因此，无论是扩展还是横向扩展，加速使用任何框架构建的任何类型的网络，NVIDIA V100和T4都已准备好迎接挑战，提供制作这些服务所需的高吞吐量，低延迟和高效率，使这些服务和产品成为现实。
1.7K10发布于 2018-12-13 - 来自专栏java大数据
事件延迟
事件延迟 事件延迟（项目心得） 马克- to-win：马克 java社区：防盗版实名手机尾号： 73203。
1.4K20发布于 2020-12-23 - 来自专栏linux驱动个人学习
延迟绑定
延迟绑定实现 在动态链接下,程序模块之间包含了大量的函数引用(全局变量往往比较少,因为大量的全局变量会导致模块之间耦合度变大),所以在程序开始执行前,动态链接会耗费不少时间用于解决模块之间的函数引用的符号查找以及重定位 所以ELF采用了一种叫做延迟绑定(Lazy Binding)的做法,基本的思想就是当函数第一次被用到时才进行绑定(符号査找、重定位等),如果没有用到则不进行绑定。 PLT为了实现延迟绑定，在这个过程中间又增加了一层间接跳转。调用函数并不直接通过GOT跳转，而是通过一个叫做PLT项的结构来进行跳转。 如果链接器在初始化阶段已经初始化该项,并且将bar()的地址填入该项,那么这个跳转指令的结果就是我们所期望的,跳转到bar(0,实现函数正确调用但是为了实现延迟绑定,链接器在初始化阶段并没有将bar()
1.5K20发布于 2019-05-25 - 来自专栏AI
延迟优化
生成更少的令牌在使用LLM时，生成令牌几乎总是延迟最高的步骤：作为一般性的经验法则，减少50%的输出令牌可能会减少约50%的延迟。 话虽如此，看看推理步骤本身，它们可能并不都需要 GPT-4 级别的推理能力来产生。这些明确定义、范围有限的特性使它们成为进行微调的良好潜在候选者。 助理提示 - 推理该提示将传递给 GPT-3.5，并可以根据精选示例进行微调。有何变化？" 事实上，现在推理提示不依赖于检索到的上下文，我们可以并行地与检索提示同时进行。第三部分：优化结构化输出让我们再次看一下推理提示。仔细观察推理的JSON，您可能会注意到字段名称本身相当长。 将助理提示拆分成两部分，再次切换到更小、经过微调的 GPT-3.5 进行推理，以更快地处理令牌。并行化检索检查和推理步骤。缩短推理字段名称并将注释移到提示中，以减少生成的令牌数。
80310编辑于 2024-05-13 - 来自专栏JavaEdge
为什么kafka延迟比rocketmq延迟高
说kafka延迟比rocketmq延迟高 是有一个前提的 就是topic较多的时候 这个和这2个MQ的数据存储结构有关系的 在topic少的时候延迟基本一致。 它的数据结构如下 其中topic是逻辑概念，分区对应就是一个物理文件夹： 所以在topic比较多时，分区文件数量会非常庞大 磁盘顺序读效率还不如随机读效率，则会在topic比较多时 磁盘顺序读就蜕变为随机读，延迟也就高了 rockertmq 就诞生了 它的数据存储结构 对此做了优化 日志目录只有一个 commit log ，结构如下： 出发点不一样，kafka定位就是处理日志和大数据 在这些业务领域，topic不会太多，延迟问题自然也就没有 而rocketmq有pull、push两种模式 （虽然这个push模式是假push），push模式延迟肯定是比pull模式延迟低。 rabbit 的push模式 是真的push 所以 延迟最低的就是兔子。 兔子不支持分布式，只支持主从模式 本身设计就是小而美的单机版。cpu消耗比kafka之类低多了。
1.5K30编辑于 2022-11-20 - 来自专栏人人都是架构师
HugggingFace 推理 API、推理端点和推理空间使用介绍
本文将介绍 HuggingFace 的推理 API、推理端点和推理空间的使用方法。 页面小组件 推理 API 有两种使用方式，一种是在模型页面的右侧找到推理 API 的小组件页面，初始界面如下图所示： 我们可以在这个页面中上传图片，然后就可以看到模型进行推理运行，等一会后推理结果就出来了 (Endpoint) 推理 API 虽然方便，但推理 API 一般用于测试和验证，由于速率限制，官方不推荐在生产环境中使用，而且也不是所有模型都有提供推理 API。 信息确认无误后点击Create Endpoint按钮创建推理端点，创建成功后可以进入推理端点的详情页面看到如下信息： 其中Endpoint URL就是部署好的推理端点地址，我们可以跟调用推理 API 总结 本文介绍了 HuggingFace 的推理 API、推理端点和推理空间的使用方法，推理 API 是免费的，使用 HuggingFace 自建的 API 服务，推理端点是部署自己专属的 API 服务
4.3K40编辑于 2023-09-17 - 来自专栏新智元
推理延迟降低60%，大模型玩手机更溜了
编辑：LRST 【新智元导读】OmniParser V2可将屏幕截图转换为结构化元素，帮助LLM理解和操作GUI；在检测小图标和推理速度上显著提升，延迟降低60%，与多种LLM结合后表现优异。 OmniParser-v2.0 Demo：https://huggingface.co/spaces/microsoft/OmniParser-v2 OmniParser方法概述 可交互区域检测 从UI屏幕中识别可交互区域是推理用户任务应执行何种操作的关键步骤 与V1相比，它在检测更小的可交互元素方面达到了更高的准确率，同时推理速度更快，使其成为GUI自动化的有力工具。 此外，通过减少图标描述模型的图像输入尺寸，OmniParser V2的推理延迟比上一版本降低了60% 值得注意的是，OmniParser与GPT-4o结合后，在最新发布的 ScreenSpot Pro基准测试上达到了
73310编辑于 2025-03-07 - 来自专栏全栈程序员必看
rocketmq延迟队列原理_rocketmq延迟队列原理
在java的延迟队列中，无法支持集群的延迟。 Redis可以做到对应的延迟功能，但是自己封装毕竟局限于业务。而且封装也需要耗费一定时间。 今天我们就讲一个现有的延迟队列，不仅支持分布式服务，而且解耦业务代码，而且支持不同延迟时间的造好的轮子吧。 ~ 那就是 RocketMQ 延时队列。 在这里将topic和queueId替换为延迟队列的队列（SCHEDULE_TOPIC_XXXX)，这样就保证消息不会立即被发送出去。 那在这里被替换后，是怎么保证延迟发送呢？ 如果到了延迟时间，就发送消息 否则就继续进行延迟返送。 总结，RocketMQ的延迟消息，使用起来方便，而且解耦代码，但是配置的延迟时间不够灵活。
2.5K20编辑于 2022-11-17 - 来自专栏CreateAMind
因果推理比概率推理更难吗？
统计和因果推理中的许多任务可以被解释为合适的形式语言中的蕴含问题。我们问，从计算的角度来看，对于因果概率语言来说，这些问题是否比纯概率（或“关联”）语言更困难。 尽管从多种意义上讲，因果推理确实更复杂——无论是表达上的还是推理上的——我们表明因果蕴涵（或可满足性）问题可以系统地、稳健地简化为纯粹的概率问题。因此，计算复杂性不会增加。 毫无争议的是，因果推理比纯粹的概率或统计推理更困难。后者似乎已经足够困难了：估计概率、根据过去的观察预测未来事件、确定统计显着性、在统计假设之间做出裁决——这些已经是艰巨的任务，长期陷入争议。 因果推理问题似乎只会让我们的任务变得更加困难。推断因果效应、预测干预结果、确定因果方向、学习因果模型——这些问题通常需要统计推理，但也对研究者提出更多要求。 从推理的角度来看，概率信息远远不能确定因果信息。 统计推断和因果推断的一个共同特征是，每种方法最突出的方法都可以（至少部分地）理解为试图将归纳问题转化为演绎问题。
26710编辑于 2024-03-25 - 来自专栏清墨_iOS分享
iOS dispatch_after延迟执行导致延迟dealloc
image.png 结果说明我们dismiss的时候，newVC还没有被释放，dealloc方法在dispatch_after延迟方法执行之后才会走，原因就是dispatch_after强引用了self 使用注意 虽然dispatch_after里直接调用self不会造成循环引用，但当我们dispatch_after延迟时间过长的时候，需要考虑是否要及时释放当前对象，如果需要，尽量使用weakSelf这种方式
2.5K20发布于 2021-04-15 - 来自专栏全栈程序员必看
ViewStub延迟加载
需要注意的几点： 1.ViewStub之所以常称之为“延迟化加载”，是因为在教多数情况下，程序无需显示ViewStub所指向的布局文件，只有在特定的某些较少条件下，此时ViewStub所指向的布局文件才需要被
2.2K10编辑于 2022-09-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号