- 综合排序
- 最热优先
- 最新优先
- 来自专栏PyVision
使用TVM优化PyTorch模型实现快速CPU推理
推理太慢？只好想办法把 CPU 榨干啦。 作者：Aleksey Bilogur 编译：McGL Apache TVM 是一个相对较新的 Apache 项目，以深度学习模型推理的性能大幅改进为目标。 安装 TVM 为了了解 TVM 的性能优势，我编译了一个在 CIFAR10 上进行训练的简单 PyTorch Mobilenet 模型，并测试了它在 TVM 编译之前和之后的推理时间。 请注意，为了节省时间，我们执行的是一个只有10次测试运行的试验。对于生产用例，TVM 的应用 Python 入门指南推荐 CPU 运行1500次测试，GPU 运行3000次左右。 对结果模型进行基准测试 我记录了在 CPU 上这个模型的两个不同版本运行一批数据的时间，并计算了运行多次推理所需的平均时间。第一个是基准的 PyTorch 模型，没有量化和编译。 模型的编译版本的推理时间比基准模型快30倍以上！ 事实上，值得注意的是，在 CPU 上编译的模型运行速度与 GPU 上的基准模型(g4dn.xlarge，NVIDIA T4实例)相当。
2.7K31发布于 2021-07-07 - 来自专栏信创系统开发
能在 CPU 上运行的开源大模型推理框架
1-bit 量化可以大幅加快模型推理速度，同时减少内存使用，使得在 CPU 上推理成为可能。 BitNet.cpp旨在通过优化内核为 CPU 上运行的 1.58-bit 模型提供快速且无损的推理支持，并在未来版本中计划支持 NPU 和 GPU 。 BitNet.cpp的开源为1-bit LLM的普及和大规模推理打开了新的大门，其在CPU上的高效推理性能，极大地扩展了大模型在本地设备上的可行性。 有这么好的开预案项目，当然要尝试一下。 小结 与主流 LLM 推理框架（如 Hugging Face Transformers 或 DeepSpeed）相比，BitNet.cpp 的独特优势在于专注于低比特模型推理，从而显著降低了计算资源需求 不同于传统框架需借助 GPU 才能达到高效推理速度，BitNet.cpp 通过高效的低比特量化技术，仅依赖 CPU 也能实现接近或等同的推理性能。这一优势可以大大推进侧端大模型的普及。
1.3K10编辑于 2025-01-23 - 来自专栏CreateAMind
difflogic 单核CPU推理每秒超一百万张MNIST
networks allow for very fast classification, with speeds beyond a million images per second on a single CPU networks achieve fast inference speeds, e.g., beyond a million images of MNIST per second on a single CPU 10 classes of MNIST. for a 10-dimensional classification setting. This allows especially efficient static execution of a fixed trained logic gate network on CPU.
47510编辑于 2023-09-13 - 来自专栏深度学习自然语言处理
FastFormers：实现Transformers在CPU上223倍的推理加速
作者：Parth Chokhra 编译：ronghuaiyang 导读 使用多头注意力的Transform在cpu上实现222倍的加速。 ? CPU上采用8bit量化方法，GPU上将所有模型参数转换为16位浮点数据类型，最大限度地利用高效Tensor Cores。 神经网络剪枝技术可以使训练网络的参数减少90%以上，在不影响精度的前提下减少存储需求，提高推理的计算性能。这有助于减小经过训练的神经网络的大小或能量消耗，并有助于使推理更有效。 在CPU上的8bit量化矩阵乘法：由于减少了CPU指令数量，8bit量化矩阵乘法与32位浮点运算相比带来了显著的速度提升。 batch size为1的BoolQ验证数据集上的CPU推理加速 总结 本文介绍了FastFormers，它能对基于Transformer的模型在各种NLU任务上实现高效的推理时间性能。
2.3K10发布于 2021-03-01 - 来自专栏信创系统开发
专门针对 DeepSeek 的纯 C++ CPU 端推理框架
代码量不到 2000 行，对研究推理框架的开发者而言，这无疑是一个极简、高效的参考。 除了大模型，推理框架（Inference Framework）在目前大语言模型（LLM）部署中也存在较大的优化空间。 大部分开发者使用的推理框架多采用 Python 或 JavaScript，虽然通用性更强，但在极限性能追求下，C++ 方案逐渐崭露头角，例如 llama.cpp。 此外，deepseek.cpp 还特别适用于低端 CPU 设备，因为它不依赖 Python 运行时，相比其他推理引擎，代码体积更小（除掉 fmt 和 json 的代码量小于 2 千行）。 建议爱好钻研的同学可以关注一下，至于纯 CPU 推理对于内存要求过高的问题，以后也将不是问题，毕竟内存比 GPU 更容易造。
1K10编辑于 2025-02-10 - 来自专栏芯智讯
新至强训练推理增效10倍，英特尔CPU加速AI更上一层楼
（FP32）的 5.7-10 倍，训练性能提升最高也能提升到上一代产品的 10 倍…… 这意味着，这款新至强，把业界顶级 CPU 的性能门槛一下子提高了不少。 相比之下，CPU 内置 AI 加速能力，主攻 AI 推理加速，并搭配以更为简单易用、能够部署和优化难度的软件工具，会是一条更为行之有效的路径。 正如前文所述，第四代至强可扩展芯片不仅可借助 AMX 实现相当于上一代芯片（FP32）10 倍的 AI 性能提升，与前两代产品使用的深度学习加速技术相比，其理论性能（每秒操作量）最高也可以达到其 8 倍之多 如果说 AMX 为至强 CPU 带来的是直观的推理和训练加速，那么第四代至强可扩展芯片内置的其他几种加速器，就是为 AI 端到端应用加速带来的惊喜。 例如，它采用了与英特尔第 12、13 代酷睿同款的 Intel 7 制造工艺（改进版 10nm 制程）和 Golden Cove CPU 架构，同时首次引入 chiplet 小芯片封装方式，最多可搭载
1.1K40编辑于 2023-02-09 官方预览：YOLO26正式宣布，10月发布，CPU推理速度提升43%
这提醒我们，在看到10月下旬最终发布前，这些性能指标可能还会调整。 架构简化：移除DFL模块通过移除分布焦点损失（DFL）模块，简化了模型设计，这一改进直接提升了推理速度并优化了边界框回归。 端到端推理：告别NMS创新性地引入了端到端推理选项，使模型能够跳过传统的非最大值抑制（NMS）步骤。这一突破性方法由清华大学的王敖在YOLOv10中首创，并在YOLO26中得到进一步发展。 性能提升：CPU推理速度提升43%最具说服力的是数据——YOLO26的最小版本nano型号在标准CPU上的运行速度比前代提高了43%，特别适合移动应用和边缘设备。 结语：10月底值得期待的重大更新YOLO26将于10月底公开发布，届时开发者将能亲身体验这一跨越式升级的性能表现。
3.5K80编辑于 2025-09-28- 来自专栏机器之心
CPU推理提升4到5倍，苹果用闪存加速大模型推理，Siri 2.0要来了？
论文地址：https://arxiv.org/pdf/2312.11514.pdf 具体来讲，研究者讨论了一种受硬件启发的成本模型，其中包括闪存、DRAM 和计算核心（CPU 或 GPU）。 与 CPU 和 GPU 中的 naive 实现相比，优化该成本模型并有选择地按需加载参数的闪存策略可以运行两倍于 DRAM 容量的模型，并将推理速度分别提升 4-5 倍和 20-25 倍。 此外将数据从 DRAM 传输到 CPU 或 GPU 内存需要耗费更多能量。 在 DRAM 充足的场景中，加载数据的成本有所降低，这时模型可以驻留在 DRAM 中。 对于 GPU 机器上的 16 位模型，闪存加载时间缩短至 40.5 毫秒，内存管理时间为 40 毫秒，由于从 CPU 向 GPU 传输数据的额外开销，时间略有增加。 相比之下，基线延迟时间约为 2330 毫秒，本文的方法大约快 9 到 10 倍。 © THE END 转载请联系本公众号获得授权 投稿或寻求报道：content@jiqizhixin.com
56510编辑于 2023-12-28 - 来自专栏贾志刚-OpenCV学堂
普通PC上CPU运行YOLOv5推理 400+FPS
OpenVINO2022 OpenVINO2022.x版本全面抛弃了之前的SDK函数，升级为API2.0方式支持C++与Python推理，同时支持多种深度学习框架训练的模型部署，支持CPU与GPU推理， 图示如下： 流程与API2.0接口 常用组件与推理流程支持： 全新API2.0 接口： 支持IR11版本、推理支持ONNX。 对比之前的版本简化了诸多开发流程与函数使用： 效果演示 提供了更加强大的预训练模型库，超过200+的预训练模型，支持车牌识别： OCR识别 常见场景的行人检测与实例分割： 在推理层面支持同步与异步方式 ，异步方式支持通过回调实现后处理，实现视频流水线支持，下面是一系列的基于异步+流水线方式的推理演示（CPUi7 11th ）均达到了GPU3060的推理能力，截图如下：
1.9K40编辑于 2023-08-22 - 来自专栏机器之心
Mistral的首个强推理模型：拥抱开源，推理速度快10倍
机器之心报道 编辑：泽南 强推理终于要卷速度了。 大模型强推理赛道，又迎来一位重量级玩家。 借助 Le Chat 中的 Flash Answers，Magistral Medium 还能实现比大多数竞争对手多达 10 倍的 token 吞吐量。 Mistral 称，这基本可以实现大规模的实时推理和用户反馈。 有趣的是，Magistral 的核心设计原则是使用与用户相同的语言进行推理。在未经任何处理的数学和编程问题上进行强化学习通常会导致模型在推理过程中出现混合语言。 看起来，推理速度比竞品快 10 倍的竞争优势确实很大。 Magistral API 与其他领先 LLM 的推理成本对比。
34310编辑于 2025-06-12 高通CEO：正开发数据中心CPU和AI推理芯片！
财报显示，该季度营收同比增长10%至103.65亿美元，低于分析师平均预期的106.2亿美元；调整后净利润同比增长25%至26.7亿美元，调整后每股收益为2.77美元，略高于预期的2.72美元。 在最新的财报电话会议上，Amon进一步指出：“随着推理需求的规模扩大，云服务提供商正在构建专用的推理集群，不仅关注性能，还关注效率，特别是每美元/Token和每瓦/Token的效益。 这些因素加上从商用 x86 CPU 到面向云计算和 AI 节点的定制的兼容 Arm架构的CPU 的转变，为高通创造了一个切入点。” Amon表示，高通正在开发“通用的数据中心CPU”，并且“非常专注于超大规模企业”，因为“他们拥有兼容 Arm架构CPU的工作负载”。 从Amon的介绍来看，高通似乎除了正在开发数据中心CPU之外，还在开发面向数据中心的AI推理芯片。 “虽然我们正处于此次扩张的早期阶段，但我们正在与多个潜在客户接触。”
29510编辑于 2026-03-19- 来自专栏IT杂症
win10 磁盘100% cpu过高原因
一打开电脑发现cpu蹭蹭的往上窜，磁盘99% 打开任务栏一看发现是windows modules installer 这个货其实就是微软的自动更新程序
65020发布于 2021-11-08 - 来自专栏全栈程序员必看
【问题】Win10 system占用cpu资源高
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/126008.html原文链接：https://javaforall.cn
1.2K10编辑于 2022-07-22 - 来自专栏贾志刚-OpenCV学堂
Pytorh与tensorflow对象检测模型如何部署到CPU端，实现加速推理
OpenVINO框架支持训练好的pb模型转换为中间文件，在CPU端侧加速推理，对SSD系列的模型在酷睿i7 CPU8th端侧推理速度可达到100FPS左右。 OpenVINO支持C++/Python两种语言部署与推理。 之前写过一系列的相关文章可以直接查看这里 Tensorflow + OpenCV4 安全帽检测模型训练与推理 基于OpenCV与tensorflow实现实时手势识别 Tensorflow Object YOLOv5的Pytorch版本是官方的标准版本，模型分别为： YOLOv5s YOLOv5m YOLOv5l YOLOv5x 模型大小从小到大、支持的mAP精度从低到高，而且YOLOv5s非常适合在CPU 端侧运行，通过OpenVINO部署框架加速之后，酷睿i7 CPU8th端侧可以达到12FPS左右。
1.4K20发布于 2021-04-21 - 来自专栏贾志刚-OpenCV学堂
YOLO26 | C# 上位机部署推理，CPU加速FPS140+
三大核心优势： 极速CPU推理：通过原生端到端设计，移除NMS后处理步骤，CPU推理速度比前代提升高达43%，可在无GPU设备上实时运行。 其优势包括： 1）异步推理大幅提升吞吐率，适合视频流处理； 2）支持CPU、iGPU及NPU等多硬件加速，实时推理； 3）提供C# API，便于.NET开发者快速落地 代码实践与演示 第一步：构建C# OpenVINOYOLO26Detector detector = new OpenVINOYOLO26Detector(); detector.Detect(); 第二步：完整代码 - 构建YOLO26 OpenVINO C# 推理演示代码
50510编辑于 2026-04-15 - 来自专栏贾志刚-OpenCV学堂
YOLOv10模型结构详解与推理部署实现
YOLOv10模型 早晨看到一堆推文，说YOLOv10已经发布了，吓我一跳，这个世界变化这么快， 然后快速的看一下相关的文档，发现YOLOv10 相比YOLOv8有两个最大的改变分别是 添加了PSA层跟 ").export(format="onnx", dynamic=True) 单纯从推理上看 YOLOv10的确比YOLOv8简单很多，有点SSD模型得既视感。 推理代码实现如下： import cv2 as cv import numpy as np from openvino.runtime import Core # load model labels ") compiled_model = ie.compile_model(model=model, device_name="CPU") output_layer = compiled_model.output 然后下载它的源码之后，你会发现里面很多YOLOv8的包跟代码注释连名字都还没有改过来，特别是推理的演示代码里面还是YOLOv8的，我晕倒，能专业点不！
2.7K10编辑于 2024-05-28 - 来自专栏贾志刚-OpenCV学堂
YOLO26模型TensorRT10.x 推理详解
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 YOLO26系列模型 YOLO26 基于深度学习和 计算机视觉领域的最新进展构建，具备端到端NMS 推理和优化的边缘部署能力 推理部分实现代码： std::shared_ptr<YOLO26TRTDetector> detector(new YOLO26TRTDetector()); detector->initConfig( :Rect box = dr.box; cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10 Rect box = dr.box; // cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10 亲测证明，相比YOLO11，推理速度更快，更加匹配端侧视觉任务需求。
16710编辑于 2026-05-11 - 来自专栏OpenCV与AI深度学习
YOLOv10在PyTorch和OpenVINO中推理对比
导 读 本文主要介绍如何将YOLOv10模型转为OpenVINO支持的模型并做推理时间对比。 一对一头：在推理过程中为每个对象生成一个最佳预测，无需 NMS，从而减少延迟并提高效率。 主要功能 无 NMS 训练：利用一致的双重分配来消除对 NMS 的需求，从而减少推理延迟。 YOLOv10-M：通用中型版本。 YOLOv10-B：平衡型，宽度增加，精度更高。 YOLOv10-L：大型版本，精度更高，但计算资源增加。 YOLOv10-X：超大型版本可实现最高精度和性能。 在我的计算机上，配备 Intel(R) Core(TM) i7–7560U CPU @ 2.40GHz，我将首先使用 PyTorch 格式的模型，即 640x640 和 Half，即 fp16 from 否则将产生错误的推理结果。
1.8K10编辑于 2024-06-21 - 来自专栏NLP小白的学习历程
操作系统概念学习笔记 10 CPU调度
操作系统概念学习笔记 10 CPU调度 ---- 多道程序操作系统的基础。通过在进程之间切换CPU，操作系统可以提高计算机的吞吐率。 I/O约束程序通常具有很多短CPU区间。CPU约束程序可能有少量的长CPU区间。这种分布有助于选择合适的CPU调度算法。 平均等待时间： (0+0+(5-3)+(10-1)+(17-2))/4 = 26/4 = 6.5 非抢占SJF: (0+(8-1)+(12-3)+(17-2))/4 = 7.75 优先级调度（priority 对于下例，假设数字越小优先级越高 进程 区间时间 优先级 P1 10 ３ P2 1 １ P3 2 ４ P4 1 ５ P5 5 ２ 平均等待时间为： (0+1+6+16+18)/5 = 8.2 优先级可通过内部或外部方式来定义 平均等待时间： (0+4+7+(10-4))/3 = 5.66 如果就绪，那么每个进程会得到1/n的CPU时间，其长度不超过q时间单元。
1.8K31发布于 2020-11-12 - 来自专栏3D视觉从入门到精通
同样支持CPU上ONNX部署与推理
80 = next(head_it) # 80 out_blob_40 = next(head_it) # 40 out_blob_20 = next(head_it) # 20 处理输入图象与推理
2.9K20发布于 2021-07-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号