- 综合排序
- 最热优先
- 最新优先
- 来自专栏贾志刚-OpenCV学堂
普通PC上CPU运行YOLOv5推理 400+FPS
OpenVINO2022 OpenVINO2022.x版本全面抛弃了之前的SDK函数，升级为API2.0方式支持C++与Python推理，同时支持多种深度学习框架训练的模型部署，支持CPU与GPU推理， 图示如下： 流程与API2.0接口 常用组件与推理流程支持： 全新API2.0 接口： 支持IR11版本、推理支持ONNX。 对比之前的版本简化了诸多开发流程与函数使用： 效果演示 提供了更加强大的预训练模型库，超过200+的预训练模型，支持车牌识别： OCR识别 常见场景的行人检测与实例分割： 在推理层面支持同步与异步方式 ，异步方式支持通过回调实现后处理，实现视频流水线支持，下面是一系列的基于异步+流水线方式的推理演示（CPUi7 11th ）均达到了GPU3060的推理能力，截图如下：
1.9K40编辑于 2023-08-22 - 来自专栏机器之心
CPU推理提升4到5倍，苹果用闪存加速大模型推理，Siri 2.0要来了？
论文地址：https://arxiv.org/pdf/2312.11514.pdf 具体来讲，研究者讨论了一种受硬件启发的成本模型，其中包括闪存、DRAM 和计算核心（CPU 或 GPU）。 与 CPU 和 GPU 中的 naive 实现相比，优化该成本模型并有选择地按需加载参数的闪存策略可以运行两倍于 DRAM 容量的模型，并将推理速度分别提升 4-5 倍和 20-25 倍。 此外将数据从 DRAM 传输到 CPU 或 GPU 内存需要耗费更多能量。 在 DRAM 充足的场景中，加载数据的成本有所降低，这时模型可以驻留在 DRAM 中。 当窗口大小为 5 ，每个 token 需要访问 2.4% 的前馈网络（FFN）神经元。 对于 GPU 机器上的 16 位模型，闪存加载时间缩短至 40.5 毫秒，内存管理时间为 40 毫秒，由于从 CPU 向 GPU 传输数据的额外开销，时间略有增加。
56510编辑于 2023-12-28 - 来自专栏3D视觉从入门到精通
YOLOv5x6模型来了! 同样支持CPU上ONNX部署与推理
说一下是YOLOv5的第五个版本，不是YOLO的第五个版本！是YOLOv5又又改进了！ 01 YOLOv5x6模型来了 自从Pytorch版本YOLOv5发布之后，经历过了四个版本的升级，YOLOv5的功能与模型精度不断提升。 02 数值精度取舍 首先需要需要运行下面的命令行获取整个YOLOv5项目的源码： git clone https://github.com/ultralytics/yolov5.git 然后测试运行： 这样就获取到了ONNX格式文件，注意它的对应输出格式为： 1x3x1280x1280 RGB, 像素值在0到1之间 导入模型 model_onnx = "D:/python/yolov5/yolov5s6 80 = next(head_it) # 80 out_blob_40 = next(head_it) # 40 out_blob_20 = next(head_it) # 20 处理输入图象与推理
2.9K20发布于 2021-07-01 - 来自专栏PyVision
使用TVM优化PyTorch模型实现快速CPU推理
推理太慢？只好想办法把 CPU 榨干啦。 作者：Aleksey Bilogur 编译：McGL Apache TVM 是一个相对较新的 Apache 项目，以深度学习模型推理的性能大幅改进为目标。 在调优步骤中，TVM 对图中的计算任务(“调度”)的操作顺序进行预测，以在选定的硬件平台上获得最高性能(最快推理时间)。 对于生产用例，TVM 的应用 Python 入门指南推荐 CPU 运行1500次测试，GPU 运行3000次左右。 对结果模型进行基准测试 我记录了在 CPU 上这个模型的两个不同版本运行一批数据的时间，并计算了运行多次推理所需的平均时间。第一个是基准的 PyTorch 模型，没有量化和编译。 模型的编译版本的推理时间比基准模型快30倍以上！ 事实上，值得注意的是，在 CPU 上编译的模型运行速度与 GPU 上的基准模型(g4dn.xlarge，NVIDIA T4实例)相当。
2.7K31发布于 2021-07-07 - 来自专栏信创系统开发
能在 CPU 上运行的开源大模型推理框架
1-bit 量化可以大幅加快模型推理速度，同时减少内存使用，使得在 CPU 上推理成为可能。 BitNet.cpp旨在通过优化内核为 CPU 上运行的 1.58-bit 模型提供快速且无损的推理支持，并在未来版本中计划支持 NPU 和 GPU 。 BitNet.cpp的开源为1-bit LLM的普及和大规模推理打开了新的大门，其在CPU上的高效推理性能，极大地扩展了大模型在本地设备上的可行性。 有这么好的开预案项目，当然要尝试一下。 检查 clang 版本并安装 clang 18 首先检查一下 clang 的版本： $ clang --version Deepin clang version 17.0.6 (5deepin4) 不同于传统框架需借助 GPU 才能达到高效推理速度，BitNet.cpp 通过高效的低比特量化技术，仅依赖 CPU 也能实现接近或等同的推理性能。这一优势可以大大推进侧端大模型的普及。
1.3K10编辑于 2025-01-23 - 来自专栏CreateAMind
difflogic 单核CPU推理每秒超一百万张MNIST
networks allow for very fast classification, with speeds beyond a million images per second on a single CPU This allows especially efficient static execution of a fixed trained logic gate network on CPU. main.py -eid 526010 -bs 100 -t 20 --dataset adult -ni 100_000 -ef 1_000 -k 256 -l 5 main.py -eid 526020 -lr 0.001 -bs 100 -t 20 --dataset breast_cancer -ni 100_000 -ef 1_000 -k 128 -l 5 experiments/main.py -bs 100 -t 100 --dataset cifar-10-31-thresholds -ni 200_000 -ef 1_000 -k 256_000 -l 5
47510编辑于 2023-09-13 - 来自专栏深度学习自然语言处理
FastFormers：实现Transformers在CPU上223倍的推理加速
作者：Parth Chokhra 编译：ronghuaiyang 导读 使用多头注意力的Transform在cpu上实现222倍的加速。 ? CPU上采用8bit量化方法，GPU上将所有模型参数转换为16位浮点数据类型，最大限度地利用高效Tensor Cores。 神经网络剪枝技术可以使训练网络的参数减少90%以上，在不影响精度的前提下减少存储需求，提高推理的计算性能。这有助于减小经过训练的神经网络的大小或能量消耗，并有助于使推理更有效。 在CPU上的8bit量化矩阵乘法：由于减少了CPU指令数量，8bit量化矩阵乘法与32位浮点运算相比带来了显著的速度提升。 batch size为1的BoolQ验证数据集上的CPU推理加速 总结 本文介绍了FastFormers，它能对基于Transformer的模型在各种NLU任务上实现高效的推理时间性能。
2.3K10发布于 2021-03-01 - 来自专栏信创系统开发
专门针对 DeepSeek 的纯 C++ CPU 端推理框架
代码量不到 2000 行，对研究推理框架的开发者而言，这无疑是一个极简、高效的参考。 此外，deepseek.cpp 还特别适用于低端 CPU 设备，因为它不依赖 Python 运行时，相比其他推理引擎，代码体积更小（除掉 fmt 和 json 的代码量小于 2 千行）。 F8E5M2: 指的是一种 8 位浮点数格式，用于量化模型权重或激活。 在这种格式中，“F8”表示总共使用 8 位存储数据，而“E5M2”则说明其中有 5 位用于表示指数（Exponent），2 位用于表示尾数（Mantissa），剩下一位通常用作符号位。 建议爱好钻研的同学可以关注一下，至于纯 CPU 推理对于内存要求过高的问题，以后也将不是问题，毕竟内存比 GPU 更容易造。
1K10编辑于 2025-02-10 高通CEO：正开发数据中心CPU和AI推理芯片！
在最新的财报电话会议上，Amon进一步指出：“随着推理需求的规模扩大，云服务提供商正在构建专用的推理集群，不仅关注性能，还关注效率，特别是每美元/Token和每瓦/Token的效益。 这些因素加上从商用 x86 CPU 到面向云计算和 AI 节点的定制的兼容 Arm架构的CPU 的转变，为高通创造了一个切入点。” Amon表示，高通正在开发“通用的数据中心CPU”，并且“非常专注于超大规模企业”，因为“他们拥有兼容 Arm架构CPU的工作负载”。 同时，高通还正在开发的另一款数据中心产品，并将描述为“推理集群的主机”。“我们一直在构建加速卡，我们还将构建一个机架。”Amon说道。 从Amon的介绍来看，高通似乎除了正在开发数据中心CPU之外，还在开发面向数据中心的AI推理芯片。 “虽然我们正处于此次扩张的早期阶段，但我们正在与多个潜在客户接触。”
29410编辑于 2026-03-19- 来自专栏贾志刚-OpenCV学堂
Pytorh与tensorflow对象检测模型如何部署到CPU端，实现加速推理
OpenVINO框架支持训练好的pb模型转换为中间文件，在CPU端侧加速推理，对SSD系列的模型在酷睿i7 CPU8th端侧推理速度可达到100FPS左右。 OpenVINO支持C++/Python两种语言部署与推理。 之前写过一系列的相关文章可以直接查看这里 Tensorflow + OpenCV4 安全帽检测模型训练与推理 基于OpenCV与tensorflow实现实时手势识别 Tensorflow Object 最经典的对象检测网络YOLOv5的Pytorch版本是官方的标准版本，模型分别为： YOLOv5s YOLOv5m YOLOv5l YOLOv5x 模型大小从小到大、支持的mAP精度从低到高，而且YOLOv5s 非常适合在CPU端侧运行，通过OpenVINO部署框架加速之后，酷睿i7 CPU8th端侧可以达到12FPS左右。
1.4K20发布于 2021-04-21 - 来自专栏贾志刚-OpenCV学堂
YOLO26 | C# 上位机部署推理，CPU加速FPS140+
三大核心优势： 极速CPU推理：通过原生端到端设计，移除NMS后处理步骤，CPU推理速度比前代提升高达43%，可在无GPU设备上实时运行。 其优势包括： 1）异步推理大幅提升吞吐率，适合视频流处理； 2）支持CPU、iGPU及NPU等多硬件加速，实时推理； 3）提供C# API，便于.NET开发者快速落地 代码实践与演示 第一步：构建C# OpenVINOYOLO26Detector detector = new OpenVINOYOLO26Detector(); detector.Detect(); 第二步：完整代码 - 构建YOLO26 OpenVINO C# 推理演示代码 string video_path = "D:/images/video/deeppose.mp4"; string model_path = "D:/python/yolov5- ] total_infs = new float[3]; List<string> classList = File.ReadAllLines("D:/python/yolov5-
50510编辑于 2026-04-15 - 来自专栏云云众生s
使用Kubernetes进行AI推理的5个理由
译自 5 Reasons To Use Kubernetes for AI Inference，作者 Zulyar Ilakhunov。 水平 Pod Autoscaler根据各种指标（例如 CPU、GPU 和内存利用率）扩展运行应用程序或 ML 模型的 Pod 数量。当需求增加时，例如用户请求激增，HPA 会向上扩展资源。 垂直 Pod Autoscaler根据 Pod 的实际使用情况调整 Pod 中容器的 CPU、GPU 和内存需求和限制。 高效的资源分配: 您可以通过在 Pod 清单中指定来为 Pod 分配特定数量的 GPU、CPU 和 RAM。但是，目前只有 NVIDIA 加速器支持 GPU 的时间切片和多实例分区。 以下是 K8s 可移植性的主要优势： 在不同环境中一致的 ML 模型部署 更轻松地迁移和更新 AI 工作负载 选择云提供商或本地基础设施的灵活性 5.
60210编辑于 2024-07-24 - 来自专栏HT
基于 HTML5 WebGL 的 CPU 监控系统
随着通信技术的不断演进，5G 技术应运而生，随时随地万物互联的时代已经来临。5G 技术不仅带来了更快的连接速度和前所未有的用户体验，也为制造业，微电子及集成电路发展带来了巨大的发展机遇和挑战。 5G 技术商业实施过程中，5G 网络芯片面临低功耗、低延时、高可靠性和高精度的技术挑战。 本文将以大家熟悉的 CPU 为例，介绍以 HT 为基础，应用 JavaScript，WebGL 和 HTML5 技术开发的 CPU 监控系统。 在大型数据中心，实时监控 CPU 的温度，使用率等具有重要的意义。在服务器级别进行 CPU 温度监控，能够实时了解服务器 CPU 的温度，及时发现能效问题，防止出现服务延迟、服务器宕机，从而节约成本。 .5 * t * t * t * t : .5 * (2 - (t -= 2) * t * t * t); } - PC 端结束动画 ?
1.4K30发布于 2020-04-24 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。 量化使用的硬件 而量化模型使用的硬件，需要 CPU 计算能力相对强一些的机器，如果你有 GPU，那么将会极大的提升模型量化速度，如果没有也没有关系。 你也可以使用有 CPU 和 GPU 的设备，量化后给只有 CPU 的设备使用。 如果我们只追求使用 8 位量化的，可以使用 CPU 和 GPU 混合推理的模型，那么我们可以参考这篇文章中的“尝试对模型进行几种不同的量化操作[5]”的方法中的命令行参数，将模型转换为 GGML 的 q8 扔到显卡里的模型层数越多，推理速度越快。•“--model” 这个参数没有什么特别的，指定我们下载或者转换好的 GGML 模型文件就好。 好啦，当这个命令执行后，我们就能够快乐的和模型一起玩耍啦。
1.7K10编辑于 2023-12-14 - 来自专栏往期博文
【目标检测】YOLOv5推理加速实验：TensorRT加速
前言 前两篇博文分别讨论了YOLOv5检测算法的两种加速思路：采用多进程或批量检测，不过效果均收效甚微。本问将讨论使用TensorRT加速以及半精度推理/模型量化等优化策略对检测加速的实际影响。 YOLOv5最新版本可以将检测前后三个步骤(预处理、推理、非极大化抑制)分别统计时间，yolov5s.pt和yolov5s.engine的时间如下： yolov5s.pt Speed: 1.0ms 270.5ms pre-process, 3.0ms inference, 2.0ms NMS per image at shape (1, 3, 1280, 1280) 可以看到，转成TensorRT之后，推理 在转TensorRT模型过程中，有一些其它参数可供选择，比如，可以使用半精度推理和模型量化策略。 半精度推理即FP32->FP16，模型量化策略(int8)较复杂，具体原理可参考部署系列——神经网络INT8量化教程第一讲！
2.5K40编辑于 2023-04-12 - 来自专栏DeepHub IMBA
FastFormers 论文解读：可以使Transformer 在CPU上的推理速度提高233倍
“将这些建议的方案应用于SuperGLUE基准，与现成的CPU模型相比，能够实现9.8倍至233.9倍的加速。在GPU上，通过所介绍的方法，我们还可以实现最高12.4倍的加速。” 作者特别关注推理时间效率，因为它主要支配了生产部署的成本。在此文章中，我们将介绍本文所解决的所有问题和挑战。 那么，他们如何解决推理时间过长的问题？ 在CPU上，采用8位整数量化方法，而在GPU上，所有模型参数都转换为16位浮点数据类型，以最大程度地利用有效的Tensor Core。 神经网络修剪技术可以将经过训练的网络的参数数量减少90％以上，减少存储需求并提高推理的计算性能，而不会影响准确性。这有助于减小训练后的神经网络的大小或能耗，并有助于提高推理效率。 CPU上的8位量化矩阵乘法：与32位浮点算术相比，8位量化矩阵乘法带来了显着的加速，这归功于CPU指令数量的减少。
1.9K20发布于 2020-11-09 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。 你也可以使用有 CPU 和 GPU 的设备，量化后给只有 CPU 的设备使用。 如果我们只追求使用 8 位量化的，可以使用 CPU 和 GPU 混合推理的模型，那么我们可以参考这篇文章中的“尝试对模型进行几种不同的量化操作”的方法中的命令行参数，将模型转换为 GGML 的 q8_0 K : alias for Q5_K_M 16 or Q5_K_S : 4.33G, +0.0400 ppl @ LLaMA-v1-7B 17 or Q5_K_M : 4.45G 扔到显卡里的模型层数越多，推理速度越快。 “--model” 这个参数没有什么特别的，指定我们下载或者转换好的 GGML 模型文件就好。 好啦，当这个命令执行后，我们就能够快乐的和模型一起玩耍啦。
2.3K20编辑于 2023-12-12 - 来自专栏bisal的个人杂货铺
【每日一摩斯】-Troubleshooting: High CPU Utilization (164768.1) - 系列5
Oracle(用户)进程 以下这些操作都是需要消耗大量CPU资源的：解析大型查询，存储过程编译或执行，空间管理和排序。 下面这几篇文章可以帮助采集关于使用高CPU资源的进程的更多信息： Note:352648.1 How to Diagnose High CPU Usage Problems to the Module 5、前台进程将收集到的信息发给监听进程； 6、监听进程收到前台进程的信息，返回给前台进程客户端进程的用户名、密码、环境变量等信息； 7、前台进程查询一些数据字典表，校验用户名密码的合法性，如非法则报错， 否则与客户端进行交互； 8、客户端收到前台进程的信息与之交互，整个连接过程创建完成； AWR或statspack报告也是有助于判断哪些进程使用高CPU资源的，以及正在做什么。
56230发布于 2019-01-29 - 来自专栏飞天小牛肉
CPU 和 CPU Core 有啥区别？多核 CPU？多个 CPU？
本文收录于 www.cswiki.top CPU 全称 Central Processing Unit，中央处理器，计算机的大脑，长这个样子： CPU 通过一个插槽安装在主板上，这个插槽也叫做 CPU Socket，它长这个样子： 而我们说的多核 CPU，一个 CPU 有几个核，这个核就是 Core 其实在很久之前是没有 Core 的概念的，一个 CPU 就是一个完整的物理处理单元，之后由于多核技术的发展 ，CPU 的概念转变为了一个容器（container），而 Core 则变成了真正的物理处理单元。 一个 CPU 中可以有多个 Core，各个 Core 之间相互独立且可以并行执行 所以你说一个多核 CPU 支不支持多进程/线程并行？ Core 的数量，而非 CPU 数量，比如常见的线程池的 corePoolSize 设置为 CPU 个数 * 2，这里的 CPU 个数，其实指的就是 CPU Core 的个数 当然了，还有 Hyper-threading
6.7K20编辑于 2022-11-08 - 来自专栏AI科技大本营的专栏
5种小型设备上深度学习推理的高效算法
作者 | James Le 译者 | 陆离 编辑 | Jane 出品 | AI科技大本营（ID：rgznai100） 【导读】文中为AI实践者和研究者们介绍了5种高效模型推断算法，希望这篇文章能够帮助大家更清楚地认识到 有哪些可以有效地进行推理的最先进算法呢？ 1、修剪神经网络 在机器学习中，模型的修剪包括去除不重要的权值以得到更小更快的网络。 当以CPU、GPU和移动GPU为基准时，压缩网络的分层加速提高了3倍到4倍，而资源消耗率则改进了3倍到7倍。 例如，云服务每秒钟需要处理数千个新的请求；手机和平板电脑等便携式设备大多只有CPU或低端的GPU；一些识别任务（例如对象检测）对于处理单个图像仍然非常地耗时，即使在高端GPU上也是如此。 事实上，与AlexNet相比，他们的加速模型的推理速度相对较快，而准确率则提高了4.7%。
1.1K20发布于 2019-11-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号