- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
CPU推理提升4到5倍，苹果用闪存加速大模型推理，Siri 2.0要来了？
与 CPU 和 GPU 中的 naive 实现相比，优化该成本模型并有选择地按需加载参数的闪存策略可以运行两倍于 DRAM 容量的模型，并将推理速度分别提升 4-5 倍和 20-25 倍。 此外将数据从 DRAM 传输到 CPU 或 GPU 内存需要耗费更多能量。 在 DRAM 充足的场景中，加载数据的成本有所降低，这时模型可以驻留在 DRAM 中。 对于 32 位模型，每次读取的数据块大小为 2dmodel × 4 字节 = 32 KiB，因为它涉及行和列的连接。 在本文的模型中使用大小为 4 的窗口，每个 token 需要访问 3.1% 的前馈网络（FFN）神经元。 在 32 位模型中，这相当于每次读取的数据块大小为 35.5 KiB（按 2dmodel ×4 字节计算）。
56510编辑于 2023-12-28 - 来自专栏PyVision
使用TVM优化PyTorch模型实现快速CPU推理
推理太慢？只好想办法把 CPU 榨干啦。 作者：Aleksey Bilogur 编译：McGL Apache TVM 是一个相对较新的 Apache 项目，以深度学习模型推理的性能大幅改进为目标。 在调优步骤中，TVM 对图中的计算任务(“调度”)的操作顺序进行预测，以在选定的硬件平台上获得最高性能(最快推理时间)。 对于生产用例，TVM 的应用 Python 入门指南推荐 CPU 运行1500次测试，GPU 运行3000次左右。 对结果模型进行基准测试 我记录了在 CPU 上这个模型的两个不同版本运行一批数据的时间，并计算了运行多次推理所需的平均时间。第一个是基准的 PyTorch 模型，没有量化和编译。 模型的编译版本的推理时间比基准模型快30倍以上！ 事实上，值得注意的是，在 CPU 上编译的模型运行速度与 GPU 上的基准模型(g4dn.xlarge，NVIDIA T4实例)相当。
2.7K31发布于 2021-07-07 - 来自专栏linux驱动个人学习
Intel P4 CPU
P4 CPU 结构 奔4处理器是Intel的经典之作,它是采用乱序执行内核的超标量处理器。 P4采用的微架构称为 Net Burst,基本结构如下: 奔4处理器微架构被分成了4大部分: (1)存储子系统( Memory subsystem)。 P4是超标量处理器,一次能处理多条指令,自然也要一次对多条指令进行译码。 Trace cache 在P4处理器中,解码后的uop被存储在 Trace Cache中。 P4处理器实际的流水线达到了20级,比上面的介绍要更为复杂。
1.6K30发布于 2018-06-21 - 来自专栏信创系统开发
能在 CPU 上运行的开源大模型推理框架
常见的量化方法包括将模型参数从原始的 32-bit 浮点数精度压缩为 16-bit、8-bit，甚至 4-bit，这样不仅减少了模型的内存占用，还能大幅降低推理时间，显著提升算力的利用效率。 1-bit 量化可以大幅加快模型推理速度，同时减少内存使用，使得在 CPU 上推理成为可能。 BitNet.cpp旨在通过优化内核为 CPU 上运行的 1.58-bit 模型提供快速且无损的推理支持，并在未来版本中计划支持 NPU 和 GPU 。 BitNet.cpp的开源为1-bit LLM的普及和大规模推理打开了新的大门，其在CPU上的高效推理性能，极大地扩展了大模型在本地设备上的可行性。 有这么好的开预案项目，当然要尝试一下。 不同于传统框架需借助 GPU 才能达到高效推理速度，BitNet.cpp 通过高效的低比特量化技术，仅依赖 CPU 也能实现接近或等同的推理性能。这一优势可以大大推进侧端大模型的普及。
1.3K10编辑于 2025-01-23 - 来自专栏颇忒脱的技术博客
CPU & Memory, Part 4: NUMA support
Table 5.1: sysfs Information for Core 2 CPU Caches 从上面的数据可以看出： 每个核（为啥cpu0到cpu3都是核是从另一个地方知道的）拥有三个cache cpu0和cpu1共享L1、cpu2和cpu3共享L2。 而且实际上是4个处理器（physical_package_id0-3），每个处理器有两个核。 Table 5.4: sysfs Information for Opteron Nodes 所以我们可以看到这个机器的全貌： 这个机器有4个处理器。 dirty=4 active=0 N3=4 2b2bbcdce000 default anon=1 dirty=1 N3=1 2b2bbcde4000 default anon=2 dirty=2 N3
1.5K00发布于 2019-04-18 - 来自专栏CreateAMind
difflogic 单核CPU推理每秒超一百万张MNIST
networks allow for very fast classification, with speeds beyond a million images per second on a single CPU networks achieve fast inference speeds, e.g., beyond a million images of MNIST per second on a single CPU This allows especially efficient static execution of a fixed trained logic gate network on CPU. experiments/main.py -bs 100 -t 100 --dataset cifar-10-3-thresholds -ni 200_000 -ef 1_000 -k 12_000 -l 4 experiments/main.py -bs 100 -t 100 --dataset cifar-10-3-thresholds -ni 200_000 -ef 1_000 -k 128_000 -l 4
47510编辑于 2023-09-13 - 来自专栏深度学习自然语言处理
FastFormers：实现Transformers在CPU上223倍的推理加速
作者：Parth Chokhra 编译：ronghuaiyang 导读 使用多头注意力的Transform在cpu上实现222倍的加速。 ? 神经网络剪枝技术可以使训练网络的参数减少90%以上，在不影响精度的前提下减少存储需求，提高推理的计算性能。这有助于减小经过训练的神经网络的大小或能量消耗，并有助于使推理更有效。 在CPU上的8bit量化矩阵乘法：由于减少了CPU指令数量，8bit量化矩阵乘法与32位浮点运算相比带来了显著的速度提升。 batch size为1的BoolQ验证数据集上的CPU推理加速 总结 本文介绍了FastFormers，它能对基于Transformer的模型在各种NLU任务上实现高效的推理时间性能。 -4c0b7a720e1
2.3K10发布于 2021-03-01 - 来自专栏信创系统开发
专门针对 DeepSeek 的纯 C++ CPU 端推理框架
代码量不到 2000 行，对研究推理框架的开发者而言，这无疑是一个极简、高效的参考。 除了大模型，推理框架（Inference Framework）在目前大语言模型（LLM）部署中也存在较大的优化空间。 此外，deepseek.cpp 还特别适用于低端 CPU 设备，因为它不依赖 Python 运行时，相比其他推理引擎，代码体积更小（除掉 fmt 和 json 的代码量小于 2 千行）。 这种 FP8 格式（另一个常见的变体是 F8E4M3）在深度学习中被用来降低模型的内存占用和计算带宽需求，同时在一定程度上保持数值的动态范围，适用于推理阶段的量化优化。 建议爱好钻研的同学可以关注一下，至于纯 CPU 推理对于内存要求过高的问题，以后也将不是问题，毕竟内存比 GPU 更容易造。
1K10编辑于 2025-02-10 - 来自专栏贾志刚-OpenCV学堂
普通PC上CPU运行YOLOv5推理 400+FPS
OpenVINO2022 OpenVINO2022.x版本全面抛弃了之前的SDK函数，升级为API2.0方式支持C++与Python推理，同时支持多种深度学习框架训练的模型部署，支持CPU与GPU推理， 图示如下： 流程与API2.0接口 常用组件与推理流程支持： 全新API2.0 接口： 支持IR11版本、推理支持ONNX。 对比之前的版本简化了诸多开发流程与函数使用： 效果演示 提供了更加强大的预训练模型库，超过200+的预训练模型，支持车牌识别： OCR识别 常见场景的行人检测与实例分割： 在推理层面支持同步与异步方式 ，异步方式支持通过回调实现后处理，实现视频流水线支持，下面是一系列的基于异步+流水线方式的推理演示（CPUi7 11th ）均达到了GPU3060的推理能力，截图如下：
1.9K40编辑于 2023-08-22 高通CEO：正开发数据中心CPU和AI推理芯片！
其中，在QTL业务方面，高通第三财季表现稳健，实现营收13.18亿美元，同比增长4%。 在最新的财报电话会议上，Amon进一步指出：“随着推理需求的规模扩大，云服务提供商正在构建专用的推理集群，不仅关注性能，还关注效率，特别是每美元/Token和每瓦/Token的效益。 这些因素加上从商用 x86 CPU 到面向云计算和 AI 节点的定制的兼容 Arm架构的CPU 的转变，为高通创造了一个切入点。” Amon表示，高通正在开发“通用的数据中心CPU”，并且“非常专注于超大规模企业”，因为“他们拥有兼容 Arm架构CPU的工作负载”。 从Amon的介绍来看，高通似乎除了正在开发数据中心CPU之外，还在开发面向数据中心的AI推理芯片。 “虽然我们正处于此次扩张的早期阶段，但我们正在与多个潜在客户接触。”
29610编辑于 2026-03-19- 来自专栏CreateAMind
4个视觉符号推理数据集超简介
//github.com/xyang23/CLEVRER-Humans1.0 https://sites.google.com/stanford.edu/clevrer-humans/home 4
62230编辑于 2023-02-14 - 来自专栏贾志刚-OpenCV学堂
Pytorh与tensorflow对象检测模型如何部署到CPU端，实现加速推理
OpenVINO框架支持训练好的pb模型转换为中间文件，在CPU端侧加速推理，对SSD系列的模型在酷睿i7 CPU8th端侧推理速度可达到100FPS左右。 OpenVINO支持C++/Python两种语言部署与推理。 之前写过一系列的相关文章可以直接查看这里 Tensorflow + OpenCV4 安全帽检测模型训练与推理 基于OpenCV与tensorflow实现实时手势识别 Tensorflow Object YOLOv5的Pytorch版本是官方的标准版本，模型分别为： YOLOv5s YOLOv5m YOLOv5l YOLOv5x 模型大小从小到大、支持的mAP精度从低到高，而且YOLOv5s非常适合在CPU 端侧运行，通过OpenVINO部署框架加速之后，酷睿i7 CPU8th端侧可以达到12FPS左右。
1.4K20发布于 2021-04-21 - 来自专栏贾志刚-OpenCV学堂
YOLO26 | C# 上位机部署推理，CPU加速FPS140+
三大核心优势： 极速CPU推理：通过原生端到端设计，移除NMS后处理步骤，CPU推理速度比前代提升高达43%，可在无GPU设备上实时运行。 其优势包括： 1）异步推理大幅提升吞吐率，适合视频流处理； 2）支持CPU、iGPU及NPU等多硬件加速，实时推理； 3）提供C# API，便于.NET开发者快速落地 代码实践与演示 第一步：构建C# OpenVINOYOLO26Detector detector = new OpenVINOYOLO26Detector(); detector.Detect(); 第二步：完整代码 - 构建YOLO26 OpenVINO C# 推理演示代码 // Set the video path and model path string video_path = "D:/images/video/deeppose.mp4"
50510编辑于 2026-04-15 - 来自专栏Dissecting Unreal
UE4的执行流程和CPU优化
UE4是一个非常庞大的游戏引擎，说是游戏引擎，但其实内部实现的已经和一个小型操作系统差不多了，源码更是海量级别的。 这是因为UE4是个多线程的引擎，物理是每帧一个很重要的计算流程，物理的计算发生在一个单独的线程上，因此将Tick拆分成这些阶段，就可以让业务代码选择在什么时期执行。 因为大部分的组件都是需要先准备好数据，交给物理线程来执行，所以UE4把Tick默认都放在了Pre Physics上，这样当所有组件Tick完，物理线程得到的数据就是最新的。 当场景绘制完成之后，才会开始绘制UI，这里也是UE4比较坑的一个地方，假如UI遮挡住了大部分场景，被遮挡住的部分就白画了。 程序的入口 我们知道所有的C++程序都是从main函数开始的，UE4也不例外，所以只要找到入口，你就可以一步一步跟着上面那张图，调试跟踪到底UE4是怎样执行的。
2.6K40发布于 2021-11-04 - 来自专栏GPUS开发者
NVFP4：打破GPU推理的内存墙，4位浮点时代来了
从痛点说起：为什么4位精度成为刚需？ AI推理的内存挑战是多维度的。首先是模型权重本身的庞大体积。 整个过程在代码层面可能只需要十几行 ，但需要注意选择有代表性的校准数据 ，以保证量化后的缩放因子能覆盖实际推理时的数值分布。 推理框架的集成也在快速推进。 首先是适用场景的判断：NVFP4特别适合推理密集、内存受限的场景 ，如大batch推理服务、长上下文对话、边缘设备部署。 生态方面 ，越来越多的推理框架、训练框架、模型仓库开始原生支持NVFP4 ，降低了开发者的迁移成本。 但4位精度也不是终点。学术界已经在探索更激进的方案 ，如3位甚至2位精度 ，以及动态比特宽度分配。 通过精巧的编码设计、层级化的缩放机制、硬件软件的深度协同， NVFP4证明了4位浮点足以支撑千亿参数模型的推理和训练。
1.4K10编辑于 2026-01-27 NVFP4技术如何加速AI训练与推理
对于希望最大化AI训练和推理性能的用户，关于NVFP4有以下三点需要了解。1. 展望未来，某机构Rubin平台在训练和推理的NVFP4能力上实现了巨大飞跃，提供35 petaFLOPS的NVFP4训练计算能力和50 petaFLOPS的NVFP4 Transformer Engine 主流推理框架（包括某机构TensorRT-LLM、vLLM和SGLang）目前也支持以NVFP4格式运行模型，并提供NVFP4变体版本。 Black Forest Labs与某机构合作，在Blackwell上扩展FLUX.2的NVFP4推理。 详细了解Rubin平台带来的重大架构飞跃（包括增强的NVFP4）如何实现AI训练和推理性能的新水平。FINISHED
27110编辑于 2026-05-01- 来自专栏3D视觉从入门到精通
同样支持CPU上ONNX部署与推理
80 = next(head_it) # 80 out_blob_40 = next(head_it) # 40 out_blob_20 = next(head_it) # 20 处理输入图象与推理 col = i % side_h; box_data = out[d, row, col] conf = sigmoid(box_data[4]
2.9K20发布于 2021-07-01 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。 量化使用的硬件 而量化模型使用的硬件，需要 CPU 计算能力相对强一些的机器，如果你有 GPU，那么将会极大的提升模型量化速度，如果没有也没有关系。 你也可以使用有 CPU 和 GPU 的设备，量化后给只有 CPU 的设备使用。 如果我们只追求使用 8 位量化的，可以使用 CPU 和 GPU 混合推理的模型，那么我们可以参考这篇文章中的“尝试对模型进行几种不同的量化操作[5]”的方法中的命令行参数，将模型转换为 GGML 的 q8 扔到显卡里的模型层数越多，推理速度越快。•“--model” 这个参数没有什么特别的，指定我们下载或者转换好的 GGML 模型文件就好。 好啦，当这个命令执行后，我们就能够快乐的和模型一起玩耍啦。
1.7K10编辑于 2023-12-14 - 来自专栏bisal的个人杂货铺
【每日一摩斯】-Troubleshooting: High CPU Utilization (164768.1) - 系列4
检查Job进程占用大量CPU资源的方法，就像检查用户进程一样。 可以根据以下视图检查Job进程运行的状态：DBA_JOBS_* , DBA_SCHEDULER_*, DBA_AUTOTASK_*。 这些进程可能会消耗大量的CPU资源，因为他们无限循环地查询job队列。 Note: 8531434.8 Bug 8531434 - Solaris: Excessive CPU by MMNL/CJQ0 when running multiple instances and 因为表需要purge或重组织，或者其它与AQ相关的事情，导致CPU资源的大量消耗。 usage and Redo generation Parallel Query (Pnn) 并行查询进程适合于某些特殊情况，这些情况下确实会消耗大量的CPU资源。
58430发布于 2019-01-29 - 来自专栏DeepHub IMBA
FastFormers 论文解读：可以使Transformer 在CPU上的推理速度提高233倍
“将这些建议的方案应用于SuperGLUE基准，与现成的CPU模型相比，能够实现9.8倍至233.9倍的加速。在GPU上，通过所介绍的方法，我们还可以实现最高12.4倍的加速。” 作者特别关注推理时间效率，因为它主要支配了生产部署的成本。在此文章中，我们将介绍本文所解决的所有问题和挑战。 那么，他们如何解决推理时间过长的问题？ 在CPU上，采用8位整数量化方法，而在GPU上，所有模型参数都转换为16位浮点数据类型，以最大程度地利用有效的Tensor Core。 神经网络修剪技术可以将经过训练的网络的参数数量减少90％以上，减少存储需求并提高推理的计算性能，而不会影响准确性。这有助于减小训练后的神经网络的大小或能耗，并有助于提高推理效率。 CPU上的8位量化矩阵乘法：与32位浮点算术相比，8位量化矩阵乘法带来了显着的加速，这归功于CPU指令数量的减少。
1.9K20发布于 2020-11-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号