- 综合排序
- 最热优先
- 最新优先
- 来自专栏颇忒脱的技术博客
（笔记）CPU & Memory, Part 2: CPU caches
missing、MESI protocol、Cache types（L1d、L1i、L2、L3） 3.1 CPU Caches in the Big Picture 内存很慢，这就是为何CPU cache 根据经验可以推测出L1d size=2^12=4K，L2 size=2^20=1M。当数据<=4K时，正好能够放进L1d中，操作的CPU周期<10个。 当数据>4K and <=1M时，会利用到L2，操作的CPU周期<75。当数据>1M时，CPU操作周期>400，则说明没有L3，此时是直接访问内存了。 非常重要：下面的例子里CPU访问数据是按照以下逻辑： CPU只能从L1d cache访问数据 如果L1d没有数据，则得先从L2把数据加载到L1d 如果L2没有数据，则得先从main memory（RAM ）加载数据 也就是说如果这个数据一开始在L1d、L2都不存在，那么就得先从main memory加载到L2，然后从L2加载到L1d，最后CPU才可以访问。
2.3K30发布于 2019-04-19 - 来自专栏PyVision
使用TVM优化PyTorch模型实现快速CPU推理
推理太慢？只好想办法把 CPU 榨干啦。 作者：Aleksey Bilogur 编译：McGL Apache TVM 是一个相对较新的 Apache 项目，以深度学习模型推理的性能大幅改进为目标。 在调优步骤中，TVM 对图中的计算任务(“调度”)的操作顺序进行预测，以在选定的硬件平台上获得最高性能(最快推理时间)。 对于生产用例，TVM 的应用 Python 入门指南推荐 CPU 运行1500次测试，GPU 运行3000次左右。 对结果模型进行基准测试 我记录了在 CPU 上这个模型的两个不同版本运行一批数据的时间，并计算了运行多次推理所需的平均时间。第一个是基准的 PyTorch 模型，没有量化和编译。 模型的编译版本的推理时间比基准模型快30倍以上！ 事实上，值得注意的是，在 CPU 上编译的模型运行速度与 GPU 上的基准模型(g4dn.xlarge，NVIDIA T4实例)相当。
2.7K31发布于 2021-07-07 - 来自专栏信创系统开发
能在 CPU 上运行的开源大模型推理框架
1-bit 量化可以大幅加快模型推理速度，同时减少内存使用，使得在 CPU 上推理成为可能。 BitNet.cpp旨在通过优化内核为 CPU 上运行的 1.58-bit 模型提供快速且无损的推理支持，并在未来版本中计划支持 NPU 和 GPU 。 BitNet.cpp的开源为1-bit LLM的普及和大规模推理打开了新的大门，其在CPU上的高效推理性能，极大地扩展了大模型在本地设备上的可行性。 有这么好的开预案项目，当然要尝试一下。 以下是一个运行推理的示例： python run\_inference.py -m models/Llama3-8B-1.58-100B-tokens/ggml-model-i2\_s.gguf -p 不同于传统框架需借助 GPU 才能达到高效推理速度，BitNet.cpp 通过高效的低比特量化技术，仅依赖 CPU 也能实现接近或等同的推理性能。这一优势可以大大推进侧端大模型的普及。
1.3K10编辑于 2025-01-23 - 来自专栏CreateAMind
difflogic 单核CPU推理每秒超一百万张MNIST
networks allow for very fast classification, with speeds beyond a million images per second on a single CPU networks at 98.4% on MNIST, our method is more than 12× faster than the best binary neural networks and 2 grad_factor=1.1, # for deep models (>6 layers), the grad_factor should be increased (e.g., 2) This allows especially efficient static execution of a fixed trained logic gate network on CPU. for storing the binary such that it can be reused verbose=True ) # to apply the model, we need a 2d
47510编辑于 2023-09-13 - 来自专栏虚拟化云计算
图解 | CPU-Cache | 2
这是图解系列之CPU cache 本文接着说Cache的歧义别名 关注阅读更多图解 ? 对内存管理还不太清楚，可以先看我之前关于MMU的文章。 VIVT歧义举例:两个进程的某一相同虚拟机地址指向了不同的物理地址，进程A运行时CPU把此虚拟地址加载到了Cacheline中，进程B运行时，CPU在Cache中查找此地址时会发现Cache hit，从而加载了错误的物理地址内存 别名:基于VIVT，在2个虚拟地址对应同一个物理地址时，对于index和tag，2个虚拟地址都是可能不同的，它们完全可能在2个Cacheline同时命中。此时就出现了别名问题。 所以现在CPU已经不使用这种方式。现在CPU使用PIPT或者VIPT。 PIPT ? 别名:基于PIPT，在2个虚拟地址对应同一个物理地址时，由于物理地址一样，基于此物理地址去查找和比对Cache，是不会查到两个Cacheline的，所以PIPT不存在别名问题。
1.9K20发布于 2021-07-08 - 来自专栏深度学习自然语言处理
FastFormers：实现Transformers在CPU上223倍的推理加速
作者：Parth Chokhra 编译：ronghuaiyang 导读 使用多头注意力的Transform在cpu上实现222倍的加速。 ? CPU上采用8bit量化方法，GPU上将所有模型参数转换为16位浮点数据类型，最大限度地利用高效Tensor Cores。 神经网络剪枝技术可以使训练网络的参数减少90%以上，在不影响精度的前提下减少存储需求，提高推理的计算性能。这有助于减小经过训练的神经网络的大小或能量消耗，并有助于使推理更有效。 在CPU上的8bit量化矩阵乘法：由于减少了CPU指令数量，8bit量化矩阵乘法与32位浮点运算相比带来了显著的速度提升。 batch size为1的BoolQ验证数据集上的CPU推理加速 总结 本文介绍了FastFormers，它能对基于Transformer的模型在各种NLU任务上实现高效的推理时间性能。
2.3K10发布于 2021-03-01 - 来自专栏信创系统开发
专门针对 DeepSeek 的纯 C++ CPU 端推理框架
代码量不到 2000 行，对研究推理框架的开发者而言，这无疑是一个极简、高效的参考。 除了大模型，推理框架（Inference Framework）在目前大语言模型（LLM）部署中也存在较大的优化空间。 此外，deepseek.cpp 还特别适用于低端 CPU 设备，因为它不依赖 Python 运行时，相比其他推理引擎，代码体积更小（除掉 fmt 和 json 的代码量小于 2 千行）。 支持的 DeepSeek 模型 Model INT4 F8E5M2 F8E4M3 FP16 BF16 FP32 DeepSeek-V2-Lite 进行中 ✅ 进行中 ✅ 进行中 ✅ DeepSeek-V2 建议爱好钻研的同学可以关注一下，至于纯 CPU 推理对于内存要求过高的问题，以后也将不是问题，毕竟内存比 GPU 更容易造。
1K10编辑于 2025-02-10 - 来自专栏机器之心
CPU推理提升4到5倍，苹果用闪存加速大模型推理，Siri 2.0要来了？
结合使用窗口和稀疏性预测可以为每个推理查询仅加载 2% 的闪存 FFN 层。他们还提出了静态内存预分配，最大限度减少了 DRAM 内的传输并减少了推理延迟。 与 CPU 和 GPU 中的 naive 实现相比，优化该成本模型并有选择地按需加载参数的闪存策略可以运行两倍于 DRAM 容量的模型，并将推理速度分别提升 4-5 倍和 20-25 倍。 闪存和 LLM 推理 带宽和能量限制 虽然现代 NAND 闪存提供了高带宽和低延迟，但仍达不到 DRAM 的性能水准，尤其是在内存受限的系统中。下图 2a 说明了这些差异。 此外将数据从 DRAM 传输到 CPU 或 GPU 内存需要耗费更多能量。 在 DRAM 充足的场景中，加载数据的成本有所降低，这时模型可以驻留在 DRAM 中。 对于 GPU 机器上的 16 位模型，闪存加载时间缩短至 40.5 毫秒，内存管理时间为 40 毫秒，由于从 CPU 向 GPU 传输数据的额外开销，时间略有增加。
56510编辑于 2023-12-28 - 来自专栏JadePeng的技术博客
知识图谱推理与实践 (2) -- 基于jena实现规则推理
本章，介绍 基于jena的规则引擎实现推理，并通过两个例子介绍如何coding实现。 规则引擎概述 jena包含了一个通用的规则推理机，可以在RDFS和OWL推理机使用，也可以单独使用。 规则推理demo2 -- 关联交易 我们再来看上一篇文章中提到的那个金融图谱： ? 陈华钧老师PPT里，有一个推理任务： 1) 执掌一家公司就一定是这家公司的股东； 2) 某人同时是两家公司的股东，那么这两家公司一定有关联交易； PPT里是使用Drools来实现的，具体可以参见PPT c2)] 执行推理： GenericRuleReasoner reasoner = (GenericRuleReasoner) GenericRuleReasonerFactory.theInstance c2) -> (?c :关联交易 ?
4.5K30发布于 2020-02-18 - 来自专栏贾志刚-OpenCV学堂
普通PC上CPU运行YOLOv5推理 400+FPS
OpenVINO2022 OpenVINO2022.x版本全面抛弃了之前的SDK函数，升级为API2.0方式支持C++与Python推理，同时支持多种深度学习框架训练的模型部署，支持CPU与GPU推理， 图示如下： 流程与API2.0接口 常用组件与推理流程支持： 全新API2.0 接口： 支持IR11版本、推理支持ONNX。 对比之前的版本简化了诸多开发流程与函数使用： 效果演示 提供了更加强大的预训练模型库，超过200+的预训练模型，支持车牌识别： OCR识别 常见场景的行人检测与实例分割： 在推理层面支持同步与异步方式 ，异步方式支持通过回调实现后处理，实现视频流水线支持，下面是一系列的基于异步+流水线方式的推理演示（CPUi7 11th ）均达到了GPU3060的推理能力，截图如下：
1.9K40编辑于 2023-08-22 - 来自专栏个人博客
cloudlflare推理llama2 - plus studio
cloudlflare推理llama2 最近，cloudlfare悄悄上线了一项新功能，全球网络上的gpu加速推理，显然的，我们可以用它推理llama2,cloudflare也提供了一个库进行推理。 新建一个cloudflare,然后，代码改成下面的，就可以进行推理了 import { Ai } from '. user', content: requestBody.prompt } ] }; let response = await ai.run('@cf/meta/llama-2-
17710编辑于 2024-02-29 - 来自专栏全栈程序员必看
CPU指令集——AVX2
1.查看CPU所支持的指令集 对于windows系统，可借助CPU-Z工具，可查看当前CPU所支持的指令集： 对于Linux系统，可运行cat /proc/cpuinfo | grep flags 来查看当前CPU所支持的指令集： 由此可知，Intel i7-7700CPU支持AVX2指令集，但是不支持AVX-512指令集。 目前支持AVX512-IFMA指令集的CPU主要有Cannon Lake（如Intel® Core™ i3-8121U Processor）和Ice Lake系列处理器： 2. AVX AVX为在CPU处理器上实现SIMD操作的指令集。 AVX2扩充到了支持256bit的整数运算指令，引入了Fused-Multiply-Add(FMA)运算。
19.5K11编辑于 2022-08-23 - 来自专栏叶子的开发者社区
WSL2修改CPU核数
如果响应没有正在运行的分发版就说明所有Linux子系统已经关闭 创建文件C:\Users\<UserName>\.wslconfig，目录必须对，例如C:\Users\Yezi 然后文件内容复制下面信息，CPU processors，修改即可，在确认所有Linux子系统已经关闭的情况下，保存文件重启wsl即可 # Settings apply across all Linux distros running on WSL 2 [wsl2] # Limits VM memory to use no more than 4 GB, this can be set as whole numbers using GB or MB The default kernel used can be found at https://github.com/microsoft/WSL2-Linux-Kernel # kernel=C:\\temp nestedVirtualization=false # Turns on output console showing contents of dmesg when opening a WSL 2
2.6K20编辑于 2024-05-28 高通CEO：正开发数据中心CPU和AI推理芯片！
该公司还表示，其代工业务“将在 2025 年下半年量产采用 2nm GAA 工艺的新型移动 SoC”。 在最新的财报电话会议上，Amon进一步指出：“随着推理需求的规模扩大，云服务提供商正在构建专用的推理集群，不仅关注性能，还关注效率，特别是每美元/Token和每瓦/Token的效益。 这些因素加上从商用 x86 CPU 到面向云计算和 AI 节点的定制的兼容 Arm架构的CPU 的转变，为高通创造了一个切入点。” Amon表示，高通正在开发“通用的数据中心CPU”，并且“非常专注于超大规模企业”，因为“他们拥有兼容 Arm架构CPU的工作负载”。 从Amon的介绍来看，高通似乎除了正在开发数据中心CPU之外，还在开发面向数据中心的AI推理芯片。 “虽然我们正处于此次扩张的早期阶段，但我们正在与多个潜在客户接触。”
29410编辑于 2026-03-19- 来自专栏Windows技术交流
Windows CPU 有2个 主频 频率
如果看到了类似问题， cpu有2个主频，不要慌，这是正常的比如图片再比如图片具体请参考微软文档的解释，看微软的描述是Intel CPU出现，不影响频率，但我也有见到AMD出现的。 如此看，微软的文档应该优化下，并不区分CPU类型，Intel、AMD的CPU满足一定条件都有可能出现这个显示上的异常。 图片图片超过64 vCPU的机器，比如80 vCPU的，在OS里被微软识别为2个组，由于groupsize最大64，所以成了：group0是64 vCPU、group1是16 vCPU，让频率显示正常的办法是在任务管理器 图片我已经测过Win11内核的server2022买SA2/SA3的高配机器，不存在multiprocessor configuration not supported的蓝屏问题，也不存在主频显示异常的问题 ，微软应该是知道有这2个问题，所以下一代server系统才修正了这个问题，目前是预览版（vNext Server)还未正式发布。
2.6K140编辑于 2023-05-11 - 来自专栏机器之心
业界 | 英特尔发文Caffe2在CPU上的性能检测：将实现最优的推理性能
这篇文章对 Caffe2 在 CPU 的支持下带来的性能改进进行了介绍，希望能为大家应用该框架提供帮助。 每一天，在世界的各个角落都在产生越来越多的信息——文本、图片、视频等等。 为了针对各种训练和推理应用进行优化，去年，英特尔在几个深度学习框架上都迅速增加了 CPU 的支持。 英特尔和 Facebook 正在进行合作，把英特尔 MKL 函数集成与 Caffe2 结合，以在 CPU 上实现最优的推理性能。 这些结果显示，Caffe2 在 CPU 上进行了高度优化，并提供有竞争力的性能。对于小型批处理推理工作负载，建议在每个 CPU 核心上运行一个工作负载，并并行运行多个工作负载，每个核心一个工作负载。 这意味着在训练和推理工作负载上能够提供比 Haswell/Broadwell 处理器中之前的 256 位宽 AVX2 指令集更高的性能。
1.2K70发布于 2018-05-07 - 来自专栏CreateAMind
实现系统2(system2)主动推理与认知控制
随后，我们描述了三个驾驶任务的模拟实验，分别展示了：没有认知控制的主动推理智能体的行为表现（模拟 1），具有仅考虑控制信号设定的简单认知控制的智能体（模拟 2），以及更复杂的（元）认知控制模型，它还包括是否启用深思熟虑和认知控制的决策机制 在下文中，我们介绍了三个面对驾驶任务的主动推理智能体： 第一个使用的是没有认知控制机制 的生成模型（模拟1）， 第二个使用的是简单元认知控制模型 （模拟2）， 第三个使用的是完整的元认知控制模型 （模拟 图2D展示了主动推理智能体在驾驶任务中所经历的认知冲突程度 。 模拟 2：具有简单元认知控制的主动推理 在这里，我们在图1B所示的主动推理生成模型基础上，增加了一个用于（简单）元认知控制层级 的回路，见图3。 模拟 2 的结果 在此部分，我们使用带有（简单）元认知控制 的主动推理模型来模拟驾驶任务。模拟结果如图4所示。
23610编辑于 2026-03-11 - 来自专栏贾志刚-OpenCV学堂
Pytorh与tensorflow对象检测模型如何部署到CPU端，实现加速推理
tensorflow对象检测框架 该框架支持tensorflow1.x与tensorflow2.x版本，其中tensorflow1.x版本是支持tensorflow1.15.0以上版本，支持的对象检测模型包 OpenVINO框架支持训练好的pb模型转换为中间文件，在CPU端侧加速推理，对SSD系列的模型在酷睿i7 CPU8th端侧推理速度可达到100FPS左右。 OpenVINO支持C++/Python两种语言部署与推理。 、模型训练与导出、OpenVINO模型转换与加速推理整个流程。 端侧运行，通过OpenVINO部署框架加速之后，酷睿i7 CPU8th端侧可以达到12FPS左右。
1.4K20发布于 2021-04-21 - 来自专栏贾志刚-OpenCV学堂
YOLO26 | C# 上位机部署推理，CPU加速FPS140+
三大核心优势： 极速CPU推理：通过原生端到端设计，移除NMS后处理步骤，CPU推理速度比前代提升高达43%，可在无GPU设备上实时运行。 其优势包括： 1）异步推理大幅提升吞吐率，适合视频流处理； 2）支持CPU、iGPU及NPU等多硬件加速，实时推理； 3）提供C# API，便于.NET开发者快速落地 代码实践与演示 第一步：构建C# OpenVINOYOLO26Detector detector = new OpenVINOYOLO26Detector(); detector.Detect(); 第二步：完整代码 - 构建YOLO26 OpenVINO C# 推理演示代码 = Visualize.draw_det_result(result, frame); Cv2.ImShow("YOLO26对象检测+OpenCV学堂", frame) CvtColor(frame, mat, ColorConversionCodes.BGR2RGB); mat = Resize.letterbox_img(mat, 640,
50510编辑于 2026-04-15 - 来自专栏蓝天
HBase Thrift2 CPU过高问题分析
HBase Thrift2 CPU过高问题分析.pdf 1. 现象描述 外界连接9090端口均超时，但telnet端口总是成功。 使用top命令观察，发现单个线程的CPU最高达99.99%，但并不总是99.9%，而是在波动。当迁走往该机器的流量后，能够访问成功，但仍然有超时，读超时比写超时多： # . EAGAIN (timed out) PID USER PR NI VIRT RES SHR S %CPU 问题定位 使用ps命令找出CPU最多的线程，和top显示的一致： $ ps -mp 20693 -o THREAD,tid,time | sort -rn zhangsan 解决方案 针对前面分析出的问题分别加以解决： 1) 客户端保证scanner全部释放； 2) HBase Thrift2增加自动释放长时间未操作的scanner； 3) 另外也可以使用
85820发布于 2018-08-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号