- 综合排序
- 最热优先
- 最新优先
【论文合集】- 存内计算加速机器学习
本章节论文合集，存内计算已经成为继冯.诺伊曼传统架构后，对机器学习推理加速的有效解决方案，四篇论文从存内计算用于机器学习，模拟存内计算，对CNN/Transformer架构加速角度阐述存内计算。 CIM允许在内存单元内计算，从而实现更快的数据处理和降低功耗。高效的编译器算法是利用分块CIM架构潜力的关键。 跨层调度是一种有前途的方法，因为它增强了CIM核的利用率，从而加速计算。虽然类似的概念在以前的工作中隐含使用，但缺乏明确且可量化的算法定义，用于分块CIM架构的跨层调度。 来自CNN和Transformer家族的不同模型架构的详尽实验证明了CiMNet在寻找协同优化的子网络和CiM硬件配置方面的有效性。 具体而言，对于与基线ViT-B相似的ImageNet分类准确性，仅优化模型架构可以将性能（或减少工作负载执行时间）提高1.7倍，而同时优化模型架构和硬件配置可以将其提高3.1倍。
46010编辑于 2024-05-21- 来自专栏司钰秘籍
存内领域前沿,基于忆阻器的存内计算----浅析忆阻存内计算
一.概念浅析 1.存内计算 存内计算（In-Memory Computing，简称 IMC）是一种将数据处理和存储紧密结合在一起的计算方式。 由于数据处理在存储设备内完成，不需要将数据传输到处理器进行计算，因此可以提高系统的效率和响应速度。此外，存内计算还可以通过利用存储设备的并行性，实现高效的并行计算。 3.基于忆阻器的存内计算 忆阻器作为一种新颖的存储器技术，具有非易失性、快速切换和低操作能耗等优异特性，成为面向新型人工智能的存内计算系统的候选之一。 总电流值Ii是电导矩阵与电压向量的乘积结果 ，从存内计算角度来说 ，模拟型交叉阵列完成乘法-加法过程只需要一步 ，自然地可以实现矩阵向量乘的硬件加速。 这一工作展示了忆阻器件在存内计算领域的巨大潜力 ，提供了高效的存内计算的可行方案 。
2.8K12编辑于 2024-04-04 - 来自专栏技术汇总专栏
窥探向量乘矩阵的存内计算原理—基于向量乘矩阵的存内计算
原文：窥探向量乘矩阵的存内计算原理—基于向量乘矩阵的存内计算-CSDN博客CSDN-一见已难忘在当今计算领域中，存内计算技术凭借其出色的向量乘矩阵操作效能引起了广泛关注。 窥探向量乘矩阵的存内计算原理生动地展示了基于向量乘矩阵的存内计算最基本单元。这一单元通过基尔霍夫定律，在仅一个读操作延迟内完整执行一次向量乘矩阵操作。 DPE (Hewlett Packard Laboratories) DPE是专为向量乘矩阵操作设计的存内计算加速器。 ISAAC (University of Utah) ISAAC是专为神经网络推理设计的存内计算架构，其多个存内计算阵列通过C-mesh片上网络连接。 逐鹿存内计算的新时代随着计算领域不断演进，存内计算技术如一匹矫健的鹿儿，勇敢地迎接着新时代的挑战。
71120编辑于 2024-01-30 - 来自专栏繁依Fanyi 的专栏
存内计算：释放潜能的黑科技
什么是存内计算？ 存内计算技术是一种新型的计算架构，它将存储器和计算单元融合在一起，以实现高效的数据处理。存内计算技术的优势在于能够消除数据搬运的延迟和功耗，从而提高计算效率和能效比。 存算技术也被AspenCore预测为2022年的全球半导体行业十大技术趋势。目前存算技术正处在从学术到工业产品的跃迁的关键时期。 类脑计算借鉴生物神经系统的信息处理模式和结构，旨在使计算机像人脑一样将存储和计算合二为一，高速处理信息。存算一体芯片在类脑计算的大算力高能效领域有着重要的应用前景。 端侧和云计算设备： 存算一体技术在端侧设备中能够满足对成本、功耗、时延、开发难度的敏感要求，竞争力影响约占30%。在云计算和边缘计算的大算力设备中，存算一体芯片具有更大的优势，竞争力影响约占90%。 由于GPU的单一架构不能适应不同AI计算场景的算法离散化特点，存算一体芯片以其高能效大算力的优势有望另辟蹊径，满足不同领域的需求，尤其在图像、推荐、NLP等领域。
97110编辑于 2024-03-28 - 来自专栏繁依Fanyi 的专栏
存内计算——发展史与近期成果
随着大数据时代的到来，存内计算由于其结构特点以及摩尔定律的“失效”，被认为是提升处理器能效和性能以及加速神经网络运算的新出路。接下来我们将从存内计算的源头出发，介绍它的发展史与近期取得的成果。 随着深度学习热潮的到来，存内计算由于其结构特点，被认为具有加速深度学习运算的能力，高校开始了存内计算的相关研究，国外开始出现以存内计算为卖点的处理器制造公司，如Mythic。 北京大学集成电路学院与人工智能研究院黄如院士课题组基于存内计算技术，提出高效的无ADC架构SRAM存内计算加速引擎，并在ISSCC 2022上发表文章[10]。 CSDN首个存内计算开发者社区来了，基于各界产学研存内技术研究，涵盖最丰富的存内计算内容，以存内技术为核心，史无前例的技术开源内容，囊括云/边/端侧商业化应用解析以及AI时代新技术趋势洞察等， 邀请业内大咖定期举办存内 除了以上研究热点，存内计算技术还有很多其他的研究应用方面，比如AI加速卡、3D存内计算芯片设计等。当然，存内计算技术还有很多可能的研究应用亟待发现，期待存内计算真正全面走入我们生活中的一天。
1.6K10编辑于 2024-02-01 - 来自专栏存内计算加速大模型
存内计算技术大幅机器学习算法的性能
目前，人工智能芯片的发展主要集中在两个方向：一方面是采用传统计算架构的AI加速器/计算卡，以GPU、FPGA和ASIC为代表；另一方面则是采用颠覆性的冯诺依曼架构，以存算一体芯片为代表。 3.2 存内计算在神经网络推理中的应用在神经网络的推理阶段，存内计算同样展现了其优越性。神经网络模型经过训练后，参数已经固定，此时可以将计算单元直接嵌入存储单元中，实现在存储设备内完成推理过程。 这种本地化的计算方式不仅提高了推理的速度，还降低了功耗，使得神经网络在边缘设备上的应用更为高效。为了更具体地展示存内计算的应用，介绍一个基于PyTorch的简单神经网络加速案例。 总体来说，这段代码在神经网络模型中引入了存内计算的特性，通过禁用偏置项来实现，从而可能在一些场景下提高计算效率。四. 自适应存内计算： 研究如何在不同计算场景下自适应地使用存内计算，以实现更灵活的神经网络加速。跨领域合作： 推动存内计算技术与其他领域的融合，如物联网、医疗、自动驾驶等，拓展存内计算的应用场景。五.
38500编辑于 2024-05-15 - 来自专栏IT技术订阅
DeepSeek大模型参数散存技术解析
一、参数散存技术的核心思想与架构基础 参数散存技术是DeepSeek大模型实现高效计算与资源优化的核心创新之一。其核心理念在于通过动态分配与选择性激活模型参数，减少冗余计算，提升资源利用率。 这种设计使得总参数量达6710亿的模型，在单次推理时仅需激活370亿参数，显著降低了计算复杂度。 二、参数散存的技术实现路径 2.1 动态路由与计算资源调配 动态路由网络是参数散存的核心执行层，其工作流程分为三个阶段： 1. 三、参数散存技术的应用价值与挑战 3.1 实际应用效果 计算效率提升：在金融风险预测任务中，DeepSeek-Pro（13B参数）相比同等规模稠密模型，推理延迟降低50%，能耗减少63%。 绿色计算实践：目标在1W功耗下运行10B参数模型，当前原型机已实现70%能效目标。 DeepSeek的参数散存技术标志着大模型设计从"规模至上"到"效率优先"的范式转变。
88410编辑于 2025-02-10 - 来自专栏AI科技大本营的专栏
基于新型忆阻器的存内计算原理、研究和挑战
基于忆阻器的存内计算原理 基于忆阻器实现的存内计算可以分为几个方 面:利用二值忆阻器的逻辑运算 、利用模拟型忆阻器 的模拟计算和其他类型的存内计算。下面主要介绍 非挥发布尔运算和模拟计算的原理 。 总 电流值 Ii 是电导矩阵与电压向量的乘积结果 ，从存 内计算角度来说 ，模拟型交叉阵列完成乘法-加法过 程只需要一步 ，自然地可以实现矩阵向量乘的硬件 加速。 这一工作展示了 忆阻器件在存内计算领域的巨大潜力 ，提供了高效 的存内计算的可行方案 。 ? 基于忆阻器的存内计算挑战与展望 基于冯 · 诺依曼架构硬件平台面临内存瓶颈问题 ，而基于忆阻器的存内计算是这个问题的较好解 决方案。 基于忆阻器的存内计算可以消除 现今冯 · 诺依曼平台存在的内存瓶颈问题。随着越 来越多的基于忆阻器的存内计算方案被提出 ，存内计算的发展也将越来越好 。
2.4K22发布于 2020-02-26 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 vllm-project/vllm 文档：https://vllm.readthedocs.io/en/latest/models/supported_models.html 支持 HuggingFace 上的模型 安装 pip install vllm 检查模型是否被 vLLM 支持，返回成功则是支持的。 from vllm import LLM llm = LLM(model=... 然后在主节点运行上述的 Server，GPU 数量可以指定为集群内所有的 GPU 数量总和。
24K21编辑于 2024-03-13 - 来自专栏Juicedata
BentoML：如何使用 JuiceFS 加速大模型加载？
BentoML 是一个开源的大语言模型（LLM） AI 应用的开发框架和部署工具，致力于为开发者提供最简单的构建大语言模型 AI 应用的能力，其开源产品已经支持全球数千家企业和组织的核心 AI 应用。 这意味着开发者可以用很低的学习成本来快速开发一个高效利用硬件资源的大语言模型 AI 应用。BentoML 还支持多种框架训练出来的模型，包括 PyTorch、TensorFlow 等常用 ML 框架。 起初，BentoML 主要服务于传统 AI 模型，但随着大型语言模型的兴起，如 GPT 的应用，BentoML 也能够服务于大语言模型。 特别是对于大语言模型，其模型文件通常很大，可能达到十几到二十几 GB 的规模，导致在启动时拉取和下载模型的阶段非常耗时，从而显著延长冷启动时间。 此外，我们进一步优化了下载和缓存的颗粒度，不仅每个模型都有自己的缓存颗粒度，而且 JuiceFS 对大文件分割成了一系列 chunk，以 chunk 为单位进行下载和缓存，利用这个特性可以实现类似于大模型的
59910编辑于 2024-02-22 - 来自专栏深度学习与python
BentoML：如何使用 JuiceFS 加速大模型加载？
作者 | 管锡鹏 BentoML 是一个开源的大语言模型（LLM） AI 应用的开发框架和部署工具，致力于为开发者提供最简单的构建大语言模型 AI 应用的能力，其开源产品已经支持全球数千家企业和组织的核心 这意味着开发者可以用很低的学习成本来快速开发一个高效利用硬件资源的大语言模型 AI 应用。BentoML 还支持多种框架训练出来的模型，包括 PyTorch、TensorFlow 等常用 ML 框架。 起初，BentoML 主要服务于传统 AI 模型，但随着大型语言模型的兴起，如 GPT 的应用，BentoML 也能够服务于大语言模型。 特别是对于大语言模型，其模型文件通常很大，可能达到十几到二十几 GB 的规模，导致在启动时拉取和下载模型的阶段非常耗时，从而显著延长冷启动时间。 为单位进行下载和缓存，利用这个特性可以实现类似于大模型的 Stream Loading 的效果。
40010编辑于 2024-03-18 - 来自专栏存内计算加速大模型
ISSCC 2023 16.1 MulTCIM详解-存内计算在多模态领域的应用前沿论文
除此之外，2月发布的Sora、4月发布的Vidu等视频生成大模型，具有视频描述生成（Video Captioning）功能；上周发布的ChatGPT-4o大模型还具有多模型情感分析（Multimodal 多模态模型带来的网络规模增大、参数剧增、训练成本提升等问题将对传统芯片架构提出挑战，而存内计算技术可以很好的应对这些问题。 存内计算技术将带来更高的能耗效率、计算效率、数据处理并行度与更低的传输延迟、计算功耗，这些特点使得存内计算芯片在多模态模型的训练、推理等场景中占据优势，有望取代传统冯﹒诺依曼架构成为新一代AI芯片的架构选择 国内知存科技已在存内计算芯片领域深耕多年，自2019年11月发布国际首个存内计算芯片产品WTM1001起，五年间已实现WTM1001量产投片、国际首个存内计算SoC芯片WTM2101验证与小批量试产投片 在未来，存内计算芯片将在多模态模型领域发挥更大的作用，为多模态模型的广泛应用提供有力支持。
71510编辑于 2024-05-21 - 来自专栏腾讯技术工程官方号的专栏
加速模型场景落地！腾讯大模型工具链全面升级
大模型工具升级 加速落地产业场景 为了进一步降低大模型的使用门槛，今年5月，腾讯云发布了“大模型知识引擎”、“大模型图像创作引擎”和“大模型视频创作引擎”三款PaaS工具，让企业能快速调用大模型的底层能力 同时，知识引擎进一步扩展了企业知识类型的覆盖面，升级了泛BI对话式数据问答体验，支持超大表格、多表场景的多步骤推理、多条件筛选、求和计算，并扩展支持对接客户主流数据库。 TI平台提供从数据预处理、模型构建、模型训练、模型评估到模型服务的全流程开发支持，帮助企业加速开发，降本增效。 基于该数据集，研究人员可开发甲骨文检测、识别、摹本生成、字形匹配以及释读等方向的智能算法，助推甲骨文研究加速数字化和智能化。 2021年，腾讯联合国家天文台，发起了“探星计划”，基于优图实验室的计算机视觉技术，用AI+云提高探星效率，辅助快速射电暴和近密双星系统中脉冲星搜索。
1.2K10编辑于 2024-08-08 破解大模型算力焦虑：TencentOS 计算加速与资源调度降本增效实践
主讲人：杜震（TencentOS 首席产品架构师） (数据来源：腾讯全球数字生态大会·城市峰会《AI Infra的计算加速与 TencentOS 实践》报告) 应对 AI 时代的算力瓶颈与资源闲置挑战 在生成式 AI 与大语言模型（LLM）爆发的行业情景下，企业基础设施正面临算力昂贵与资源浪费的深层矛盾。 构建高性能推理引擎与精细化资源调度底座 为打破算力瓶颈，腾讯云基于 TencentOS 推出开箱即用的 AI 大模型加速框架与集约化调度方案，从算法层到操作系统内核层实现全面重构： 全场景 TACO 推理引擎 以存代算的分布式多级缓存（FlexKV）：面向超大规模推理，构建“GPU显存-CPU内存-SSD-云存储”四层缓存机制，提供 PB 级容量与跨节点共享，极大降低 GPU 显存门槛。 释放闲置算力价值并重塑 AI 基础设施投资回报率 通过计算加速与弹性调度，TencentOS 方案在核心业务指标上实现了量化的跨越式提升： 算力成本大幅骤降（核心 ROI 指标）： 依托 qGPU 精细切分
15610编辑于 2026-04-02- 来自专栏光芯前沿
非互易＋非易失磁光材料异质集成实现高性能光子存内计算
UCSB和东京工业大学的团队在NP上报道了利用非互易磁光效应材料与集成光波导器件的异质集成，实现高速（1GHz）、高效（143fJ/bit）、高可靠性（24亿次循环）的光子存内计算架构。 磁存储是广泛应用在磁带、硬盘里边的，其中一个大的优点就是可擦写次数很高，可靠性强。 国际上有两个比较厉害的团队在做磁光材料和集成光的异质集成，将非互易特性引入到芯片上去。 比如这篇NP，就是利用前面提到的原理，结合微环的双向非互易传输的特性，实现了一个光计算架构上的创新。
39410编辑于 2025-04-08 Coze玩转ChatGPT-4，存算解决大模型算力
ChatGPT-4需要每月充值20美元才能使用，其神经网络参数数量更是达到万亿级别，并且还在不断增长，训练神经网络的计算需求也随之大幅度增长，将AI计算推向了大模型时代[1]。 二．大模型算力及存算架构上一章节介绍了一种免费使用ChatGPT-4的工具，可以解决ChatGPT-4的费用问题，下面我将简单介绍ChatGPT-4引出的大模型算力需求，并介绍一种解决方案——存算架构。 图 44 大模型训练算力需求与芯片算力增长速度的对比[5]大模型的训练和推理不仅计算密集，而且极度依赖数据传输效率。 这种架构能显著提高数据处理速度，降低能耗，是解决大模型算力需求的一种具有极大前景的技术。根据计算范式的不同，存算一体可以主要分为模拟式和数字式两种[6]。 和SRAM研发的存内计算芯片更接近产业化，例如知存科技的WTM2101芯片结合了RISC-V指令集与NOR Flash存内计算阵列，可以进行8bit精度的矩阵乘加运算，已经实现量产。
2.3K10编辑于 2024-05-14- 来自专栏腾讯云服务器团队的专栏
助力大模型极致加速
TACO-LLM 是基于腾讯云异构计算产品推出的一款大语言模型推理加速引擎，用于提高语言模型的推理效能。 首当其冲是当前主流的decoder-only模型都具备自回归解码属性。简单说，模型生成输出是一个串行的计算过程。下一个输出依赖上一个输出。因此很难发挥出GPU或其他加速硬件的并行加速能力。 然后可以将注意力机制重写为在块对齐的输入上运行，从而允许在非连续的内存范围内执行注意力计算。TACO-LLM通过Paged Attention技术，实现了较高的显存利用效率。 这种计算方式无法充分利用GPU的算力，计算效率不高，解码成本高昂。而TACO-LLM通过投机采样的方式，从根本上解决了计算访存比的问题。 3）可采用拒绝采样算法等统计方法选择性接受小模型产生序列的子序列。 利用SpS算法，当小模型和目标模型达成较高共识的时候，目标模型在一次解码迭代内，获得多个有效token，从而加速解码过程。
2.4K30编辑于 2023-11-17 - 来自专栏FPGA技术江湖
FPGA 2025最佳论文--加速视频推理大模型
从这篇论文的内容我们也无法看出如果大模型的算法有了优化，那这篇论文中提到的方法能否快速适配新的算法，这也是FPGA目前所面临的问题，大模型的更新速度比较快，可能FPGA的开发和部署还没有稳定，新的算法就出来了 论文简介 这篇论文聚焦于视频生成模型（VGM）的加速优化，VGM 作为多模态大模型的代表，革新了视频内容创作，但因采用 DiT 结构，计算量极大。 稀疏化虽常用，但稀疏 VGM 难以发挥 GPU 的有效吞吐量，FPGA 虽适合加速稀疏模型，可现有 FPGA 加速器处理 VGM 时吞吐量低，主要面临激活冗余大、混合精度下 DSP 性能低、在线压缩静态编译利用率低的挑战 在计算特性上，与内存密集型的大语言模型（LLM）不同，基于 DiT 结构的 VGM 属于计算密集型。 具体操作上，先进行帧间稀疏化，将输入激活按一定帧数分组，选取参考帧后对比其他帧的 token 与参考帧 token 的相似性，相似性超阈值的 token 计算结果可复用，减少计算量；接着进行帧内稀疏化，
98810编辑于 2025-04-02 KubeAI大模型推理加速实践｜得物技术
首先我们将探讨大模型的加速优化方向，随后文章将依据时间线，介绍一些业界内较为经典的实用大模型加速技术，包括但不限于“FlashAttention[1]”和“PageAttention[3]”等技术。 以下为按时间顺序业界的一些经典大模型推理加速技术，本文试图为读者提供一个按时间发展顺序的大模型加速方法综述。 二、大模型发展面临的挑战未来大模型的参数量肯定会越来越大，这也是大模型的发展趋势，对推理加速的要求会越来越高。 但是随着模型的规模增大，大模型的推理速度将会逐渐降低，这是因为更多的参数量需要更多的GPU计算。推理速度的下降进一步带来更差的用户体验，因此如何对大模型推理加速变得越来越重要了。 大模型推理的加速方向有哪些从Llama 2模型的结构分析中，我们可以总结出大模型在推理计算过程中表现出以下特点：在整个推理过程中，最耗时的部分为注意力(Attention)计算。
1K10编辑于 2024-05-21- 来自专栏AI工程落地
vLLM中如何实现大模型推理加速技术？
但对于大模型来说，有的用户请求需要生成很长的回答，需要经过很多轮decode，如果在一个batch里，其他用户请求只能等着一起返回，这样的调度明显不适合大模型。 从req2开始，AB命中了缓存，prefill阶段传入模型的token id只有F，Embed、Linear、Norm等算子只需要计算F，在attn算子，需要从cache中拿到AB的kv，合并到一起进行注意力计算 需要小模型和大模型的词表一样，并且小模型的效果也很关键，故使用的越来越少了。 主要用于训练阶段，因为小模型会获取到和大模型一样的海量数据，所以在推理阶段效果也很好，是其他投机解码方法无法比拟的。 KVCache如何管理draft model和大模型分开管理各自的kv cache，draft model的kv cache使用完会被大模型覆盖掉。
74032编辑于 2025-11-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号