- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储公众号：王知鱼
大模型推理的KVCache小IO瓶颈解析
引言：大模型推理的“内存墙”与I/O挑战 在大型语言模型（LLM）从实验环境走向大规模生产部署的过程中，计算范式经历了一场深刻的转变。 随着模型参数量突破千亿（如Llama-3-70B, DeepSeek-V3）以及上下文窗口（Context Window）扩展至128k甚至1M token，推理系统的核心瓶颈已从传统的浮点运算能力（FLOPs 虽然这对显存带宽（HBM带宽通常 > 2TB/s）来说不是瓶颈，但它瞬间占据了显著的显存容量 3。 对于Llama-3-70B，每生成一个token需要读取数百MB甚至GB级数据，64GB/s的带宽仅能支撑每秒几十个token的吞吐，这对于大Batch场景是捉襟见肘的 17。 综合案例分析：Llama-3-70B在混合负载下的瓶颈模拟 为了更直观地理解上述原理如何转化为实际瓶颈，我们以Llama-3-70B模型为例进行理论推演。
68410编辑于 2026-03-09 - 来自专栏MavenTalk
开源社区大模型目前面临的8大瓶颈问题
但面对商业化的ClosedAI和OpenAI等语言模型，还存在一些瓶颈。 数据量不足，预训练数据有限 开源社区很难获得大规模高质量的数据集来进行模型预训练，导致其模型质量无法与业内巨头相提并论。 数据量的不足直接限制了模型的表达能力和推理能力。 算力资源有限，GPU/TPU数量相对较少 开源社区几乎没有足够的GPU/TPU来训练超大规模的模型参数，很难进行长时间的预训练，无法匹敌巨头公司拥有的算力优势。算力的缺乏是开源模型质量提升的硬限制。 商业化受限，收入有限，难以持续投入 开源社区很难直接通过模型商业化来获得持续的财务支持，长期投入会面临资金短缺问题。 模型泛化、可解释性与安全性等方面有待提高 开源模型的可解释性和安全性还需要加强，部署时存在不确定性，这也是限制其应用的一个因素。
59830编辑于 2023-09-06 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】Meta Llama 3 大模型 ( Llama 3 大模型简介 | Ollama 软件下载安装 | Llama3 模型下载 | Llama 3 大模型 在线 离线 使用 )
首先 , 安装 Ollama 软件 , 到 https://ollama.com/ 下载安装 ; 然后 , 运行 ollama run llama3 命令 , 即可开始使用 Llama3 大模型 ; 一 、Meta Llama 3 大模型安装 1、Llama 3 大模型简介 Llama 3 大模型 是 Meta 公司 发布的 大模型 , Meta 公司 就是 Facebook ; Llama 3 大模型 Llama3 大模型 ; 下载的模型放在了 C:\Users\用户名.ollama 目录中 , 在我的电脑上的路径是 C:\Users\octop.ollama ; 这个模型很大 , 有 4.7 G 安装完成后的效果 for help) 二、Meta Llama 3 大模型使用 1、Llama 3 大模型在线使用 在命令行中 , 可以直接进行对话 , 下面是对话内容 : D:\Llama>ollama run llama3 for help) 2、Llama 3 大模型离线使用 Llama 3 大模型 联网时 , 可以访问云端服务 , 可以生成更加丰富的文本 ; Llama 3 大模型 在 断网后也可以使用 , 下面是断开网络后
1.7K12编辑于 2024-08-09 - 来自专栏数据猿
密态计算，大模型商用数据瓶颈的新解法？
无论是大模型的训练还是推理应用，都存在数据瓶颈 当大模型从实验室研究走向实际行业应用时，数据瓶颈问题成为了阻碍其进一步商用的重要障碍，这主要表现在大模型训练和推理应用两个阶段： 大模型训练阶段，行业数据分散在不同机构 大模型推理应用阶段，大模型厂商与企业客户之间的信任缺失问题难以解决。 除了数据分散问题，大模型厂商与企业客户之间的信任问题也是一个重大障碍。 一方面，大模型厂商在将其模型交付给企业客户时，普遍担心模型资产被客户窃取。另一方面，企业客户担心大模型厂商会窃取或滥用他们提供的数据，导致商业机密和用户隐私泄露。 不同的隐私计算技术，如差分隐私、多方安全计算和联邦学习，各有其优劣，但在实际应用中往往面临性能瓶颈和复杂性问题，难以满足大规模商业应用的需求。 隐语 Cloud 大模型密算平台的原理和特色 资料来源：蚂蚁集团 在大模型密态托管方面，模型提供方将大模型加密后托管在平台上，通过先进的加密算法进行分段加密处理，确保模型在云端存储过程中的安全。
74910编辑于 2024-07-16 腾讯大模型信贷助手：破解对公信贷尽调效能瓶颈
部署大模型信贷助手全周期智能解决方案 基于混元大语言模型与混元多模态模型，腾讯推出大模型信贷助手，形成覆盖信贷全流程的多源异构材料结构化提取与分析综合解决方案。 undefined核心技术： 混元大语言模型突破KV提取、语义跟随、幻觉控制瓶颈，打造“聪明严谨大脑”； 混元多模态模型突破文档长度（支持200MB以上超大文档）、复杂版面、元素识别瓶颈，提供“ 呈现效率与精度双升的量化业务价值 应用现状显示，大模型能力覆盖95%信贷工作内容，关键指标如下（数据来源：产品功能说明及效果图表）： 人工审核采纳率93%； 工作效率提升10倍； 报告生成时长从 实证某金融机构落地应用的效能跃迁 在某大模型应用厂商及互联网券商企业落地中，该模型针对年报、财报等超长复杂文档处理表现出色。 总结腾讯大模型信贷助手的技术领先性与适配价值 选择腾讯的核心在于： 技术确定性：依托混元通用大模型及混元专属大模型（场景化微调），整合大模型智能体开发平台（TCADP）、训推一体平台（Ti-ONE）
15910编辑于 2026-04-25- 来自专栏机器之心
103K「硬核」题，让大模型突破数学推理瓶颈
本文的通讯作者为涂兆鹏，腾讯混元数字人专家研究员，研究方向为深度学习和大模型，在国际顶级期刊和会议上发表学术论文一百余篇，引用超过 10000 次，担任 SCI 期刊 NeuroComputing 副主编 然而，当前大语言模型（LLM）在数学推理，特别是通过强化学习（RL）进行训练时，正面临着前所未有的数据瓶颈：现有数据集普遍缺乏挑战性和新颖性、答案难以验证，且常与评估基准存在 “污染” 问题。 这直观地表明，DeepMath-103K 的问题集合在语义和结构上与现有数据集存在显著差异，避免了 “炒冷饭” 的问题，为模型提供了真正新颖的训练样本。 3. SOTA 结果，甚至超越了 o1-mini 和 o3-mini (low effort)。 它不仅解决了数据瓶颈问题，更通过其独特的设计和卓越的性能，证明了精心构造的高质量训练数据在推动 AI 前沿方面的深远价值。
42100编辑于 2025-06-12 - 来自专栏IT技术订阅
DeepSeek EP并行专家通信技术解析：打破大模型训练瓶颈
随着模型规模的不断扩大，传统的通信机制逐渐暴露出瓶颈，难以满足高效并行计算的需求。在此背景下，DeepSeek开源的DeepEP通信库应运而生，为解决这一问题提供了新的思路和技术方案。 然而，传统的通信库在处理这种复杂的全对全（all-to-all）通信时，往往存在带宽瓶颈和延迟问题，导致训练效率低下。此外，MoE模型的训练和推理过程对通信的实时性和资源利用率提出了更高的要求。 为了解决这些问题，DeepSeek开源了DeepEP通信库，专为MoE模型设计，旨在通过优化通信机制，打破大模型训练和推理的瓶颈，提升分布式计算的效率。 通过这种优化，DeepEP能够在不同带宽的通信链路之间实现高效的数据传输，避免了因带宽瓶颈而导致的性能下降。 三、DeepEP通信库的实际意义 （一）提升训练效率 在大规模分布式训练中，通信效率是制约模型训练速度的关键因素之一。传统的通信机制往往存在带宽瓶颈和延迟问题，导致模型的迭代速度缓慢。
1.3K00编辑于 2025-02-27 - 来自专栏大模型应用
大模型应用：大模型算力优化方案：识别突破隐性瓶颈达到效能最大化.65
，通过“注意力头裁剪”可减少20%算力消耗，效果损耗仅3%；注意力头太多会导致大量无效运算大模型常用多头注意力机制，但实际应用中30%～50% 的注意力头对结果几乎没贡献。 3. 边缘部署3.1 低功耗场景：平衡算力与功耗核心目标：在嵌入式GPU（如Jetson Orin、NVIDIA AGX Xavier）上部署大模型，适配边缘设备低功耗、低延迟需求。 瓶颈定位：诊断问题根源的三个层级： 系统级：CUDA、驱动、操作系统层面问题模型级：模型架构设计导致的效率问题数据级：数据加载和处理流程的瓶颈3. 针对性优化：根据定位结果执行具体优化措施4. 、总结 其实大模型算力优化，本质不是堆硬件，而是把现有硬件的潜力榨干，关键就抓三条：找对瓶颈、按需适配、量化验证，这也是从理论落地到实战的核心逻辑。 ，量化+蒸馏双管齐下，让大模型在嵌入式设备上高效运行。
32443编辑于 2026-04-03 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 deepseek-r1的哪个版本的大模型？ 它支持各种LLM，包括Llama 3、Mistral和Gemma。提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。 理论上就安装完成了，可以只在命令行中使用大模型了。修改路径文件保存路径可以不用改，如果C盘空间不够用，建议修改。
6.3K33编辑于 2025-02-06 - 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在这个例子中，我们随机选择了两个连续的词片段[x3]和[x5, x6]作为样本。 b) 替换和洗牌：在Part A中，我们将被选择的词片段替换为[M]（表示遮盖）。 在这个例子中，我们将[x3]和[x5, x6]洗牌为[x5, x6]和[x3]。 c) 自回归生成：GLM使用自回归的方式生成Part B。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
77820编辑于 2023-08-28 - 来自专栏新智元
首个科学计算基座大模型BBT-Neutron开源！突破大科学装置数据分析瓶颈
新智元报道 编辑：LRST 【新智元导读】大语言模型能否解决传统大语言模型在大规模数值数据分析中的局限性问题，助力科学界大科学装置设计、高能物理领域科学计算？ 其中，研究人员从粒子对撞实验出发，探索了大语言模型在大科学装置数据分析与科学计算领域的全新应用场景—— 具体来说，团队将其最新研发的科学基座大模型BBT-Neutron应用于粒子对撞实验，模型采用了全新的二进制分词方法 ）提供 图3：Particle Transformer模型十一种类的粒子喷注来源鉴别结果--论文协作者、Particle Transformer开发团队（CERN曲慧麟团队）提供 这些模型在数据集大小扩展时都显示出性能提升 图4：喷注味鉴别准确率(上)以及电荷误判率(下)与训练数据量的关系 二进制分词：统一多模态数据处理，突破数值数据分析瓶颈 近年来大语言模型在文本处理、常识问答等任务上取得了显著进展，但在处理大规模数值数据方面依然面临挑战 ，达到行业的SOTA（图1-3）。
46810编辑于 2025-02-15 - 来自专栏机器之心
大模型智能体如何突破规模化应用瓶颈，核心在于Agentic ROI
本文第一作者为上海交通大学计算机学院副教授刘卫文，研究方向为大模型智能体，大语言模型，个性化算法等。 近年来，随着大语言模型的快速发展，基于其构建的大模型智能体（LLM Agents）正逐步从技术演示走向实际应用部署。然而，真正实现规模化应用仍面临诸多瓶颈。 这一现象引发了一个关键问题： 当前制约大模型智能体实际可用性的真正原因是什么？ Real Barrier to LLM Agent Usability is Agentic ROI 论文链接：https://arxiv.org/pdf/2505.17767 Agentic ROI：大模型智能体实现规模化应用的关键瓶颈 基础模型如 OpenAI 系列模型的发展也体现了这一「之字形」发展趋势：同系列模型如 o1-mini 到 o1 模型表现显著增强，而新一代小模型如 o3-mini 则在持平 o1 性能的同时显著降低了推理费用和延迟
34200编辑于 2025-06-10 - 来自专栏openclaw系列
OpenClaw怎么换大模型？3步免费切换各种大模型配置教程
一句话总结：OpenClaw 本身不内置任何大模型，而是通过灵活的配置机制对接各类模型服务。更换模型只需三步：选择目标模型获取 API Key、在配置文件中添加模型提供商、重启网关生效。 但很多人忽略了一个关键问题：OpenClaw 本身不包含任何 AI 模型。就像一台性能再强的电脑，没有操作系统也无法工作。OpenClaw 的“大脑”完全来自你接入的大模型。 第一章：核心原理——OpenClaw 如何对接大模型？1.1 为什么需要更换模型？OpenClaw 的核心价值在于“连接”——连接大模型的思考能力与电脑的真实操作权限。 2.1 腾讯元宝模型配置（推荐中文场景）腾讯元宝基于混元大模型，提供强大的中文理解和多模态能力，2026 年推出免费额度方案，大幅降低使用门槛。 Q3：本地模型响应太慢怎么办？
14.7K43编辑于 2026-03-28 - 来自专栏NewBeeNLP
向量检索模型落地：瓶颈及解法！
作者 | Maple小七 整理 | NewBeeNLP 稠密向量检索巨大的内存占用一直是限制其落地的一大瓶颈。 今天分享一篇来自EMNLP 2021的论文，讨论了三种简单有效的压缩方法： 无监督PCA降维 有监督微调降维 乘积量化 实验结果表明简单的PCA降维有着很高的性价比，能够以少于3%的top-100准确度损失换取 PCA利用特征分解将一组可能存在相关性的向量变换到线性无关的特征向量构成的的坐标系下，并保留方差较大的方向，丢弃方差较小的方向，而解释方差比则是度量PCA降维效果的指标： 其中 是从大到小第 可以发现，在向量维度较大的时候( 、 )，无监督PCA的表现更好，当向量维度较小的时候( )，有监督微调的表现会更好，然而这时候模型性能下降得也非常明显，因此总体来说无监督PCA更有实用价值 Discussion 限制稠密向量检索模型落地的一大瓶颈就是推理时延和内存消耗的问题，这篇论文通过实验证明了简单的主成分分析加上乘积量化，在辅以稀疏向量检索，就能在保证准确度的前提下大幅减少内存占用，提升检索速度
1.5K20编辑于 2022-02-26 - 来自专栏NewBeeNLP
双塔模型的瓶颈究竟在哪？
但这些模型通常会带来更大的查询时延和更大的存储开销。 但是，单向量表示模型的性能瓶颈真的完全在于简单的点积交互吗？ 为了回答这个问题，作者在固定稠密向量维度( D=768 )不变的条件下，采用不同尺寸的T5-encoder(base、large、3B、11B)训练稠密检索模型。 实验结果表明，「稠密检索模型的瓶颈并不完全在于单个向量的表示能力不足，编码器的能力也会在很大程度上影响模型的泛化能力。」 另外，为了有效地利用大模型的容量优势，训练出泛化性能更好的模型，作者还设计了一个预训练+微调的训练策略。 而作者发现使用大模型除了能提指标，同时也提升了样本效率。作者尝试仅使用10%的训练数据来微调模型，并对比了不进行预训练的模型(GTR-FT)和进行预训练的模型(GTR)，结果如下表所示。
67810编辑于 2024-04-26 - 来自专栏AI SPPECH
105_大模型微调高级优化技术：突破训练瓶颈的实践指南
引言 在大语言模型（LLM）时代，模型规模的爆炸式增长带来了前所未有的训练挑战。现代大模型如GPT-4、LLaMA 3等参数量已达千亿甚至万亿级别，这使得传统的训练方法面临着严峻的硬件资源限制。 大模型微调的挑战与优化概述 1.1 大模型微调的核心挑战 大模型微调面临的首要挑战是硬件资源的限制。 大模型通常具有复杂的网络结构，包含大量的注意力机制和全连接层，这使得前向和后向传播过程计算密集。同时，分布式训练中的通信开销也会随着节点数量的增加而显著增长，成为性能瓶颈。 对于大模型微调，显存节省通常比计算时间增加更为重要，因为显存往往是训练的瓶颈。根据实践经验，梯度检查点与混合精度训练结合使用，可以使单卡能够训练的模型规模翻倍。 在大模型微调过程中，常见的性能瓶颈及其解决方案包括： 显存瓶颈：使用混合精度训练、梯度检查点、参数高效微调、模型并行等技术 计算瓶颈：优化数据加载、使用混合精度训练、选择合适的批处理大小 通信瓶颈：减少通信频率
65410编辑于 2025-11-16 - 来自专栏大模型成长之路
【大模型学习 | DeepSeek-V3原理】
DeepSeek-V3 Technical Report DeepSeek-V3 的基本框架还是 Transformer。 另外，V3 模型是通过将预测多token作为训练目标。本文主要是对DeepSeek-V3的模型框架以及训练目标进行讨论。 什么是负载平衡？ 2️⃣ DeepSeekMoE 在Transformer架构中的FFN层，V3模型采用了MoE进行替换，使用更细粒度的专家，并将一些专家隔离为共享专家。 ✅ Yes ✅ 无偏置 目前的模型权重已开源： https://huggingface.co/deepseek-ai/DeepSeek-V3-Base 者由于设备限制无法对 V3模型进行体验。
1.4K21编辑于 2025-07-25 - 来自专栏AI工程落地
大语言模型--Llama3新特性
更大的词表使得模型涵盖的语言更多、更加通用 Attention层--MultiHeadAttention算子 Llama3 8B和70B都使用了分组查询注意力机制(GQA)，4个Query共享一对Key 减少了计算量，同时保持了模型的性能。 值是500000.0（Llama2用的是默认值10000.0） 上下文窗口中的最大Tokens从 4096增加到 8192 数据类型 Llama2开源的参数是float16格式的，但Llama3开源的参数都是 依赖软件包 transformers包升级到4.40.0以上 模型版本 2024年4月21号 初版 Llama3 8B的HellaSwag分数：acc 0.6039、acc_norm 0.776 2024年5月14号 第二版 Llama3 8B的HellaSwag分数：acc_norm 0.822
37110编辑于 2024-05-29 - 来自专栏后端码匠
【Redis】性能瓶颈：如何优化大key问题？
Spring Boot Version: ${spring-boot.version}${spring-boot.formatted-version} ${AnsiColor.BLACK} Redis性能瓶颈 然而，实际上，Redis的性能瓶颈不仅仅取决于单个key的大小，还取决于key的总数、Redis服务器的内存使用率、CPU负载以及网络带宽等多个因素。 同时，也需要对数据模型进行优化，避免出现单个key过大的情况。 大key产生的原因 Redis大key问题产生的原因可能有多种，如以下原因： 数据模型设计不合理：如果数据模型设计不合理，例如将大量数据存储在一个key中，或者使用一个大型散列表或集合存储数据，就容易导致单个 rdb --commond memory --bytes 2048 --largest 10 dump.rbd 怎么解决大key 数据模型优化：对数据模型进行优化，避免将大量数据存储在一个key中，
1.8K20编辑于 2023-09-02 - 来自专栏智算中心网络
万亿参数大模型网络瓶颈突破：突破90%网络利用率的技术实践
GPT大模型的参数量已突破万亿级别，自动驾驶训练需要处理PB级的场景数据，这些都使得AI计算集群规模呈指数级增长。 这种低效不仅造成巨额硬件投资浪费，更成为制约AI训练效率的关键瓶颈。 传统以太网的困境 网络利用率作为衡量实际传输流量与理论带宽比值的核心指标，在AI计算场景中直接决定模型训练周期。 这种效率瓶颈源于多重技术桎梏： 流量复杂度倍增：现代数据中心混合承载着AI训练的长流（Long Flow）、推理服务的短流（Short Flow）、存储复制的大包（Jumbo Frame）以及管理信令的小包 目前，CLOS是最流行的网络结构 [3]，在这个网络结构中，总接入带宽与总汇聚带宽相等，并容易在纵向和横向上扩展，在宏观上实现了无阻塞。 随着AI大模型参数规模突破10万亿，超级以太网正从技术概念演变为算力基础设施的关键支柱。通过架构革新与协议栈重构，网络利用率突破90%已具备工程可行性。
75210编辑于 2025-04-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号