- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型系列
解密 DeepSeek V4：双轴稀疏 MoE + Engram 记忆 + Muon 优化器，如何打造高效万亿模型？
2.4Engram记忆架构Engram记忆架构是DeepSeekV4在长上下文处理方面的另一项重要创新。 该架构借鉴了神经科学中“记忆痕迹”（Engram）的概念，通过以下机制增强模型的记忆能力：记忆单元：在Transformer层之间插入专门的记忆单元，用于存储和检索长期依赖信息；记忆更新：采用可学习的更新规则 5.3.2智能体开发Agent框架：支持复杂的智能体开发，具备优秀的规划和执行能力；多工具集成：能够调用外部工具和API，扩展功能边界；长期记忆：通过Engram架构实现长期记忆和经验积累。 避免专家偏斜问题；更强的记忆能力：增强Engram架构，实现更长期、更可靠的记忆存储。 其创新的MoE架构、双轴稀疏设计、混合注意力机制、Engram记忆架构等技术突破，不仅解决了超大规模模型的效率问题，更在长上下文处理、推理性能、成本控制等方面实现了全面领先。
56720编辑于 2026-05-16 今天 AI 记忆系统又进了一步：Engram、Claude Code、EdgeClaw 正在把“长期记忆”做成工程能力
今天 AI 记忆系统又进了一步：Engram、Claude Code、EdgeClaw 正在把“长期记忆”做成工程能力 最近一波关于 AI Agent 记忆系统的更新，很值得放在一起看。 这套设计对长期运行的 Agent 很友好： •模型兼容性强：通过 LiteLLM 接入任意模型 •本地化友好：支持通过 Ollama、vLLM 等方式运行本地模型 •后端明确：异步 Python + Neo4j 这套规则其实非常像一个成熟工程团队的知识管理原则： •主索引只放导航，不放正文 •主题信息按模块拆开 •原始记录保留，但只在需要时检索 •旧知识不是“资产”，很多时候反而是风险 更有意思的是它的 autoDream 记忆系统正在从“外挂检索”走向“原生架构” 过去的做法，常常是先有 Agent，再额外挂一个 RAG 或向量库。 现在的变化是：记忆已经不再是附加模块，而是开始进入系统设计的一开始。 Claude Code 直接把记忆写进工作流纪律，EdgeClaw 把记忆做成多级组件，Engram 则把记忆抽象成开发基础设施。 2.
52010编辑于 2026-04-0935倍推理加速，成本砍掉97%——DeepSeek V4要重写大模型游戏规则
MoE架构的稀疏激活让模型推理时的实际计算量远小于参数规模暗示的值——大约带来了4倍以上的效率提升。整个模型中MoE模块权重占比高达98%，剩下MLP与MLA模块仅占2%。 Engram的思路是：在Transformer之外，给模型加一个独立的"记忆模块"，通过高效的查找机制直接定位到需要的知识。Engram的底层是对经典N-gram模型的现代化改造。 展开代码语言：PythonAI代码解释importtorchimporttorch.nnasnnclassEngramConditionalMemory(nn.Module):"""Engram条件记忆模块 3.研究Engram开源代码DeepSeek已经在GitHub上开源了Engram模块的代码。对于有定制化需求的开发者，可以提前研究Engram的接口设计，考虑如何把它集成到自己的模型中。 ）#-评估脚本（了解benchmark性能）Engram的代码仓库结构清晰，模块化程度高。
4K120编辑于 2026-04-15- 来自专栏凯哥讲故事系列
凯哥 丨 AI 进入存算解耦的新纪元
论文提出了一个叫 Engram 的条件记忆模块：把经典 N-gram 做成现代化的 O(1) 查表记忆外挂，用确定性哈希在巨大表里秒级定位向量，再通过门控把“记忆向量”注入 Transformer 主干 Engram 类模块：把高频局部静态模式“内嵌式注入”，把推理从“读文档”中解放出来。 3）模型生态：大模型主干会更像“CPU”，外挂更像“PCIe 插卡” 一旦记忆外挂成立，“模型主干”的角色会更清晰：负责推理、泛化、策略； 而“外挂模块”负责：记忆、工具、规则、领域知识、甚至合规策略。 4）商业生态：私有化部署的成本逻辑会被改写 如果“博学”不再一定靠“大参数”，而可以靠“记忆轴扩展”，企业私有化就会出现新甜点区： 小模型主干 + 大记忆外挂 = 低成本、可控、可更新的企业智能体底座。 预测 4：评测体系会分裂为“智商评测”和“记忆评测” 行业会不得不区分：提升来自更强推理？还是更强记忆？ 否则“内查表”与“真推理”会在榜单上纠缠不清。
39010编辑于 2026-01-22 - 来自专栏亨利笔记
迈向V4R2之路：揭秘DeepSeek Engram如何解放大模型算力，激发高级智能
本文将深入解析 Engram 的技术原理和性能优势等方面的影响，以及其对DeepSeek 下一代模型 V4/R2 的变革性作用。 这一思路的核心，就是给大模型做“分工”：把静态知识的存储和检索，交给专门的“记忆模块”；让核心的 Transformer 架构，专注于动态推理。 而 Engram 模块，就是“条件记忆”思路的落地实现——高效、可扩展的“AI专属档案库”。 七、对DeepSeek下一代模型（R2/V4）的战略价值 业内普遍猜测，Engram 将是 DeepSeek 下一代模型（V4或R2）的核心基础技术。 结合 DeepSeek 年初发布的 mHC（流形约束超连接）框架，下一代模型的架构轮廓已呼之欲出了：融合 mHC 优化专家间通信效率，引入 Engram 作为独立记忆模块，形成“动态计算+静态检索”的协同模式
2.5K21编辑于 2026-01-19 - 来自专栏ceshiren0001
DeepSeek 深夜发布 Engram：比 MoE 更节能的突破，V4 架构初露端倪
没有发布会，没有营销话术，只有一篇论文和一个新模块的源码——Engram。更耐人寻味的是，这篇论文的作者列表中，再次出现了 梁文锋 的名字。 二、Engram 在做什么？一句话：该查的，别算“Engram” 是神经科学中的术语，意为 记忆痕迹。在这篇论文里，它被实现为一个可扩展、可学习、可条件触发的记忆模块。 MoE 的稀疏性，是：条件计算只激活少量专家网络Engram 的稀疏性，是：条件查找只命中极少量记忆条目两者解决的是不同问题。 可以这样理解：模块在干什么Engram快速回忆“我以前见过什么”MoE / Transformer认真思考“现在该怎么推理”在架构上，Engram 被放在较早的层级，用于模式重构与事实补全； 而深层网络 五、V4 会用吗？没人官宣，但信号已经很明显DeepSeek 并没有说 Engram 会直接进入 V4。
60610编辑于 2026-01-15 - 来自专栏大模型系列
不是更大，而是更聪明：DeepSeek-V4用“记忆+专家”双引擎颠覆大模型范式—压缩稀疏注意力、DSA、Lightning Indexer
其核心创新在于一套名为“双轴稀疏架构”的系统性设计，该架构由两大引擎驱动：“Engram条件记忆引擎”与“MoE混合专家计算引擎”。 DeepSeek-V4的“双引擎”架构正是对这一生物机制的工程化复现：Engram条件记忆引擎≈海马体：高效、无损地存储和检索静态知识。MoE混合专家计算引擎≈新皮层：动态、灵活地处理复杂的推理任务。 第二章：第一引擎——Engram条件记忆：为大模型装上“海马体”2.1设计动机：为什么需要一个独立的记忆模块？在传统模型中，所有知识都内化于神经网络的权重之中。当用户询问“巴黎是哪个国家的首都？” Engram模块旨在解决这些问题，为模型提供一个外部的、可即时访问的“活字典”。 Engram触发：上下文中的关键实体和短语会触发Engram模块，从其外部知识库中检索相关事实，并将这些事实作为“增强上下文”注入。
71130编辑于 2026-04-24 - 来自专栏大模型系列
万亿参数震撼发布：DeepSeek V4 MoE架构深度解析
V4的发布，旨在解决大模型领域的三大核心挑战：幻觉魔咒（HallucinationCurse）：事实性错误频发→Engram条件记忆规模魔咒（ScaleCurse）：万亿参数训练不稳定→mHC流形约束超连接效率魔咒 3.2Engram（条件记忆）模块：根治“幻觉魔咒”这是DeepSeek团队于2026年初提出的革命性创新，旨在解决大模型“记不住硬核知识”的根本问题。 实现方式：Engram模块本质上是一个大型、高效的键值对（Key-Value）哈希表。模型在训练过程中，会学习将确定性的、事实性的知识（如API文档、数学公式、历史事件）压缩并存储到这个外部记忆库中。 一种新的稀疏维度：Engram被视为继MoE之后，大模型稀疏化的“新轴心”，为模型轻量化和持续学习提供了新路径。Engram的技术细节与创新Engram模块的设计灵感来源于人类大脑的记忆机制。 全量代码库Copilot：在一个包含数百万行代码的仓库中，精准定位并解释任意函数或模块。复杂Agent任务：执行需要记忆大量中间状态和历史信息的多步骤自动化任务。
1.3K30编辑于 2026-05-14 - 来自专栏大模型系列
解密DeepSeek-V4 预览版Engram 记忆模块、mHC 稳定训练与百万Token稀疏注意力的三大突破——百万Token上下文的智能压缩引擎
V4的三大技术突破，分别针对当前大模型面临的三大核心挑战：幻觉魔咒（HallucinationCurse）：事实性错误频发→Engram条件记忆。 第二章：第一大突破——Engram条件记忆模块：根治“幻觉”的活字典外挂2.1问题根源：为什么传统模型会“胡说八道”？传统Transformer模型将所有知识都内化于其数十亿甚至万亿的权重参数之中。 2.2Engram的设计哲学：为大模型装上“海马体”Engram模块的设计灵感直接来源于人类大脑的海马体（Hippocampus），后者负责快速、精准地检索长期记忆中的事实性知识。 整体架构：这三大技术共同支撑起了V4的“双轴稀疏架构”——Engram代表“记忆”轴的稀疏（只检索相关知识），MoE代表“计算”轴的稀疏（只激活相关专家），而DSA则是让这两者能在超长上下文中高效协同的 结论DeepSeek-V4的三大技术突破——Engram条件记忆、mHC流形约束超连接和DSA稀疏注意力——共同构成了一场深刻的架构革命。
84120编辑于 2026-04-29 - 来自专栏大模型系列
万字长文解读 DeepSeek-V4：百万上下文、万亿参数、开源免费，国产大模型迎来JPEG时刻—解密 Engram 记忆模块、MHC 稳定训练与百万Token
二、核心技术解密：双轴稀疏架构的范式革命DeepSeek-V4 的强大并非凭空而来，其背后是两大开创性技术的支撑：Engram 条件记忆模块 和 MoE（Mixture of Experts）条件计算。 这两者共同构成了其“记忆-计算分离”的双轴稀疏架构，这是对传统大模型设计的一次根本性颠覆。1. Engram 条件记忆：给AI配一本“超级活字典”想象一下，让一个学生去参加一场开卷考试。 他不需要把所有知识都死记硬背在脑子里（参数），只需要在遇到确定性问题时，快速翻阅手边的参考书（外部记忆）即可。Engram 模块正是扮演了这本“超级活字典”的角色。 工作原理：Engram 是一个独立于模型主干参数之外的、可检索的知识库。当模型在推理过程中遇到需要精确事实（如历史日期、科学公式、法律条文等）的问题时，它会首先向 Engram 发起查询。 MoE + MHC：打造稳定高效的“专家团队”如果说 Engram 解决了“记忆”问题，那么 MoE（混合专家）架构则解决了“计算”问题。
3.8K100编辑于 2026-04-24 - 来自专栏大模型系列
打破幻觉与成本魔咒：DeepSeek-V4 如何用双轴稀疏架构重塑大模型未来？
第二轴：Engram-条件记忆：负责高效、精准地存储和检索静态的、确定性的事实知识。 3.1Engram条件记忆模块：打造大模型的“活字典外挂”3.1.1设计动机传统模型将所有知识都编码在神经网络的权重中。 Engram模块旨在为模型提供一个外部的、可快速访问的“知识库”。 ），Engram模块的核心是一个可扩展的哈希查找表。 Engram模块会使用这个查询向量，在哈希表中进行近似最近邻（ApproximateNearestNeighbor,ANN）搜索。
62320编辑于 2026-04-24 - 来自专栏不二小段
DeepSeek 最新论文成果，站在字节豆包的肩膀上
从 N-gram 到 Over-Encoding，再到 Engram，优化「记忆范式」 与模型的信息骨架并行的，是关于模型如何「记忆」的探索。 DeepSeek 的 Engram 模块，正是在 Over-Encoding 等工作的基础上，将「静态记忆增强」升级为了「动态条件记忆」。 Engram 的核心观点是，大模型的工作负载可以分为两部分： 1. 组合推理：需要消耗算力，由 MoE 等「条件计算」模块负责。 2. 只有与当前上下文相关的记忆才会被激活并融入到后续计算中，不相关的则被抑制。 3. 解耦：由于查找地址是确定性的，Engram 可以被设计为与主计算流程解耦的独立模块。 将大约 20%-25% 的稀疏参数预算从计算专家再分配给记忆模块，才能达到最佳性能。 小结 总的来说，mHC 和 Engram 体现出相似的演进路线，一种相互学习、相互启发的螺旋迭代。
36210编辑于 2026-04-09 DeepSeek V4全网猜测汇总：四大焦点浮出水面
焦点二：核心技术——全新架构+记忆模块，多方拆解代码细节 ● 技术层面：的猜测最为密集，核心围绕“MODEL1”架构与Engram记忆模块两大方向，均源自开发者对开源代码和论文的拆解分析。 ● 记忆模块：Engram记忆模块则因1月13日曝光的论文引发热议。该论文由DeepSeek核心研发梁文锋署名，提出“查算分离”架构，让CPU负责静态知识存储，GPU专注核心推理。 开发者拆解发现，该模块通过词汇规范化、多头哈希查找、上下文门控等机制，可使词表大小减少23%，长文本任务准确率从84.2%飙升至97%，且在MMLU、CMMLU等任务中均有3-4分的性能提升。 ● 成本方面：Engram模块带来的降本效果成为核心话题。 ● 业内普遍认为，V4若延续开源路线，将进一步强化这一优势。
1.5K20编辑于 2026-01-30- 来自专栏技术人生黄勇
春节前这波“偷袭”！DeepSeek 没官宣，但偷偷点了什么技能？
窗口只是表象，真正藏在更新里的，是mHC流形约束与Engram条件记忆两项底层架构落地。” 业内猜测，这次模型的更新，应该把之前论文提到的两项核心底层技术：mHC（流形约束超连接）与 Engram （条件记忆模块）也应用在新模型上了，只是没有公布出来。 03 — 条件记忆模块（Engram） 核心定义： Engram 是 DeepSeek 提出的“条件记忆”技术，核心目标是为大模型植入类似人类的“深层速记能力”。 具体流程： 初始阶段：先在相对较短的上下文（如 4 万 token）上进行训练，直至模型困惑度收敛。 Engram 关注的是“如何让模型想得更省力”，通过记忆检索解决算力浪费和显存限制。
47610编辑于 2026-03-11 - 来自专栏大模型系列
0.2元百万Token 的万亿AI：DeepSeek-V4 开源，开启超长上下文普惠时代——DeepSeek-V4-Pro|DeepSeek-V4-Flash
该架构包含三大核心技术支柱：Engram条件记忆、mHC流形约束超连接和DSA稀疏注意力。它们共同作用，实现了“记忆”与“计算”的分离，从根本上解决了传统模型的效率瓶颈。 2.1Engram条件记忆：为大模型装上“活字典外挂”2.1.1设计哲学：记忆与计算分离传统Transformer模型将所有知识都编码在神经网络的权重中。 Engram模块的设计灵感来源于人类大脑——我们拥有一个专门用于快速检索长期记忆的海马体。Engram正是大模型的“海马体”。 2.1.2技术实现：O(1)级哈希查找根据DeepSeek与北京大学的合作论文，Engram模块的核心是一个可扩展的哈希查找表。 Engram模块利用这个向量，在哈希表中进行近似最近邻（ANN）搜索。闪电般检索：得益于精心设计的哈希算法，检索过程的时间复杂度接近O(1)，远快于O(n²)的注意力机制。
1.7K40编辑于 2026-04-24 - 来自专栏算法一只狗
给大模型配一本“速查手册”：DeepSeek 的 Engram 到底解决了什么问题？
在输入句子之后，模型一边正常算，一边做了一件“偷偷的事”：局部片段触发记忆：当模型读到输入句子的时候，它把这几个词的组合，当作一个“查询键”，去记忆库进行查询。 整体的框架流程论文中已经画出来了~如果用一句话概括：MoE解决的是“算得更聪明”（条件计算），Engram解决的是“记得更便宜”（条件记忆）。两者是互补结构。 关键发现：SparsityAllocation出现“U型规律”，MoE和Memory要配比论文中提出一个很有意思的实验设问：在固定总参数预算下，MoE专家参数与Engram记忆参数，怎么分配最好？ Engram的“门控（gating）”确实学会了：只在“这是一个稳定、固定的局部模式”时才强力介入，而不是对所有token都乱用记忆。 目前DeepSeek在走极致化的“稀疏”路线：MoE：计算的稀疏化Engram：存储的稀疏化如果这条路跑通，未来可能出现一种很有代表性的架构形态：小而精的推理核心+可扩展、可更新的超大记忆库。
1.3K40编辑于 2026-01-16 - 来自专栏个人总结系列
Agent的记忆模块记住用户偏好
一、背景记忆模块离不开上下文，通常会是在某个Agent场景（namespace）、某个会话、某个用户的Agent交互信息，Agent的复杂，体现在通过上下文信息理解用户、以及懂用户的复杂，主要体现在：推理复杂性 Agent的上下文交互，通过记忆存储，能够分析准确性（不一定要feedback通过点赞、点踩方式，相似的问题用户问了2次证明第一次处理没有准确），通过分析与强化学习、让Agent越来越聪明。 把上下文进行记忆存储，进行后期用户画像沉淀、准确度或体验提升很关键。 = USER}, DeepSeekAssistantMessage[messageType = ASSISTANT, toolCalls = [ToolCall[id = 09852 ad0589e4b2d8f69c2fc6c923767 messageType = ASSISTANT }], ToolResponseMessage { responses = [ToolResponse[id = 09852 ad0589e4b2d8f69c2fc6c923767
42810编辑于 2026-05-18 - 来自专栏安徽开发者圈
AI算力成本要被颠覆？10人公司说token砍99倍
一个让硅谷侧目的数字 2026年6月23日，一家名叫Engram的AI记忆技术公司宣布完成9800万美元融资。 如果你现在每个月花100万跑AI推理，用Engram的方案可能只要1万。 天才陌生人问题 Engram的创始人Dan Biderman有个与众不同的故事。 他从小就对记忆着迷。 "数据在爆炸，成本也在爆炸，"Kleiner Perkins合伙人Leigh Marie Braswell说，"Engram做的事情就是给企业画一张组织记忆地图，让输出成本降低几个数量级。" 不是替代大模型，而是给它装上记忆 关键澄清：Engram并不是要替代OpenAI或Anthropic。 Biderman坦言，Engram的模型在通用能力上并不绝对更好。 Engram更像是一个跟你共事多年的老搭档，知道你的习惯、你的项目、你上次做了什么决定，一开口就能直击要害。 Engram这个名字本身就来自神经科学—记忆痕迹，指的是大脑中储存记忆的物理路径。
12810编辑于 2026-06-25 - 来自专栏新智元
【Science】MIT研究长期记忆神经回路，海马体和新皮层记忆同时产生
【新智元导读】MIT 4月6日在 Science 上发表的一篇论文对基于记忆过程的神经回路进行了研究，首次揭示出记忆在海马体和新（大脑）皮层中的长期储存是同时形成的，而在到达成熟状态之前，这一长期记忆会保持长达两周的 研究人员说，4月6日在 Science 发表的研究结果可能会使得关于记忆巩固如何发生的主要模式发生一些修正。 此前大多数关于记忆的研究都是基于分析特定大脑区域的损伤是如何影响记忆的。然而，在2012年，Tonegawa 的实验室研发了一种标记 engram （记忆痕迹）细胞的方法，这种细胞包含记忆的痕迹。 研究人员标记了大脑三个区域的记忆细胞：海马体、前额叶皮层和存储记忆中情绪联系的基底外侧杏仁核。 研究人员在恐惧反应实验发生后一天，发现事件的记忆被存储在海马体和前额叶皮层的 engram 细胞中。 在基底外侧杏仁核中，一旦形成记忆，engram 细胞会在整个实验过程中保持不变。这些细胞，是唤起与特定记忆相关的情绪所必需的，它们会与海马体和前额叶皮层中的 engram 细胞进行通信。
1.9K40发布于 2018-03-27 - 来自专栏CreateAMind
脑记忆产生和巩固建模研究总结（3假设3发现3创新符合13篇脑科学实验和假设）
参考公式(2)和(4)，记忆巩固的公式（5）表达如下，给出了工作记忆和长期记忆的关系，最大的方向导数就是梯度。从海马体到皮层，它在大脑实现了从非经典力学到经典力学。 ，进行了公式推理[16]； 4.随着年龄增长海马体神经发生会降低[17]; 5.但4可能有争议，海马体神经发生也许会随着年龄维持，猜想可能之后迭代可能出现一个全新的更长的神经回路[18]； 6.模拟关闭大脑关键期导致神经紊乱 带有梯度记忆的梯度法更新突触有效范围权重是长期记忆存储在皮层，量子计算更新突出有效范围权重是短期记忆发生在海马体.短期记忆穿越海马体和不同皮层的壁垒变成了长期记忆.参考公式（2）和（4），工作记忆和短期记忆被巩固成为长期记忆 ； 4. Engram cells retain memory under retrograde amnesia.
35620编辑于 2023-09-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号