- 综合排序
- 最热优先
- 最新优先
- 来自专栏活动
注意力机制革命：Transformer在DeepSeek中的创新应用
项目背景与技术演进在人工智能快速发展的当下，深度学习技术不断突破传统方法的限制，为众多领域带来了革命性的变化。 1.1 序列建模的范式转移DeepSeek作为中国领先的通用人工智能平台，其技术演进历程反映了注意力机制的革命性突破：（一）早期序列模型在Transformer出现之前，循环神经网络（RNN）及其变体（ 根据DeepSeek-V3 Explained 1: Multi-head Latent Attention | Towards Data Science，这推动了如多查询注意力（MQA）和分组查询注意力 结论注意力机制的引入和Transformer架构的提出，为深度学习领域带来了革命性的变化。 DeepSeek的MLA创新展示了注意力机制在效率和性能上的潜力，其在DeepSeek-V2和V3中的应用可能改变AI模型的开发和部署方式。
60300编辑于 2025-03-14 - 来自专栏芋道源码1024
Web3的三次革命
文章阐述了Web3的三次演变逻辑，总结了Web3的三个根本特征，特别强调了Web3的大部分变化将发生在基础设施层面，对大多数人来说，这将是一个缓慢的、几乎看不见的转变。 为了弥补这一点，媒体依靠诸如点击诱饵、假新闻和错误信息等不正当手段来更好地利用人们的注意力。这是一个恶性循环，主要是由Web对广告的依赖造成的。 比特币革命 2018年，我做了一个关于区块链和比特币的演讲。我认为，比特币最终是否只是昙花一现并不重要。因为比特币产生了雪球效应。比特币彻底改变了我们对数字货币的看法。 比特币带来了两大创新。 但是，如果你仔细观察，奇怪的是，不是我们经历的技术革命。而是，尽管发生了这场巨大的技术革命，我们社会的其他部分却奇怪地保持不变。 我们社会的组成部分在过去的50年里几乎没有进化。 虽然比特币可能会颠覆现金或黄金（取决于你问的是谁），但价值革命远远不止于此。 想想社会的每个组成部分都需要稀缺性——股票、债券、身份、不动产等等。所有这些都可以通过Web 3进行转换。
57530编辑于 2022-09-27 - 来自专栏凯云实验室
Web3的三次革命
文章阐述了Web3的三次演变逻辑，总结了Web3的三个根本特征，特别强调了Web3的大部分变化将发生在基础设施层面，对大多数人来说，这将是一个缓慢的、几乎看不见的转变。 为了弥补这一点，媒体依靠诸如点击诱饵、假新闻和错误信息等不正当手段来更好地利用人们的注意力。这是一个恶性循环，主要是由Web对广告的依赖造成的。 比特币革命 2018年，我做了一个关于区块链和比特币的演讲。我认为，比特币最终是否只是昙花一现并不重要。因为比特币产生了雪球效应。比特币彻底改变了我们对数字货币的看法。 比特币带来了两大创新。 但是，如果你仔细观察，奇怪的是，不是我们经历的技术革命。而是，尽管发生了这场巨大的技术革命，我们社会的其他部分却奇怪地保持不变。 我们社会的组成部分在过去的50年里几乎没有进化。 虽然比特币可能会颠覆现金或黄金（取决于你问的是谁），但价值革命远远不止于此。 想想社会的每个组成部分都需要稀缺性——股票、债券、身份、不动产等等。所有这些都可以通过Web 3进行转换。
85320编辑于 2022-04-02 - 来自专栏注意力革命
注意力革命：大模型时代的生产关系重构与价值创造机制
与此同时，大模型技术本身却又在加速消耗注意力资源——从构建任务提示词需要注意力，执行过程监督需要注意力，到执行结果审核同样需要注意力，形成了一个完整的注意力劳动链条。 -发散聚焦-扩散深度思考与广度联想的矛盾局部注意力与全局注意力的平衡3人机注意力机制的辩证关系大模型时代的生产关系变革核心在于人机协作模式的演进，而注意力机制成为连接人类智能与机器智能的桥梁。 深入分析人类注意力与机器注意力的对立统一规律，是优化未来生产关系的理论基础。3.1人类注意力与机器注意力的本质差异从生成机制看，人类注意力具有生物性和社会性双重特征。 以研究开发为例，初期需要发散注意力广泛搜集信息，中期需要集中注意力深度攻关，后期又需要发散注意力验证应用。稀疏注意力技术中的分块注意力、局部注意力等机制，为这种动态调节提供了技术实现路径。 未来，随着大模型技术不断演进，注意力劳动将呈现三大趋势：一是注意力货币化程度加深，注意力资源的度量、交易和定价机制将更加完善；二是人机注意力融合加速，脑机接口等新技术可能实现生物注意力与机器注意力的直接交互
19610编辑于 2026-01-14 - 来自专栏AI大模型应用开发炼丹房
2025 Transformer技术全景：位置编码到三线性注意力的革命性突破
：编码器处理全局信息（如BERT），解码器生成序列（如GPT）位置编码革新：正弦函数（原始）→ 旋转位置编码（RoPE）→ 三线性体积编码（2025 Meta）二、Token的概率本质：语言理解的范式革命 import AutoTokenizer, AutoModelForCausalLMtokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3- ：Transformer的心脏4.1 数学本质标准注意力：2025三线性注意力（Meta创新）：其中 $\odot$ 表示Hadamard积，$K'$为第二键矩阵4.2 多头注意力代码实现import # 展示第4层第3头注意力可视化效果：颜色深浅表示注意力权重强弱箭头指示token间依赖关系（如“sat”关注“cat”）由于文章篇幅有限，我这边还为粉丝整理了一份《大模型微调实战项目思维导图》自行领取 准备领域数据（问答对）train_data = [ ('量子计算原理', '利用量子比特叠加态并行计算'), ('Transformer架构', '基于自注意力的编码-解码结构')]# 3.
83710编辑于 2025-07-15 DeepSeek-V3多头潜在注意力(MLA)架构
构建DeepSeek-V3：多头潜在注意力(MLA)架构目录构建DeepSeek-V3：多头潜在注意力(MLA)架构DeepSeek-V3中的KV缓存内存问题多头潜在注意力(MLA)：基于低秩投影的KV 缓存压缩查询压缩与旋转位置嵌入(RoPE)集成多头潜在注意力(MLA)的注意力计算实现：多头潜在注意力(MLA)多头潜在注意力与KV缓存优化总结构建DeepSeek-V3：多头潜在注意力(MLA)架构在本系列的第一部分中 ，通过探索DeepSeek-V3的理论基础并实现关键配置元素（如旋转位置嵌入RoPE），奠定了坚实基础。 该教程阐述了DeepSeek-V3如何管理长距离依赖并为其高效扩展设置架构。在此基础上，现在探讨DeepSeek-V3最具特色的创新之一：多头潜在注意力(MLA)。 DeepSeek-V3中的KV缓存内存问题要理解MLA的革命性，必须首先理解Transformer推理中的内存瓶颈。
2800编辑于 2026-04-18- 来自专栏钱塘大数据
颠覆现代制造业的3D打印革命
在过去十年里，3D打印一直是制造商们的试验场，主要应用于原型制造。而现在，随着3D打印技术的发展，真正快速的原型制造、小批量生产、大规模定制等都正变为现实，势必将引发一场制造业的革命。 寥寥数语远不能概括3D打印具备的优势，这项技术已然成为当今制造业重要的组成部分，无论用于研究、原型制造还是打造独特及已停产的零件，3D打印都是不可或缺的重要技术，这一点在汽车和航空航天工业中体现得尤为突出 我们甚至还将看到，有些制造商绕过整个供应链体系，不用踏出公司经营场所即可轻松获得3D打印零件。 短期来讲，IFS认为3D打印将使得人们对于小型本地化经营场地的需求愈发强劲。 变革面临挑战 3D打印革命从一开始就在确保产品质量和真实性方面面临全新挑战。 尽管3D打印能够减少备件库存，但企业应用仍需具备强大的预测功能，以确定原材料的消耗量以及3D打印机的使用程度。此外，制造商还需具备定期执行质量检查的能力，以确保零件符合规范和要求。
79840发布于 2018-03-02 - 来自专栏vivo互联网技术
前端科普系列（3）：CommonJS 不是前端却革命了前端
CommonJS：不是前端却革命了前端! 如果一个模块的对外接口，就是一个单一的值，可以使用 module.exports 导出 // a.js var name = 'morrain' var age = 18 module.exports = name 3、 的代码，找到 require 这个关键字，提取所有的依赖项，然后加载，等到依赖的所有模块加载完成后，执行回调函数，此时再执行到 require('a.js') 这行代码时，a.js 已经加载好在内存中了 3、
1.2K40发布于 2020-07-09 - 来自专栏Nodejs技术栈
前端科普系列（3）：CommonJS 不是前端却革命了前端
CommonJS：不是前端却革命了前端! 如果一个模块的对外接口，就是一个单一的值，可以使用 module.exports 导出 // a.js var name = 'morrain' var age = 18 module.exports = name 3、 的代码，找到 require 这个关键字，提取所有的依赖项，然后加载，等到依赖的所有模块加载完成后，执行回调函数，此时再执行到 require('a.js') 这行代码时，a.js 已经加载好在内存中了 3、
88210发布于 2020-12-30 - 来自专栏yeedomliu
清单革命
人类的错误主要分为两类 无知之错：因为我们没有掌握正确知识而犯下的错误 无能之错：因为我们掌握了正确知识，但却没有正确使用而犯下的错误 倾向于“无知之错”的天平现在越来越倾向于“无能之错”了 第一部分 清单革命是一场观念变革 结果的不确定性非常大 『强制函数方法』：用相对简单而直接的方法来迫使必要行为的发生，如使用清单来塑造行为 面对未知，建筑专家们相信沟通的力量，而不相信某个人的智慧，即使他是经验丰富的工程师 第二部分 清单革命的行事原则
75020编辑于 2022-06-25 - 来自专栏机器人网
揭秘3D打印的工业革命：你须知3D打印知识
3D打印常用术语 众所周知，3D打印机并不是建筑师创造的。事实上，绝大多数3D打印机制造商甚至都不知道自己的机器可以应用于建筑行业。 我国歼15采用3D打印的零部件 ●3D打印：定制自己的3D打印成品 想象一下，你一打开门，就收到了自己在网上定制的产品，这种情景是不是很让人兴奋！这不是想象，3D打印就可以做到。 3D打印的交通工具概念 ●3D打印：3D打印店变成零售商 假如有一天，你所在的城市的3D打印店，可以定制自己设计的形象，就像在商场洗照片一样方便，这是不是非常爽。 3D打印的强大复印能力 ●3D打印：大规模生产社会化 近年来，3D打印已经进入制造业有段时间了，但现阶段，很多工厂里面的零部件制造还在使用传统的制造方式，当然已有小规模的使用3D打印机帮助工厂提高效率， 孩子们的3D打印作品 ●3D打印：更多创新的商品店 利用3D打印技术，来帮自己开一家创意饰品店是不是够新奇呢？
1.5K60发布于 2018-04-20 - 来自专栏DrugOne
字节Seed团队: Scaling线性注意力首个超越AlphaFold3
从 AlphaFold2 到 AlphaFold3，深度学习模型不断刷新结构预测的精度上限。然而，一个长期被忽视但同样关键的问题是：这些折叠模型是否具备真正的“可扩展性”？ 线性三角注意力：破解计算复杂度瓶颈 传统 AlphaFold 架构中的 三角注意力操作 具有立方级复杂度，是规模扩展的主要障碍。 SeedFold 引入了一种 线性三角注意力机制，将计算复杂度从立方级降低至二次级，在保持预测精度的同时显著提升计算效率。 研究人员提出两种模型配置： SeedFold：512 维 Pairformer + 标准三角注意力； SeedFold-Linear：384 维 Pairformer + 线性三角注意力。 蛋白单体结构预测 SeedFold 在 局部结构质量（lDDT）和整体 RMSD 指标上整体优于 AlphaFold3。
25010编辑于 2026-01-13 腾讯混元3D模型驱动3D打印行业建模效率革命
——AI建模分钟级生成助力全民化创作与产业升级 行业模型创作效率瓶颈亟待突破 传统3D建模依赖专业设计技能，流程耗时长达数小时（拓竹科技数据），高门槛限制普通用户参与。 拓竹科技作为全球桌面级3D打印领军企业，需通过技术升级突破平台用户活跃度瓶颈，实现设备、耗材生态协同增长。 腾讯混元3D生成模型实现建模范式重构 基于混元3D模型3.0版本（腾讯AI实验室），创新采用双技术架构： 3D-DIT分级雕刻技术：保障模型边缘锐利与结构规整 3D-Omni多条件控制框架（业界首创 分钟级建模推动核心指标跃升 技术落地创造三重价值提升： 建模效率质变：单次建模周期从数小时压缩至分钟级（腾讯实测数据） 用户参与革命：普通用户建模门槛降低＞60%，打印失败率显著下降 商业价值兑现 Lab CTO，2023产品白皮书 腾讯技术体系构建不可替代优势 框架原创性：3D-Omni多条件控制架构为行业独家解决方案 生产级适配：输出格式100%兼容工业软件链（包括Cura/Simplify3D
26020编辑于 2026-04-01- 来自专栏云原生布道专栏
颜色革命(上)
颜色革命，这个标题很大，但却已经是一个正在进行时了，只是你可能还没有意识到，其实它业已成为当今移动互联网产品领域的已成现实。 3 移动产品风格设计 公司产品族的品牌形象规划方面暂且就说这么多，接下来说说本文真正的重头——移动端品牌形象与产品风格设计。
58530编辑于 2022-03-08 - 来自专栏前端必修课
Codex编程革命
目前，这个赛道增长迅猛，Cursor年收入已达3亿美元，Google的Gemini Code Assist、Anthropic的Claude Code也不断升级。
89210编辑于 2025-05-18 - 来自专栏AI算法与图像处理
注意力机制
本文旨在对深度学习注意力机制的内容进行高层次的解释，并且详细说明计算注意力的一些技术步骤。如果您需要更多的技术细节，请参考英文，特别是Cho等人最近的综述[3]。 神经科学和计算神经科学[1,2]已经广泛研究了涉及注意力的神经过程[1,2]。特别是视觉注意力机制：许多动物关注其视觉输入的特定部分以计算适当的反应。 我们现在将在解释注意力模型的一般工作原理。对注意力模型应用的综述文章[3] 详述了基于注意力的编码器 - 解码器网络的实现，需要更多细节知识的可以参考。 注意力模型的一个有趣特征是算术平均值的权重是可访问的并且可以绘制。这正是我们之前显示的数字，如果此图像的重量很高，则像素更白。 但这个黑匣子到底在做什么呢？整个注意力模型的数字将是这样的： ? Neural mechanisms of selective visual attention. » Annual review of neuroscience 18.1 (1995): 193-222. [3]
78810发布于 2019-05-22 - 来自专栏云原生布道专栏
颜色革命（下）
多谢网友提醒，将上篇链接也加上《颜色革命（上）》 1 颜色战略实践 1.1 App Logo形象设计 上篇说到，对于移动端产品的设计，主要集中在品牌主色的运用以及品牌Logo形象的运用 按钮尽量线条化，线条颜色尽量靠近主题色； 2、图标、按钮以空心图标为主，只在适当的场景下使用实心图标，实心色也应当尽量靠近主题色，目的也只是为了不让页面显得太过空洞； 3、 尽量以线条边沿的形式明确按钮的操作边界，让用户有操作安全边际； 5、其他支线颜色选择，大的选色原则是——尽量选择能烘托主题色的“绿叶型”颜色，而千万不要选择比主题色更亮眼的颜色，这样会分散用户注意力 我们也可以总结出一些用于我们做页面设计的实用原则： 1、分隔效果务必遵从内容区分要求，从大类到小类，效果从强到弱； 2、合理利用留白，留白高度与内容高度尽量能成比例设计，一般1：1或者1：2为佳； 3、 其主要思想也是遵循IOS的交互设计理念，对于重点内容突出显示，引起用户聚集，对于可忽略内容，淡化处理，尽量不分散用户注意力。
1.1K30编辑于 2022-03-08 - 来自专栏猫头虎博客专区
Vue 3的革命性新特性：深入了解Composition API
摘要 作为猫头虎博主，我将引领您深入了解Vue 3的Composition API，这是一个革命性的新特性，为Vue.js开发者提供了更灵活、可维护性更高的代码组织方式。 引言 Vue 3的发布带来了一系列令人兴奋的新特性，其中Composition API无疑是最引人注目的之一。它的引入使Vue.js的开发方式更加灵活，同时也为更好的代码组织和复用提供了有力工具。 当您对Vue 3的新特性充满好奇时，不妨尝试使用Composition API。 4. 总结 Composition API是Vue 3的一项革命性新特性，为Vue.js开发者提供了更灵活、可维护性更高的代码组织方式。 参考资料 Vue 3官方文档 Vue 3 Composition API RFC
50410编辑于 2024-04-09 - 来自专栏Michael阿明学习之路
05.序列模型 W3.序列模型和注意力机制
选择最可能的句子 3. 集束搜索（Beam Search） 4. 改进集束搜索 5. 集束搜索的误差分析 6. Bleu 得分 7. 注意力模型直观理解 8. 注意力模型 9. 条件语言模型 和之前的 语言模型 一个主要的区别： 语言模型 随机地生成句子 条件语言模型，你要找到最有可能的英语句子，但是句子组合数量过于巨大，需要一种合适的搜索算法，集束搜索（Beam Search） 3. 在 集束宽为3时，集束搜索一次只考虑3个可能结果 如果集束宽等于1，就变成了贪心搜索算法 同时考虑多个可能的结果比如3个，10个或者其他的个数，集束搜索通常比贪婪搜索更好 4. 注意力模型直观理解 ? ? 注意力权重， a<t,t> 告诉你，当你尝试生成第 t 个英文词，它应该花多少注意力在第 t 个法语词上面。 当生成一个特定的英文词时，这允许它在每个时间步去看周围词距内的法语词要花多少注意力。 8. 注意力模型 注意力模型如何让一个神经网络只注意到一部分的输入句子。当它在生成句子的时候，更像人类翻译 ?
57910发布于 2021-02-19 注意力机制
注意力机制，让计算机想人一样把精力放在重要的部分。词元嵌入，把词转换成向量，苹果跟香蕉就比较相近。绝对嵌入位置,就是索引，固定唯一的位置张量嵌入将离散的数据(语音或图像)映射到连续向量空间。 编码注意力机制。似合，就是一个函数去描述一组数据。dropout随机编码。组装过程中随机拔掉几个零件，让机器人不会过度依赖某个零件。 因果注意力，更关注因果关系，比如在学习大模型的时候，从数据里把因果关系找出来。数学建模。多头注意力。从多个角度看不同的数据，一种小助手关注逻辑，一种小助手关注中心思想。自注意力机制中的自是什么意思？ 归一注意力泛化能力就是模型对新数据的适应能力。举一反三。
17810编辑于 2025-07-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号