- 综合排序
- 最热优先
- 最新优先
- 来自专栏活动
注意力机制革命：Transformer在DeepSeek中的创新应用
项目背景与技术演进在人工智能快速发展的当下，深度学习技术不断突破传统方法的限制，为众多领域带来了革命性的变化。 1.1 序列建模的范式转移DeepSeek作为中国领先的通用人工智能平台，其技术演进历程反映了注意力机制的革命性突破：（一）早期序列模型在Transformer出现之前，循环神经网络（RNN）及其变体（ 它通过多个注意力头并行计算，每个注意力头独立地对输入序列中的元素进行加权求和，从而能够捕捉到不同类型的依赖关系。最终，将多个注意力头的输出进行拼接和线性变换，得到更丰富的特征表示。 DeepSeek注意力机制创新注意力机制的挑战：KV缓存问题标准多头注意力（MHA）在推理阶段需要存储键值（KV）缓存，随着序列长度增加，KV缓存呈平方增长，导致内存和计算瓶颈。 结论注意力机制的引入和Transformer架构的提出，为深度学习领域带来了革命性的变化。
60300编辑于 2025-03-14 - 来自专栏注意力革命
注意力革命：大模型时代的生产关系重构与价值创造机制
与此同时，大模型技术本身却又在加速消耗注意力资源——从构建任务提示词需要注意力，执行过程监督需要注意力，到执行结果审核同样需要注意力，形成了一个完整的注意力劳动链条。 深入分析人类注意力与机器注意力的对立统一规律，是优化未来生产关系的理论基础。3.1人类注意力与机器注意力的本质差异从生成机制看，人类注意力具有生物性和社会性双重特征。 以研究开发为例，初期需要发散注意力广泛搜集信息，中期需要集中注意力深度攻关，后期又需要发散注意力验证应用。稀疏注意力技术中的分块注意力、局部注意力等机制，为这种动态调节提供了技术实现路径。 6结论与展望本研究从辩证法视角系统分析了注意力在大模型时代生产关系中的核心地位和作用机制。 未来，随着大模型技术不断演进，注意力劳动将呈现三大趋势：一是注意力货币化程度加深，注意力资源的度量、交易和定价机制将更加完善；二是人机注意力融合加速，脑机接口等新技术可能实现生物注意力与机器注意力的直接交互
19610编辑于 2026-01-14 - 来自专栏AI大模型应用开发炼丹房
2025 Transformer技术全景：位置编码到三线性注意力的革命性突破
：编码器处理全局信息（如BERT），解码器生成序列（如GPT）位置编码革新：正弦函数（原始）→ 旋转位置编码（RoPE）→ 三线性体积编码（2025 Meta）二、Token的概率本质：语言理解的范式革命 ：Transformer的心脏4.1 数学本质标准注意力：2025三线性注意力（Meta创新）：其中 $\odot$ 表示Hadamard积，$K'$为第二键矩阵4.2 多头注意力代码实现import ：颜色深浅表示注意力权重强弱箭头指示token间依赖关系（如“sat”关注“cat”）由于文章篇幅有限，我这边还为粉丝整理了一份《大模型微调实战项目思维导图》自行领取。 准备领域数据（问答对）train_data = [ ('量子计算原理', '利用量子比特叠加态并行计算'), ('Transformer架构', '基于自注意力的编码-解码结构')]# 3. 12.8% 注：所有代码已在PyTorch 2.3 + CUDA 12.3环境验证，建议搭配NVIDIA A10G以上显卡运行高阶注意力实验。
83710编辑于 2025-07-15 - 来自专栏量子位
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
△由多头自注意力层计算查询像素(深蓝色)的输出值。右上角显示每个头的注意力概率示例，红色位置表示“注意力中心”。 再参数化 到这一步，你可能已经观察到了自注意力层和卷积层之间的相似性。 学习注意力模式（Learned Attention Patterns） 那么，用自注意力层来表达卷积层，在实际当中能发挥什么样的作用？ 研究人员设计了一个6层的全注意力模型，每层有9个头。 相对位置编码仅设定注意力概率，而非输入值。 ? 上面这张图，是每个层（行）上的每个头（列）的注意力映射。中间的黑色方块是查询像素。 注意力概率表明，自注意力的行为与卷积是相似的。 另外还可以观察到，第一层（1-3）专注于非常接近的和特定的像素，而较深层（4-6）专注于图像整个区域像素的更多全局斑块。 ? ICLR 2020获评“6-6-6” 这篇论文已经被ICLR 2020接收，评审们给出了3个6分。 一位评审在review中写道： 这篇论文从理论上证明了多头自注意力层可以表示卷积滤波器。
98010发布于 2020-02-21 - 来自专栏SDNLAB
AI和Wi-Fi 6：推动家庭Wi-Fi的革命
在引入机器学习和基于云的CPE管理的同时，Wi-Fi 6正迅速融入下一代家庭网关和路由器，以提高千兆时代的物理层吞吐量。 目前，市面上WiFi6的产品层出不穷，除了广为人知的iPhone 11系列手机已经兼容WiFi6标准外，还有很多WiFi6产品，其中包括刚刚通过认证的三星Galaxy Note 10手机，华硕于2018 年推出的首款WiFi6万兆电竟路由ROG GT-AX11000等。 各大主流笔记本电脑都有搭载支持WiFi6的无线网卡，如英特尔AX200无线网卡。 然而也不乏有将AI技术融于WiFi6，对家庭网络场景进行创新的公司。 为了让用户获得最优秀的WiFi6体验，4月5日，中国联通携手小米联合发布首款WiFi6路由器——小米AIoT路由器AX3600，采用高通6核处理器、6根高性能外置信号放大器天线、512MB大内存、带体验
1.3K20发布于 2020-04-16 - 来自专栏yeedomliu
清单革命
人类的错误主要分为两类 无知之错：因为我们没有掌握正确知识而犯下的错误 无能之错：因为我们掌握了正确知识，但却没有正确使用而犯下的错误 倾向于“无知之错”的天平现在越来越倾向于“无能之错”了 第一部分 清单革命是一场观念变革 结果的不确定性非常大 『强制函数方法』：用相对简单而直接的方法来迫使必要行为的发生，如使用清单来塑造行为 面对未知，建筑专家们相信沟通的力量，而不相信某个人的智慧，即使他是经验丰富的工程师 第二部分 清单革命的行事原则 一开始就让人有机会发言，能够提高他们主动参与和表达意见的积极性，能够增强他们的责任感 编制清单6大要点 设定清晰的检查点，使用者在这些节点根据清单列出的项目执行检查程序 编制者需要在操作–确认和边读边做这两种清单类型中做一个选择
75020编辑于 2022-06-25 - 来自专栏DeepHub IMBA
用于Transformer的6种注意力的数学原理和代码实现
Transformer 的出色表现让注意力机制出现在深度学习的各处。本文整理了深度学习中最常用的6种注意力机制的数学原理和代码实现。 当我们有多个注意力时，我们称之为多头注意力（右），这也是最常见的注意力的形式公式如下： 公式1 这里Q（Query）、K（Key）和V（values）被认为是它的输入，dₖ（输入维度）被用来降低复杂度和计算成本 这个公式可以说是深度学习中注意力机制发展的开端。 代码：https://github.com/openai/sparse_attention 6、Single-Headed Attention（Single Headed Attention RNN: 各种注意力机制通过一个由注意力模型，统一符号和一个全面的分类注意力机制组成的框架来进行解释，还有注意力模型评价的各种方法。
1.4K21编辑于 2022-04-14 - 来自专栏网络虚拟化
BIERv6协议简介：IPv6组播的技术革命，传统技术为何被降维打击？
但BIER依赖MPLS标签，在非MPLS网络（如纯IPv6环境）中难以落地。 BIERv6的终极答案 BIERv6将BitString封装进IPv6扩展头，直接利用IPv6原生能力实现组播。 这一设计彻底抛弃MPLS，让组播技术融入IPv6时代，堪称“组播界的SRv6”（段路由IPv6）。 核心原理： BitString 如何成为 “组播快递单” 02 1. IPv6扩展头：组播的“隐形信封” BIERv6的BitString封装在IPv6目的选项扩展头（DOH）中，关键字段： Option Length：BIERv6报文头长度 TTL：表示报文经过BIERv6 与SRv6的“梦幻联动” BIERv6可与SRv6协同，实现组播+SDN的深度融合。例如： 1、通过SRv6 Policy动态选择最优组播路径。 结语： BIERv6 技术总结 08 BIERv6不仅是技术的迭代，更是一次网络范式的革命。它用“极简主义”重新定义了组播，让海量实时数据得以在IPv6世界中自由奔腾。
71210编辑于 2025-04-10 - 来自专栏云原生布道专栏
颜色革命(上)
颜色革命，这个标题很大，但却已经是一个正在进行时了，只是你可能还没有意识到，其实它业已成为当今移动互联网产品领域的已成现实。 在拟物化设计为主流的IOS6以前，因为产品功能信息主要通过逼真易懂的图形来传递给用户，产品设计追求看图识物，风格各异，图形精彩纷呈，所以APP的主题颜色作用似乎并没有特别明显。
58530编辑于 2022-03-08 - 来自专栏前端必修课
Codex编程革命
你还在手动写代码？未来软件开发的方式可能会彻底改变。2025年5月16日，OpenAI正式推出了AI编程领域的划时代产品——Codex。它不仅能自动编写高质量代码，还能自主完成测试、Bug修复等任务，真正成为开发者的“虚拟队友”。
89210编辑于 2025-05-18 - 来自专栏ShowMeAI研究中心
NLP教程(6) - 神经机器翻译、seq2seq与注意力机制
2.注意力机制 2.1 动机与想法 当你听到句子 the ball is on the field，你不会认为这 6 个单词都一样重要。 2.3 与机器翻译“对齐”的关联 基于注意力的模型为输出的每个时间步分配对输入的不同部分的显着性（“重要性”）。在翻译任务中，注意力可以认为是“对齐”。 ，是由两个不同的注意力机制组成。 [全局 & 局部注意力 ] 1) 全局注意力 我们运行简单的 Seq2Seq NMT。 6.处理大词汇库情况下的输出部分 尽管现代的 NMT 系统取得了成功，但是他们很难处理大量的词汇量。
84851编辑于 2022-05-10 - 来自专栏AI算法与图像处理
注意力机制
本文旨在对深度学习注意力机制的内容进行高层次的解释，并且详细说明计算注意力的一些技术步骤。如果您需要更多的技术细节，请参考英文，特别是Cho等人最近的综述[3]。 神经科学和计算神经科学[1,2]已经广泛研究了涉及注意力的神经过程[1,2]。特别是视觉注意力机制：许多动物关注其视觉输入的特定部分以计算适当的反应。 我们现在将在解释注意力模型的一般工作原理。对注意力模型应用的综述文章[3] 详述了基于注意力的编码器 - 解码器网络的实现，需要更多细节知识的可以参考。 注意力模型的一个有趣特征是算术平均值的权重是可访问的并且可以绘制。这正是我们之前显示的数字，如果此图像的重量很高，则像素更白。 但这个黑匣子到底在做什么呢？整个注意力模型的数字将是这样的： ? machine translation by jointly learning to align and translate. » arXiv preprint arXiv:1409.0473(2014). [6]
78810发布于 2019-05-22 - 来自专栏云原生布道专栏
颜色革命（下）
多谢网友提醒，将上篇链接也加上《颜色革命（上）》 1 颜色战略实践 1.1 App Logo形象设计 上篇说到，对于移动端产品的设计，主要集中在品牌主色的运用以及品牌Logo形象的运用 尽量以线条边沿的形式明确按钮的操作边界，让用户有操作安全边际； 5、其他支线颜色选择，大的选色原则是——尽量选择能烘托主题色的“绿叶型”颜色，而千万不要选择比主题色更亮眼的颜色，这样会分散用户注意力 4、分隔线效果主要通过取色深浅、左侧留空的方式来实现，而线条宽度尽量保持一致； 5、内容为王，满足分割效果的线条与留白既要达到分隔清晰的要求，又都要做视觉上的“弱化”处理，不能分散用户注意力 其主要思想也是遵循IOS的交互设计理念，对于重点内容突出显示，引起用户聚集，对于可忽略内容，淡化处理，尽量不分散用户注意力。
1.1K30编辑于 2022-03-08 注意力机制
注意力机制，让计算机想人一样把精力放在重要的部分。词元嵌入，把词转换成向量，苹果跟香蕉就比较相近。绝对嵌入位置,就是索引，固定唯一的位置张量嵌入将离散的数据(语音或图像)映射到连续向量空间。 编码注意力机制。似合，就是一个函数去描述一组数据。dropout随机编码。组装过程中随机拔掉几个零件，让机器人不会过度依赖某个零件。 因果注意力，更关注因果关系，比如在学习大模型的时候，从数据里把因果关系找出来。数学建模。多头注意力。从多个角度看不同的数据，一种小助手关注逻辑，一种小助手关注中心思想。自注意力机制中的自是什么意思？ 归一注意力泛化能力就是模型对新数据的适应能力。举一反三。
17810编辑于 2025-07-19- 来自专栏镁客网
苹果近年来最具革命性的产品，绝不是iPhone6
有人说，新Apple TV机顶盒是苹果近年来最具革命性的产品。这话说的也许有些夸张，但毫无疑问，新Apple TV是当下最好的机顶盒产品。
1.1K20发布于 2018-05-25 - 来自专栏新智元
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
针对这一问题，该团队系统分析了VLM中attention的行为特性，提出了一种Attention Debiasing（注意力去偏）方法，在无需重新训练模型的前提下，有效提升了多种主流剪枝方法的稳定性与可靠性 实验结果和应用前景 在实验验证中，该团队将Attention Debiasing方法集成到FastV、PyramidDrop、SparseVLM、HiMAP、TokenCarve、iLLaVA等6种主流
17210编辑于 2026-02-03 - 来自专栏贾志刚-OpenCV学堂
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
针对这一问题，该团队系统分析了VLM中attention的行为特性，提出了一种Attention Debiasing（注意力去偏）方法，在无需重新训练模型的前提下，有效提升了多种主流剪枝方法的稳定性与可靠性 实验结果和应用前景 在实验验证中，该团队将Attention Debiasing方法集成到FastV、PyramidDrop、SparseVLM、HiMAP、TokenCarve、iLLaVA等6种主流
12100编辑于 2026-04-02 - 来自专栏攀攀的专栏
注意力机制
主要包括： 注意力.jpg 注意力机制源于对生物认知的研究。 ---- 注意力机制的实现主要分为软注意力(soft attention)和硬注意力(hard attention)。 image.png Localisation net用于生成仿射变换的系数theta，其维度大小根据变换类型而定，若是仿射变换，则是一个6维的向量。 image.png Zhu X等[6]还研究了深度学习中空间注意力机制基于动态卷积[8]和可变形卷积[7]的方式。未完待续... 参考文献 [1]. IEEE, 2020. [6]. Zhu X , Cheng D , Zhang Z , et al.
1.6K10发布于 2021-02-15 - 来自专栏刘旷专栏
智联、前程无忧、58们的革命和被革命
2014年6月12日，恰好在Boss直聘正式上线前一个月，智联招聘成功登陆纽交所。三年后的2017年，仅一年时间，就疯狂投资4家行业相关公司的智联招聘，在9月30日宣布公司正式从纽交所退市。 在一年前的2018年6月16日，前程无忧就被曝重大负面新闻，195万用户求职简历信息遭到泄露。 其股价从2018年6月的历史高点114.62美元，4个月一路血崩到2018年10月底的61美元，直接被腰斩。 2019年5月，前程无忧财报不及市场预期，10日一季度财报发布当天，股价大跌11%。 8月6日，二季度财报公布，终于扭亏为盈的前程无忧却因为增速放缓，以及独立雇主的估计数量下降13.5％至32.7万，再次受到市场冷遇，8月份股价大跌7%。 QuestMobile最新数据显示6月份BOSS直聘月活用户达到1158.5万，同比增长达到1.8倍，超过了1月份前程无忧的1060.9万人。
71520发布于 2019-10-11 - 来自专栏智能大数据分析
【现代深度学习技术】注意力机制01：注意力提示
文章目录 一、生物学中的注意力提示 二、查询、键和值 三、注意力的可视化 小结 自经济学研究稀缺资源分配以来，人们正处在“注意力经济”时代，即人类的注意力被视为可以交换的、有限的、有价值的且稀缺的商品 总之，注意力不是免费的。 注意力是稀缺的，而环境中的干扰注意力的信息却并不少。比如人类的视觉神经系统大约每秒收到 10^8 位的信息，这远远超过了大脑能够完全处理的水平。 一、生物学中的注意力提示 注意力是如何应用于视觉世界中的呢？ 图2 依赖于任务的意志提示(想读一本书)，注意力被自主引导到书上 二、查询、键和值 自主性的与非自主性的注意力提示解释了人类的注意力的方式，下面来看看如何通过这两种注意力提示，用神经网络来设计注意力机制的框架 由于包含了自主性提示，注意力机制与全连接的层或汇聚层不同。 注意力机制通过注意力汇聚使选择偏向于值（感官输入），其中包含查询（自主性提示）和键（非自主性提示）。键和值是成对的。
24910编辑于 2025-05-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号