- 综合排序
- 最热优先
- 最新优先
- 来自专栏活动
注意力机制革命：Transformer在DeepSeek中的创新应用
项目背景与技术演进在人工智能快速发展的当下，深度学习技术不断突破传统方法的限制，为众多领域带来了革命性的变化。 1.1 序列建模的范式转移DeepSeek作为中国领先的通用人工智能平台，其技术演进历程反映了注意力机制的革命性突破：（一）早期序列模型在Transformer出现之前，循环神经网络（RNN）及其变体（ 它通过多个注意力头并行计算，每个注意力头独立地对输入序列中的元素进行加权求和，从而能够捕捉到不同类型的依赖关系。最终，将多个注意力头的输出进行拼接和线性变换，得到更丰富的特征表示。 DeepSeek注意力机制创新注意力机制的挑战：KV缓存问题标准多头注意力（MHA）在推理阶段需要存储键值（KV）缓存，随着序列长度增加，KV缓存呈平方增长，导致内存和计算瓶颈。 结论注意力机制的引入和Transformer架构的提出，为深度学习领域带来了革命性的变化。
60300编辑于 2025-03-14 - 来自专栏LET
人工智能的革命：人类的死或生(7~10)
看上去是一个不可思议的故事，一个用来手写的机器最后终结了地球上所有的生命，只是为了让这个星系布满问候的卡片。这正是霍金，马斯克，盖茨和Bostrom担忧的地方。最让焦虑区的人们担忧的，不是超级AI本身，而是人类对超级AI的无知者无畏。你忘了在夺宝奇兵中那个无畏的家伙是怎么无知的死掉的吗？ 可能现在你满是疑问。究竟发生了什么，让人们突然都死了？？这是Turry的杰作。为什么她会对抗我们，为什么没有预防措施来阻止这一切的发生？为什么一个仅仅会写字的Turry突然掌握了纳米技术，并且知道如何造成全球物种的灭绝？而
736110发布于 2018-06-20 - 来自专栏注意力革命
注意力革命：大模型时代的生产关系重构与价值创造机制
与此同时，大模型技术本身却又在加速消耗注意力资源——从构建任务提示词需要注意力，执行过程监督需要注意力，到执行结果审核同样需要注意力，形成了一个完整的注意力劳动链条。 深入分析人类注意力与机器注意力的对立统一规律，是优化未来生产关系的理论基础。3.1人类注意力与机器注意力的本质差异从生成机制看，人类注意力具有生物性和社会性双重特征。 以研究开发为例，初期需要发散注意力广泛搜集信息，中期需要集中注意力深度攻关，后期又需要发散注意力验证应用。稀疏注意力技术中的分块注意力、局部注意力等机制，为这种动态调节提供了技术实现路径。 注意力质的飞跃阶段：当注意力数据积累到一定阈值，通过模型架构优化（如稀疏注意力、MLA机制）、训练算法改进等手段，实现注意力效能的质的提升。 未来，随着大模型技术不断演进，注意力劳动将呈现三大趋势：一是注意力货币化程度加深，注意力资源的度量、交易和定价机制将更加完善；二是人机注意力融合加速，脑机接口等新技术可能实现生物注意力与机器注意力的直接交互
19610编辑于 2026-01-14 - 来自专栏YOLO大作战
YoloV5YoloV7改进---注意力机制:引入瓶颈注意力模块BAM，对标CBAM
1.BAM介绍 论文：https://arxiv.org/pdf/1807.06514.pdf 摘要：提出了一种简单有效的注意力模块，称为瓶颈注意力模块（BAM），可以与任何前馈卷积神经网络集成 我们的模块沿着两条独立的路径，通道和空间，推断出一张注意力图。我们将我们的模块放置在模型的每个瓶颈处，在那里会发生特征图的下采样。 我们的模块用许多参数在瓶颈处构建了分层注意力，并且它可以以端到端的方式与任何前馈模型联合训练。 有趣的是，通过可视化我们可以看到多层BAMs形成了一个分层的注意力机制，这有点像人类的感知机制。
97610编辑于 2023-11-30 - 来自专栏AI大模型应用开发炼丹房
2025 Transformer技术全景：位置编码到三线性注意力的革命性突破
：编码器处理全局信息（如BERT），解码器生成序列（如GPT）位置编码革新：正弦函数（原始）→ 旋转位置编码（RoPE）→ 三线性体积编码（2025 Meta）二、Token的概率本质：语言理解的范式革命 ：Transformer的心脏4.1 数学本质标准注意力：2025三线性注意力（Meta创新）：其中 $\odot$ 表示Hadamard积，$K'$为第二键矩阵4.2 多头注意力代码实现import ：颜色深浅表示注意力权重强弱箭头指示token间依赖关系（如“sat”关注“cat”）由于文章篇幅有限，我这边还为粉丝整理了一份《大模型微调实战项目思维导图》自行领取。 准备领域数据（问答对）train_data = [ ('量子计算原理', '利用量子比特叠加态并行计算'), ('Transformer架构', '基于自注意力的编码-解码结构')]# 3. 12.8% 注：所有代码已在PyTorch 2.3 + CUDA 12.3环境验证，建议搭配NVIDIA A10G以上显卡运行高阶注意力实验。
83710编辑于 2025-07-15 - 来自专栏数据的力量
注意力的7个引爆按钮 让你瞬间变焦点
如果你都没有抓住客户的注意力，生意成功的胜算又从何而来？ 爱德曼的史蒂夫·吕贝尔（Steve Rubel）曾经告诉我：“注意力是别人能够给你的最为重要的财富，它比金钱，货物，财产的价值都高出许多”。 但是却很少有人发现注意力背后的科学。这也是我花费2年时间做注意力研究的原因。 我发现了注意力有以下七个引爆按钮： 1 找到注意力的自动按钮 如果有人开枪，你一定会回头看；如果一个身着红裙的姑娘想搭便车，她很有可能获得成功。如此感性化的细小线索会自动地引导人们的注意力。 这就也意味着，在这一段时间里你获得了他的注意力。 7 营造认同感 《中介化:媒体如何建构你的世界和生活方式》（Mediated）的作者媒介人类学家托马斯·德·曾戈提塔博士（Dr. 最有效率的员工、经理和高管们就是那一小撮能利用这7个注意力引爆按钮让自己的想法、项目和团队鹤立鸡群的人。理解注意力的科学是在这个信息庞杂的时代获得成功的首要必备条件。
71340发布于 2018-06-20 - 来自专栏yeedomliu
清单革命
人类的错误主要分为两类 无知之错：因为我们没有掌握正确知识而犯下的错误 无能之错：因为我们掌握了正确知识，但却没有正确使用而犯下的错误 倾向于“无知之错”的天平现在越来越倾向于“无能之错”了 第一部分 清单革命是一场观念变革 结果的不确定性非常大 『强制函数方法』：用相对简单而直接的方法来迫使必要行为的发生，如使用清单来塑造行为 面对未知，建筑专家们相信沟通的力量，而不相信某个人的智慧，即使他是经验丰富的工程师 第二部分 清单革命的行事原则
75020编辑于 2022-06-25 - 来自专栏YOLO大作战
注意力机制---Yolov5Yolov7引入BoTNet Transformer、MHSA
摘要：BoTNet同时使用卷积和自注意力机制，即在ResNet的最后3个bottleneck blocks中使用全局多头自注意力（MHSA）替换3 × 3空间卷积;MHSA作为注意力机制加入yolov5 /yolov7也取得了涨点1. 下图给出了利用自注意力实现的深度学习体系结构的分类。 2.Yolov5/Yolov7加入BoTNet、MHSA2.1 BoTNet、MHSA加入common.py中class MHSA(nn.Module): def __init__(self, n_dims 2]], # 5-P4/16 [-1, 9, C3, [512]], [-1, 1, Conv, [1024, 3, 2]], # 7-
1.6K10编辑于 2023-11-30 - 来自专栏YOLO大作战
YoloV5YoloV7改进---注意力机制:引入GENet，效果优于SENet
], [-1, 1, Conv, [512, 3, 2]], # 5-P4/16 [-1, 9, C3, [512]], [-1, 1, Conv, [1024, 3, 2]], # 7-
75110编辑于 2023-11-30 - 来自专栏YOLO大作战
YoloV5YoloV7改进---注意力机制:引入GCNet，效果优于SENet
], [-1, 1, Conv, [512, 3, 2]], # 5-P4/16 [-1, 9, C3, [512]], [-1, 1, Conv, [1024, 3, 2]], # 7-
1.1K10编辑于 2023-11-30 - 来自专栏YOLO大作战
YOLOv8YOLOv7YOLOv5注意力机制全家福，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意
本文属于原创独家改进：2023年全新注意力大派送，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意、可变形自注意力、EMA，喜迎1024，创新度十足适合科研 ，在不同的头部使用不同的空洞率执行滑动窗口膨胀注意力（SWDA），全网独家首发，创新力度十足，适合科研 1）与C2f结合；2）作为注意力MSDA使用； 多尺度空洞注意力（MSDA） | 亲测在红外弱小目标检测涨点 4.可变形大核注意力，超越自注意力，实现暴力涨点 | 2023.8月最新发表本文独家改进：可变形大核注意力（D-LKA Attention），采用大卷积核来充分理解体积上下文的简化注意力机制，来灵活地扭曲采样网格 图3：通道先验卷积注意力（CPCA）的整体结构包括通道注意力和空间注意力的顺序放置。特征图的空间信息是由通道注意力通过平均池化和最大池化等操作来聚合的。 7.可变形自注意力Attention，暴力涨点 | 即插即用系列2023年最新发表本文属于原创独家改进：当你停留在可形变卷积上（DCNV1，DCNV2，DCNV3等），可形变Attention助力检测，
2.1K10编辑于 2023-11-26 - 来自专栏云原生布道专栏
颜色革命(上)
颜色革命，这个标题很大，但却已经是一个正在进行时了，只是你可能还没有意识到，其实它业已成为当今移动互联网产品领域的已成现实。 但是自IOS7之后，移动世界进入了扁平化设计时代，色块、文字、简易线形图标替代了原本细腻贴切的实物图标，信息表述更加抽象但是也更简明直接，产品设计大势也因此从“求异”转成了“趋同”。
58530编辑于 2022-03-08 - 来自专栏前端必修课
Codex编程革命
你还在手动写代码？未来软件开发的方式可能会彻底改变。2025年5月16日，OpenAI正式推出了AI编程领域的划时代产品——Codex。它不仅能自动编写高质量代码，还能自主完成测试、Bug修复等任务，真正成为开发者的“虚拟队友”。
89210编辑于 2025-05-18 - 来自专栏AI算法与图像处理
注意力机制
本文旨在对深度学习注意力机制的内容进行高层次的解释，并且详细说明计算注意力的一些技术步骤。如果您需要更多的技术细节，请参考英文，特别是Cho等人最近的综述[3]。 神经科学和计算神经科学[1,2]已经广泛研究了涉及注意力的神经过程[1,2]。特别是视觉注意力机制：许多动物关注其视觉输入的特定部分以计算适当的反应。 我们现在将在解释注意力模型的一般工作原理。对注意力模型应用的综述文章[3] 详述了基于注意力的编码器 - 解码器网络的实现，需要更多细节知识的可以参考。 注意力模型的一个有趣特征是算术平均值的权重是可访问的并且可以绘制。这正是我们之前显示的数字，如果此图像的重量很高，则像素更白。 但这个黑匣子到底在做什么呢？整个注意力模型的数字将是这样的： ? Fergus. « End-to-end memory networks. » Advances in Neural Information Processing Systems. (2015). [7]
78810发布于 2019-05-22 - 来自专栏云原生布道专栏
颜色革命（下）
多谢网友提醒，将上篇链接也加上《颜色革命（上）》 1 颜色战略实践 1.1 App Logo形象设计 上篇说到，对于移动端产品的设计，主要集中在品牌主色的运用以及品牌Logo形象的运用 尽量以线条边沿的形式明确按钮的操作边界，让用户有操作安全边际； 5、其他支线颜色选择，大的选色原则是——尽量选择能烘托主题色的“绿叶型”颜色，而千万不要选择比主题色更亮眼的颜色，这样会分散用户注意力 4、分隔线效果主要通过取色深浅、左侧留空的方式来实现，而线条宽度尽量保持一致； 5、内容为王，满足分割效果的线条与留白既要达到分隔清晰的要求，又都要做视觉上的“弱化”处理，不能分散用户注意力 其主要思想也是遵循IOS的交互设计理念，对于重点内容突出显示，引起用户聚集，对于可忽略内容，淡化处理，尽量不分散用户注意力。
1.1K30编辑于 2022-03-08 - 来自专栏集智书童
YOLO系列的落地 | YOLOv7+注意力机制在农业上的应用
此外，本文提出了一种基于注意力机制改进的YOLOv7算法CBAM-YOLOv7，在YOLOv7的主干网络中添加了3个CBAM模块，以提高网络提取特征的能力，并引入SE-YOLOv7和ECA-YOLOv7 2.6 Related Network 本节首先介绍了YOLOv7算法，然后详细介绍了本文提出的在YOLOv7中添加注意力机制的改进方法。 2.6.2 改进注意力机制的YOLOv7 注意力机制是一种常见的数据处理方法，广泛应用于各个领域的机器学习任务。 计算机视觉注意力机制的核心思想是找到原始数据之间的相关性，然后突出重要的特征，如通道注意力、像素注意力、多阶注意力等。 CBAM主要包括通道注意力模块和空间注意力模块。模块结构如图6所示。 2.6.3 YOLOv7 Introduces the CBAM Attention Mechanism CBAM注意力机制被添加到YOLOV7网络结构中，网络结构如图7所示。
3.2K20编辑于 2023-02-26 注意力机制
注意力机制，让计算机想人一样把精力放在重要的部分。词元嵌入，把词转换成向量，苹果跟香蕉就比较相近。绝对嵌入位置,就是索引，固定唯一的位置张量嵌入将离散的数据(语音或图像)映射到连续向量空间。 编码注意力机制。似合，就是一个函数去描述一组数据。dropout随机编码。组装过程中随机拔掉几个零件，让机器人不会过度依赖某个零件。 因果注意力，更关注因果关系，比如在学习大模型的时候，从数据里把因果关系找出来。数学建模。多头注意力。从多个角度看不同的数据，一种小助手关注逻辑，一种小助手关注中心思想。自注意力机制中的自是什么意思？ 归一注意力泛化能力就是模型对新数据的适应能力。举一反三。
17810编辑于 2025-07-19- 来自专栏机器之心
7 Papers & Radios | 纯注意力或许没那么有用；从量子场看深度学习
最近，来自谷歌和瑞士洛桑联邦理工学院（EPFL）的研究者提出了一种理解自注意力网络的新方式：将网络输出分解为一组较小的项，每个项包括一系列注意力头的跨层操作。 基于该分解，研究者证明自注意力具备强大的「token uniformity」归纳偏置。 推荐：纯注意力并没有那么有用，Transformer 凭借哪些组件屹立不倒？ (from Jean-Jacques Slotine) 7. (from Kurt Keutzer, Yang Gao) 7.
43310编辑于 2023-03-29 - 来自专栏NLP/KG
深度学习进阶篇7：Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。
深度学习进阶篇7：Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。基于Transformer模型在众多领域已取得卓越成果，包括自然语言、图像甚至是音乐。 原则上，点乘注意力的类型和端到端的长序列处理是不相容的。在Seq2Seq结构的encoder自注意力和encoder-decoder注意力应用的是双向注意力。 虽然在分解注意力矩阵之后，原始注意力机制与具有值输入的存储注意力矩阵相乘以获得最终结果，我们可以重新排列矩阵乘法以近似常规注意力机制的结果，并且不需要显式地构建二次方大小的注意力矩阵。 4.3 单向注意力近似上述分析与双向注意力（即非因果注意力）相关，其中没有过去和未来的概念。 7.
1.1K00编辑于 2023-05-31 - 来自专栏攀攀的专栏
注意力机制
主要包括： 注意力.jpg 注意力机制源于对生物认知的研究。 ---- 注意力机制的实现主要分为软注意力(soft attention)和硬注意力(hard attention)。 通常像是硬注意力，选取概率最高的特征向量这一操作是不可微的，很难在神经网络中通过训练来得到，主要采用强化学习的方法去学习。因此当前在神经网络中，最为主要的注意力机制都是基于软注意力。 image.png Zhu X等[6]还研究了深度学习中空间注意力机制基于动态卷积[8]和可变形卷积[7]的方式。未完待续... 参考文献 [1]. IEEE, 2020. [7]. Dai J , Qi H , Xiong Y , et al. Deformable Convolutional Networks[J]. 2017. [8].
1.6K10发布于 2021-02-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号