- 综合排序
- 最热优先
- 最新优先
- 来自专栏活动
注意力机制革命：Transformer在DeepSeek中的创新应用
项目背景与技术演进在人工智能快速发展的当下，深度学习技术不断突破传统方法的限制，为众多领域带来了革命性的变化。 1.1 序列建模的范式转移DeepSeek作为中国领先的通用人工智能平台，其技术演进历程反映了注意力机制的革命性突破：（一）早期序列模型在Transformer出现之前，循环神经网络（RNN）及其变体（ 它通过多个注意力头并行计算，每个注意力头独立地对输入序列中的元素进行加权求和，从而能够捕捉到不同类型的依赖关系。最终，将多个注意力头的输出进行拼接和线性变换，得到更丰富的特征表示。 DeepSeek注意力机制创新注意力机制的挑战：KV缓存问题标准多头注意力（MHA）在推理阶段需要存储键值（KV）缓存，随着序列长度增加，KV缓存呈平方增长，导致内存和计算瓶颈。 结论注意力机制的引入和Transformer架构的提出，为深度学习领域带来了革命性的变化。
60400编辑于 2025-03-14 C++11（上）：重塑 C++ 的现代革命
一、C++11的发展史 C++11 是 C++ 的第二个主要版本，并且是从 C++98 起的最重要更新。 从那时起，C++ 有规律地每 3 年更新一次 注：其中C++98、C++11、C++17、C++20是较大版本，优化与改动也是挺多的，大家也能发现，这几个版本的字体也是最大的 为什么 C++11 _y << endl; return 0; } 调试结果： 2.2 C++11 中的 {} C++11 以后想统一初始化方式，试图实现一切对象皆可用{}初始化，{}初始化也叫做列表初始化。 _y << endl; Date d2 = 1025;//单参数的隐式类型转换 Date d2 = { 2025,11,17 }; Date d3{ 2025,11,17 }; Date d4 那么 C++11 以后这里可以使用右值引用做返回值解决吗？
32410编辑于 2025-11-20- 来自专栏注意力革命
注意力革命：大模型时代的生产关系重构与价值创造机制
与此同时，大模型技术本身却又在加速消耗注意力资源——从构建任务提示词需要注意力，执行过程监督需要注意力，到执行结果审核同样需要注意力，形成了一个完整的注意力劳动链条。 深入分析人类注意力与机器注意力的对立统一规律，是优化未来生产关系的理论基础。3.1人类注意力与机器注意力的本质差异从生成机制看，人类注意力具有生物性和社会性双重特征。 以研究开发为例，初期需要发散注意力广泛搜集信息，中期需要集中注意力深度攻关，后期又需要发散注意力验证应用。稀疏注意力技术中的分块注意力、局部注意力等机制，为这种动态调节提供了技术实现路径。 注意力质的飞跃阶段：当注意力数据积累到一定阈值，通过模型架构优化（如稀疏注意力、MLA机制）、训练算法改进等手段，实现注意力效能的质的提升。 未来，随着大模型技术不断演进，注意力劳动将呈现三大趋势：一是注意力货币化程度加深，注意力资源的度量、交易和定价机制将更加完善；二是人机注意力融合加速，脑机接口等新技术可能实现生物注意力与机器注意力的直接交互
19610编辑于 2026-01-14 - 来自专栏YOLO大作战
YOLO11涨点优化：注意力魔改 | 通道注意力和空间注意力CBAM | 全新注意力GAM：超越CBAM，不计成本提高精度
提供两种经典注意力改进方法，涨点小能手：1）通道注意力和空间注意力CBAM；2）全新注意力GAM：超越CBAM，不计成本提高精度； 本文改进：分别加入到YOLO11的backbone、neck、detect ultralytics/nn/modules/head.py 2.计算机视觉中的注意力机制一般来说，注意力机制通常被分为以下基本四大类：通道注意力 Channel Attention空间注意力机制 Spatial Attention时间注意力机制 Temporal Attention分支注意力机制 Branch Attention2.1.CBAM：通道注意力和空间注意力的集成者轻量级的卷积注意力模块，它结合了通道和空间的注意力机制模块论文题目 ，同样是使用了通道注意力机制和空间注意力机制。 但是不同的是对通道注意力和空间注意力的处理。
7.6K13编辑于 2024-11-04 - 来自专栏YOLO大作战
YOLO11-seg分割：原创自研 | 自研独家创新DSAM注意力 ，基于BiLevelRoutingAttention注意力升级
BiFormer中的查询感知稀疏注意力旨在让每个查询聚焦于top-k路由区域。然而，在计算注意力时，选定的键值对受到太多无关查询的影响，减弱了对更重要查询的注意力。 本文改进：DSAM结合C2PSA进行二次创新； Mask mAP50 从原始的0.673 提升至0.677 1.YOLO11介绍Ultralytics YOLO11是一款尖端的、最先进的模型，它在之前YOLO YOLO11设计快速、准确且易于使用，使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。 BiFormer中的查询感知稀疏注意力旨在让每个查询聚焦于top-k路由区域。然而，在计算注意力时，选定的键值对受到太多无关查询的影响，减弱了对更重要查询的注意力。 BiFormer中的查询感知稀疏注意力旨在让每个查询聚焦于top-k路由区域。然而，在计算注意力时，选定的键值对受到太多无关查询的影响，减弱了对更重要查询的注意力。
97310编辑于 2024-10-22 - 来自专栏AI大模型应用开发炼丹房
2025 Transformer技术全景：位置编码到三线性注意力的革命性突破
：编码器处理全局信息（如BERT），解码器生成序列（如GPT）位置编码革新：正弦函数（原始）→ 旋转位置编码（RoPE）→ 三线性体积编码（2025 Meta）二、Token的概率本质：语言理解的范式革命 ：Transformer的心脏4.1 数学本质标准注意力：2025三线性注意力（Meta创新）：其中 $\odot$ 表示Hadamard积，$K'$为第二键矩阵4.2 多头注意力代码实现import ：颜色深浅表示注意力权重强弱箭头指示token间依赖关系（如“sat”关注“cat”）由于文章篇幅有限，我这边还为粉丝整理了一份《大模型微调实战项目思维导图》自行领取。 准备领域数据（问答对）train_data = [ ('量子计算原理', '利用量子比特叠加态并行计算'), ('Transformer架构', '基于自注意力的编码-解码结构')]# 3. 12.8% 注：所有代码已在PyTorch 2.3 + CUDA 12.3环境验证，建议搭配NVIDIA A10G以上显卡运行高阶注意力实验。
83710编辑于 2025-07-15 - 来自专栏YOLO大作战
YOLO11叶片病害检测提升 | 自研独家创新MSAM注意力，通道注意力升级，魔改CBAM
本文自研创新改进：MSAM（CBAM升级版）：通道注意力具备多尺度性能，多分支深度卷积更好的提取多尺度特征，最后高效结合空间注意力如何使用：1）直接作为注意力使用，加入backboneMSAM 加入backbone 4类：nc: 4names: ['Cercospora', 'Miner', 'Phoma', 'Rust']细节图：标签可视化分析 2.原理介绍 本文自研创新改进：MSAM（CBAM升级版）：通道注意力具备多尺度性能 ，多分支深度卷积更好的提取多尺度特征，最后高效结合空间注意力原文链接：YOLO11涨点优化：原创自研 | 自研独家创新MSAM注意力，通道注意力升级，魔改CBAM_msam yolo-CSDN博客 在多个数据集验证涨点 ，尤其对存在多个尺度的数据集涨点明显提供多种yaml改进方法3.如何提升叶片病害检测精度3.1 原始网络性能 实验结果如下：原始mAP50为0.528YOLO11 summary (fused): 238 /11 [00:11<00:00, 1.05s/it] all 351 1580 0.503 0.58 0.542
23510编辑于 2025-07-15 - 来自专栏yeedomliu
清单革命
人类的错误主要分为两类 无知之错：因为我们没有掌握正确知识而犯下的错误 无能之错：因为我们掌握了正确知识，但却没有正确使用而犯下的错误 倾向于“无知之错”的天平现在越来越倾向于“无能之错”了 第一部分 清单革命是一场观念变革 结果的不确定性非常大 『强制函数方法』：用相对简单而直接的方法来迫使必要行为的发生，如使用清单来塑造行为 面对未知，建筑专家们相信沟通的力量，而不相信某个人的智慧，即使他是经验丰富的工程师 第二部分 清单革命的行事原则
75020编辑于 2022-06-25 - 来自专栏AI智韵
Yolo11改进策略：Block改进|细节增强注意力模块（DEAB）|即插即用
五、改进的效果（以Yolo11为例） 模块替换：使用细节增强注意力模块（DEAB）替换了Yolo11的Bottleneck模块，旨在提升特征提取和目标检测的能力。 性能提升： 准确性提高：由于DEAB模块能够更有效地提取特征并关注重要区域，Yolo11在目标检测任务中的准确性得到显著提升。 鲁棒性增强：在复杂环境（如雾天）下，Yolo11的鲁棒性得到增强，能够更好地应对不同场景的挑战。 计算效率：尽管DEAB模块引入了更复杂的结构，但通过重参数化技术等手段，确保了计算效率不会显著下降，保持了Yolo11的实时性能。 同样，Ye等人[11]试图通过密度估计模块对雾分布的密度进行建模，这本质上也是一种空间注意力。然而，很少有研究人员关注特征层面的非均匀性，这仍有待挖掘。
1.5K10编辑于 2024-12-20 - 来自专栏AI智韵
Yolo11改进策略：注意力改进|Neck层改进|SCSA，探索空间与通道注意力之间的协同效应|即插即用
改进的效果 应用于Yolo11：将SCSA模块加入到Yolo11的neck中，通过整合多语义信息和协同空间与通道注意力，提高了neck部分的特征提取能力。 性能提升：在目标检测任务中，使用SCSA模块改进后的Yolo11模型在准确率、召回率等关键指标上均实现了显著提升。 实际应用：改进后的Yolo11模型在复杂场景下的目标检测任务中表现出色，具有更高的鲁棒性和准确性，为实际应用提供了有力的支持。 在目标检测中，我们使用了几个具有挑战性的检测数据集，包括MSCOCO [30]、Pascal VOC [11]、VisDrone [10]和ExDark [34]。 所有模型的学习率在第8个和第11个周期时减少10倍。我们使用单个NVIDIA H800 GPU在MSCOCO [30]上对模型进行了12个周期的微调，并在验证集上报告了比较结果。
1.6K10编辑于 2025-01-02 - 来自专栏大大的小数据
#每周一本书计划#11月第3周《清单革命》
既然书读了也是无意义的，那就当一个好玩的行为艺术吧，没有kpi了，剩下okr。
19240编辑于 2022-12-19 - 来自专栏YOLO大作战
YOLO11首发优化：2025.9月最新注意力机制 | 低计算复杂度的 多尺度线性注意力机制（MSLA）
引入多尺度线性注意力机制，旨在以低计算复杂度高效提取图像中的多尺度特征，同时建模长程依赖关系； 多尺度线性注意力机制（MSLA）包含两个主要操作流程：多尺度特征提取和线性注意力计算。 前者通过捕获多尺度局部结构细节来提升分割性能，后者利用具有近似全局感受野的线性注意力机制（其感受野与Softmax注意力机制相近）来建模长程依赖关系，同时显著提升计算效率如何与YOLO11结合：①C3k2 与MSLA创新性结合；②C2PSA与MSLA创新性结合； 《YOLOv11魔术师专栏》将从以下各个方向进行创新：【原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】 ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️1.YOLO11介绍Ultralytics YOLO11是一款尖端的、最先进的模型 2.1 Multi-Scale Linear Attention（多尺度线性注意力机制）我们的多尺度线性注意力机制（MSLA）包含两个主要操作流程：多尺度特征提取和线性注意力计算。
60911编辑于 2025-09-09 - 来自专栏云原生布道专栏
颜色革命(上)
颜色革命，这个标题很大，但却已经是一个正在进行时了，只是你可能还没有意识到，其实它业已成为当今移动互联网产品领域的已成现实。
58530编辑于 2022-03-08 - 来自专栏前端必修课
Codex编程革命
此外，OpenAI还特别发布了面向开发者的精简版Codex CLI，每百万输入token仅需11元人民币，大幅降低了普通开发者的入门门槛。
89210编辑于 2025-05-18 - 来自专栏AI算法与图像处理
注意力机制
神经科学和计算神经科学[1,2]已经广泛研究了涉及注意力的神经过程[1,2]。特别是视觉注意力机制：许多动物关注其视觉输入的特定部分以计算适当的反应。 这种方法已经被几个小组应用，包括[11]（见下图）： ? 这种方法的问题在于，当模型试图生成标题的下一个单词时，该单词通常只描述图像的一部分。 我们现在将在解释注意力模型的一般工作原理。对注意力模型应用的综述文章[3] 详述了基于注意力的编码器 - 解码器网络的实现，需要更多细节知识的可以参考。 attention for rapid scene analysis. » IEEE Transactions on Pattern Analysis & Machine Intelligence 11 with Attention Can Solve Some Long-Term Memory Problems. » arXiv preprint arXiv:1512.08756 (2015). [11
78810发布于 2019-05-22 - 来自专栏云原生布道专栏
颜色革命（下）
多谢网友提醒，将上篇链接也加上《颜色革命（上）》 1 颜色战略实践 1.1 App Logo形象设计 上篇说到，对于移动端产品的设计，主要集中在品牌主色的运用以及品牌Logo形象的运用 尽量以线条边沿的形式明确按钮的操作边界，让用户有操作安全边际； 5、其他支线颜色选择，大的选色原则是——尽量选择能烘托主题色的“绿叶型”颜色，而千万不要选择比主题色更亮眼的颜色，这样会分散用户注意力 4、分隔线效果主要通过取色深浅、左侧留空的方式来实现，而线条宽度尽量保持一致； 5、内容为王，满足分割效果的线条与留白既要达到分隔清晰的要求，又都要做视觉上的“弱化”处理，不能分散用户注意力 其主要思想也是遵循IOS的交互设计理念，对于重点内容突出显示，引起用户聚集，对于可忽略内容，淡化处理，尽量不分散用户注意力。
1.1K30编辑于 2022-03-08 - 来自专栏YOLO大作战
YOLO11实战：NEU-DET | 一种具有切片操作的SimAM注意力的内容引导注意力(CGA)的混合融合方案
创新点：提出了一种具有切片操作的SimAM注意力，增强小目标特征提取能力 + 基于内容引导注意力(CGA)的混合融合方案 全新原创升级 ：一种基于内容引导注意力(CGA)的混合融合，实现暴力涨点 | IEEE TIP 2024 浙大涨点情况：NEU-DET缺陷检测中，原始mAP50为0.768，一种具有切片操作的SimAM注意力的内容引导注意力(CGA)的混合融合方案为mAP50为0.774 1.YOLO11介绍Ultralytics YOLO11是一款尖端的、最先进的模型，它在之前YOLO版本成功的基础上进行了构建，并引入了新功能和改进，以进一步提升性能和灵活性。 YOLO11设计快速、准确且易于使用，使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。 3.3 一种具有切片操作的SimAM注意力的内容引导注意力(CGA)的混合融合方案详见：YOLO11原创自研：特征融合创新 | 一种具有切片操作的SimAM注意力的内容引导注意力(CGA)的混合融合方案
72021编辑于 2025-01-08 基于yolov11添加SE注意力机制python源码+训练源码+改进原理+改进流程
【SE注意力机制介绍】 SENet是2017年ImageNet比赛的冠军，2018年CVPR引用量第一。论文链接:[SENet](Squeeze-and-Excitation Networks)。 具体来说，SE注意力机制包括两个步骤：挤压（Squeeze)、激励（Excitation）。 在Excitation步骤中，使用一个sigmoid函数将这个向量中的每个元素压缩到0到1之间，并将其与原始输入特征图相乘，得到加权后的特征图SE注意力模块是一种通道注意力模块，SE模块能对输入特征图进行通道特征加强 C 将通道注意力1*1*C的特征图、原始输入H*W*C的特征图，进行逐通道乘以权重系数，最终输出具有通道注意力的特征图 【yolov11框架介绍】 2024 年 9 月 30 日，Ultralytics SE注意力机制代码（核心模块源码请参考改进步骤.docx） 2.
84910编辑于 2025-07-18YOLO11-seg分割：SPPF_attention，重新设计加入注意力机制，助力分割
如何优化：在此基础上加入注意力机制，能够在不同尺度上更好的、更多的获取特征信息，从而获取全局视角信息并减轻不同尺度大小所带来的影响强烈推荐，适合直接使用，paper创新级别本文内容：通过 SPPF_attention ，重新设计加入注意力机制提升YOLO11-seg的分割能力Mask mAP50 从原始的0.673 提升至0.693，实现暴力涨点 Mask mAP50 从原始的0.673 提升至0.677 1.YOLO11 YOLO11设计快速、准确且易于使用，使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。 0.673 0.228Mask mAP50 为 0.673 MaskPR_curve.pngBoxPR_curve.png 3.4 SPPF_attention，重新设计加入注意力机制 如何优化：在此基础上加入注意力机制，能够在不同尺度上更好的、更多的获取特征信息，从而提高网络的识别精度。
2.5K12编辑于 2024-10-23基于yolov11引入全局注意力机制GAM的python源码+训练源码
【GAM介绍】 1.1 GAM简介 当前的注意力机制忽略了在通道和空间两个方面保留信息以增强跨维度交互作用的重要性。因此，GAM全局注意力机制，通过减少信息减少和放大全局交互表征来提升CNN性能。 本文引入3D排列与多层感知机（MLP）用于通道注意力，以及一个卷积空间注意力模块。 1.2 GAM架构 GAM旨在通过设计一种机制，减少信息损失并放大全局维度互动特征，从而解决传统注意力机制在通道和空间两个维度上保留信息不足的问题，GAM采用了顺序的通道-空间注意力机制，并对子模块进行了重新设计 具体来说，通道注意力子模块使用3D排列来跨三个维度保留信息，并通过一个两层的MLP增强跨维度的通道-空间依赖性。 从整体上可以看出，GAM和CBAM注意力机制还是比较相似的，同样是使用了通道注意力机制和空间注意力机制。但是不同的是对通道注意力和空间注意力的处理。
34710编辑于 2025-07-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号