- 综合排序
- 最热优先
- 最新优先
- 来自专栏活动
注意力机制革命：Transformer在DeepSeek中的创新应用
项目背景与技术演进在人工智能快速发展的当下，深度学习技术不断突破传统方法的限制，为众多领域带来了革命性的变化。 1.1 序列建模的范式转移DeepSeek作为中国领先的通用人工智能平台，其技术演进历程反映了注意力机制的革命性突破：（一）早期序列模型在Transformer出现之前，循环神经网络（RNN）及其变体（ ，导致：无法处理长文本（>8k tokens）多模态融合效率低下实时推理延迟超标II. 8倍联合清华研发中5.2 持续学习框架核心代码，仅展示代码逻辑class ContinualLearningWrapper: def __init__(self, base_model): 结论注意力机制的引入和Transformer架构的提出，为深度学习领域带来了革命性的变化。
60300编辑于 2025-03-14 - 来自专栏AI智韵
YoloV8改进策略：聚焦线性注意力重构YoloV8
与传统的Softmax注意力机制相比，聚焦线性注意力机制具有更低的计算复杂度。它通过重新排列自注意力计算的顺序，将复杂度从 O(N^2 d) 降低到 O(Nd^2) 。 此外，聚焦线性注意力模块的设计旨在解决线性注意力模块中存在的低秩问题，并采用简单运算符实现近似计算，以最小计算开销实现高表达力。 spm=1001.2014.3001.5502 在视觉Transformer中应用聚焦线性注意力模块，可以扩大模型的感受野，使其能够更好地捕捉到长程依赖关系。 实验结果表明，通过在早期阶段引入聚焦线性注意力模块，可以在保持计算效率的同时提高模型的性能。 本文将FLatten Transformer的线性注意力机制引入YoloV8，重构YoloV8的模块。 YoloV8官方测试结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs
20310编辑于 2024-10-22 - 来自专栏AI智韵
YoloV8改进策略：注意力改进|引入DeBiLevelRoutingAttention注意力模块（全网首发）
我们基于对YoloV8模型的深入理解，创新性地引入了DeBiLevelRoutingAttention（简称DBRA）注意力模块，旨在进一步增强模型的特征提取能力和目标检测精度。 具体来说，每个模型在8个V100 GPU上以224×224的输入大小训练300个epoch。 表8展示了两个不同框架的结果。 7.2 可变形相对位置偏置 当然，将位置信息融入注意力机制已被证明对模型性能有益。诸如APE[15]、RPE[29]、CPE[8]、LogCPB[28]等方法以及其他方法已证明能够改善结果。 表8显示了Upernet框架在单尺度和多尺度IoU下的结果。 7.7 限制和未来工作 与具有简单静态模式的稀疏注意力相比，我们提出了一种新的注意力方法，该方法由两个组件组成。
1.5K10编辑于 2024-10-22 - 来自专栏注意力革命
注意力革命：大模型时代的生产关系重构与价值创造机制
与此同时，大模型技术本身却又在加速消耗注意力资源——从构建任务提示词需要注意力，执行过程监督需要注意力，到执行结果审核同样需要注意力，形成了一个完整的注意力劳动链条。 深入分析人类注意力与机器注意力的对立统一规律，是优化未来生产关系的理论基础。3.1人类注意力与机器注意力的本质差异从生成机制看，人类注意力具有生物性和社会性双重特征。 以研究开发为例，初期需要发散注意力广泛搜集信息，中期需要集中注意力深度攻关，后期又需要发散注意力验证应用。稀疏注意力技术中的分块注意力、局部注意力等机制，为这种动态调节提供了技术实现路径。 注意力质的飞跃阶段：当注意力数据积累到一定阈值，通过模型架构优化（如稀疏注意力、MLA机制）、训练算法改进等手段，实现注意力效能的质的提升。 未来，随着大模型技术不断演进，注意力劳动将呈现三大趋势：一是注意力货币化程度加深，注意力资源的度量、交易和定价机制将更加完善；二是人机注意力融合加速，脑机接口等新技术可能实现生物注意力与机器注意力的直接交互
19610编辑于 2026-01-14 - 来自专栏贾志刚-OpenCV学堂
YOLOv8修改+注意力模块 训练与部署
YOLOv8源码到底在哪? 很多人也想跟修改YOLOv5源码一样的方式去修改YOLOv8的源码，但是在github上面却发现找到的YOLOv8项目下面TAG分支是空的，然后就直接从master/main下面把源码克隆出来一通修改了 YOLOv8添加SE注意力模块 分别修改YOLOv8的模型描述文件yolov8.yaml，模型加载与定义文件task.py与模块结构化实现文件block.py，修改的内容跟YOLOv5注意力机制添加完全一致 修改yolov8.yaml文件，这里我直接插入了SENet注意力模块，修改以后文件与之前的文件对比如下： 然后修改源码文件task.py与block.py 实现SENet注意机制解析支持。 全部完成之后就可以直接开始训练模型了，这里基于我的DM码数据集完成模型结构修改之后的YOLOv8注意力模型的训练，命令行跟以前唯一不同的是需要从指定修改的YAML文件开始训练，才是对的，训练的命令行如下
3.2K10编辑于 2023-08-22 - 来自专栏AI大模型应用开发炼丹房
2025 Transformer技术全景：位置编码到三线性注意力的革命性突破
：编码器处理全局信息（如BERT），解码器生成序列（如GPT）位置编码革新：正弦函数（原始）→ 旋转位置编码（RoPE）→ 三线性体积编码（2025 Meta）二、Token的概率本质：语言理解的范式革命 import AutoTokenizer, AutoModelForCausalLMtokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3-8B ")model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3-8B")text = "大模型如何理解语言"inputs = tokenizer torchimport torch.nn as nnclass MultiHeadAttention(nn.Module): def __init__(self, d_model=512, heads=8) q_pos + w2//2) mask[q_pos, start_k:end_k, start_kp:end_kp] = 0 return mask实验效果：在GSM8K
83710编辑于 2025-07-15 - 来自专栏AI科技大本营的专栏
通俗易懂：8大步骤图解注意力机制
请注意，本文也没有详细介绍注意力和自注意力之间的区别。 内容大纲 图解 代码 拓展到 Transformer 现在开始吧！ 0.什么是自注意力？ 进行同样的操作，以获取每个输入的值表示形式： [0，2，0][1，0，1，0] [0，3，0] [1,2，3][0，2，0，2] x [1，0，3] = [2 ，8， 1：0.0 * [1、2、3] = [0.0、0.0、0.0]2：0.5 * [2、8、0] = [1.0、4.0、0.0]3：0.5 * [2、6、3] = [1.0、3.0、1.5] 步骤7：求和加权值以获得输出 步骤 8：重复输入 2 和输入 3 既然我们已经完成了输出 1，我们将对输出 2 和输出 3 重复步骤 4 至 7。我相信你自己就可以操作??。 ? print(values) # tensor([[1., 2., 3.], # [2., 8., 0.], # [2., 6., 3.]
1.2K20发布于 2019-11-29 - 来自专栏深度学习与python
8年了，Transformer注意力机制一直有Bug？
作者 | 凌敏、核子可乐 注意力机制是一个构建网络的思路，也是 Transformer 模型的核心。 注意力是人类认知功能的重要组成部分，指人的心理活动对外界一定事物的指向和集中。 因此，需要让模型“注意”到那些相对更加重要的单词，这种方式称之为注意力机制，也称作 Attention 机制。 简单来说，注意力机制要做的事情就是：找到最重要的关键内容。 然而近日，Eppo 初创公司的工程师 Evan Miller 在 Twitter 上表示，他发现注意力机制有一个存在了 8 年的 Bug，所有 Transformer 模型（GPT、LLaMA 等）都会受到影响 现在咱们来看看 Softmax 函数，还有它在注意力机制里惹出了怎样的麻烦。 Softmax 惹出了什么麻烦？ 要想明确解释这个 Bug，大家先得真正理解注意力机制是干什么的。 把注意力机制重复个几十次，模型就掌握了英语及其承载的一切广泛内容。
54420编辑于 2023-08-09 - 来自专栏YOLO大作战
YOLOv8独家原创改进：自研独家创新MSAM注意力，通道注意力升级，魔改CBAM
本文自研创新改进：MSAM（CBAM升级版），通道注意力具备多尺度性能，多分支深度卷积更好的提取多尺度特征，最后高效结合空间注意力 1）作为注意力MSAM使用；推荐指数：五星MSCA | 亲测在多个数据集能够实现涨点 在道路缺陷检测任务中，原始map为0.8，cbam为0.822 ，MSCA 为 0.8551.计算机视觉中的注意力机制 一般来说，注意力机制通常被分为以下基本四大类：通道注意力 Channel Attention空间注意力机制 Spatial Attention时间注意力机制 Temporal Attention分支注意力机制 Branch Attention 2.CBAM：通道注意力和空间注意力的集成者轻量级的卷积注意力模块 spm=1001.2014.3001.54823.2 自研MSAM注意力介绍多尺度卷积注意模块具备多尺度性能原理：CBMA原先的通道注意力替换为多尺度卷积，使通道注意力具备多尺度性能3.3 MSAM 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n' # [depth, width, max_channels] n: [0.33,
4.5K22编辑于 2023-11-29 - 来自专栏yeedomliu
清单革命
人类的错误主要分为两类 无知之错：因为我们没有掌握正确知识而犯下的错误 无能之错：因为我们掌握了正确知识，但却没有正确使用而犯下的错误 倾向于“无知之错”的天平现在越来越倾向于“无能之错”了 第一部分 清单革命是一场观念变革 结果的不确定性非常大 『强制函数方法』：用相对简单而直接的方法来迫使必要行为的发生，如使用清单来塑造行为 面对未知，建筑专家们相信沟通的力量，而不相信某个人的智慧，即使他是经验丰富的工程师 第二部分 清单革命的行事原则
75020编辑于 2022-06-25 - 来自专栏AI智韵
YoloV8改进策略：OrthoNets最新的SOTA注意力机制，让YoloV8涨点自如
摘要 OrthoNet，一种基于正交滤波器的通道注意力机制。该机制解决了FcaNet中频率选择的问题，并假设了正交性是DCT内核有效性的主要驱动力。 通过将该机制集成到ResNet中，并与FcaNet和其他注意力机制进行比较，OrthoNet在Birds、MS-COCO、Places356等数据集上表现出色。 本文使用OrthoNet改进YoloV8，在我自己的数据集上实现有效涨点！ spm=1001.2014.3001.5502 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 测试结果 YOLOv8l
19710编辑于 2024-10-22 LLM 系列（十一）：从 DeepSeek UE8M0 来回顾精度革命
AI 的初始范式 当深度学习革命爆发时，研究人员发现神经网络中的核心运算：即大规模矩阵乘法，本质上是高度并行的，这与 GPU 的图形渲染任务在计算模式上不谋而合。 训练和部署这些庞然大物所带来的巨大压力，迫使整个行业进行一场深刻的“数值压缩”革命，目标直指 16 位精度。 FP8 vs. INT8：浮点与整数的对决 在进入 8 位浮点数（FP8）的世界之前，有必要先了解 8 位整数（INT8）量化。 • E8（8 位指数）：这是对动态范围的极致追求，8 位指数意味着它的动态范围与 FP32 和 BFloat16 相当，远超 E5M2。 (含符号) 均匀间隔，固定范围 推理加速，对异常值敏感 E4M3 8 4 3 平衡的精度与范围 权重和激活值 E5M2 8 5 2 范围优先 梯度 UE8M0 8 8 (无符号) 0 极致范围，精度外置
83310编辑于 2025-09-02- 来自专栏AI智韵
YoloV8改进策略：改进Head|自研频域和空间注意力，超越GAM，CBAM等注意力|注意力创新改进|高效涨点|代码注释与改进
摘要 本文尝试改进了新的注意力，使用空间注意力和多轴频域注意力融合改进。改进后的注意力超越了GAM、BAM和CBAM等常用的注意力。 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs p3 230 105 0.99 1 0.995 0.801 p8 tu-22 230 98 0.984 1 0.995 0.831 测试结果 YOLOv8l p3 230 105 0.991 0.999 0.995 0.82 p8
28310编辑于 2024-10-22 - 来自专栏YOLO大作战
YOLOv8独家原创改进：创新自研CPMS注意力，多尺度通道注意力具+多尺度深度可分离卷积空间注意力，全面升级CBAM
本文自研创新改进：自研CPMS,多尺度通道注意力具+多尺度深度可分离卷积空间注意力,全面升级CBAM 1）作为注意力CPMS使用；推荐指数：五星CPMS | 亲测在多个数据集能够实现涨点，对标CBAM 在道路缺陷检测任务中，原始map为0.8，cbam为0.822 ，CPMS 为 0.8741.计算机视觉中的注意力机制一般来说，注意力机制通常被分为以下基本四大类：通道注意力 Channel Attention 空间注意力机制 Spatial Attention时间注意力机制 Temporal Attention分支注意力机制 Branch Attention2.CBAM：通道注意力和空间注意力的集成者轻量级的卷积注意力模块 3.自研CPMS多尺度通道注意力具+多尺度深度可分离卷积空间注意力 3.1 yolov8_CPMS.yaml# Ultralytics YOLO , AGPL-3.0 license# YOLOv8 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n' # [depth, width, max_channels] n: [0.33,
1.6K20编辑于 2023-12-06 - 来自专栏集智书童
ADA-YOLO | YOLOv8+注意力+Adaptive Head，相对YOLOv8，mAP提升3%+118FPS
为了解决这个问题，作者提出了一种名为ADA-YOLO的轻量级但有效的医学目标检测方法，该方法将注意力机制与YOLOv8架构相结合。 这可以表示为 F 和其注意力变换版本（由注意力矩阵 \textbf{A} 乘以 F 得到）的乘积： W(F)=F\times\pi(F), \tag{5} 在这里， \pi(\cdot) 表示注意力函数。 空间感知的注意力 空间感知的注意力 \pi_{S} 聚合特征时，专注于判别性区域。 任务感知的注意力 最后，任务感知的注意力 \pi_{C} 根据不同的任务动态地调整特征。
1.7K10编辑于 2024-01-17 - 来自专栏相约机器人
一文读懂自注意力机制：8大步骤图解+代码
完全图解——8步掌握self-attention self-attention是什么? 如果你认为self-attention与attention有相似之处，那么答案是肯定的！ 输出是这些交互和注意力得分的总和。 图1.4：从查询1中计算注意力得分(蓝色) 为了获得注意力得分，我们首先在输入1的查询(红色)和所有键(橙色)之间取一个点积。因为有3个键表示(因为有3个输入)，我们得到3个注意力得分(蓝色)。 ? 图1.5：Softmax注意力评分(蓝色) 在所有注意力得分中使用softmax(蓝色)。 ? 步骤6：将得分和值相乘 ? 步骤8：重复输入2和输入3 现在，我们已经完成了输出1，我们对输出2和输出3重复步骤4到7。接下来相信你可以自己操作了??。 ?
6.6K42发布于 2019-11-29 - 来自专栏新智元
一文读懂自注意力机制：8大步骤图解+代码
完全图解——8步掌握self-attention self-attention是什么 如果你认为self-attention与attention有相似之处，那么答案是肯定的！ 输出是这些交互和注意力得分的总和。 步骤5：计算softmax 图1.5：Softmax注意力评分(蓝色) 在所有注意力得分中使用softmax(蓝色)。 步骤8：重复输入2和输入3 现在，我们已经完成了输出1，我们对输出2和输出3重复步骤4到7。接下来相信你可以自己操作了??。 print(values) # tensor([[1., 2., 3.], # [2., 8., 0.], # [2., 6., 3.]])
1.8K30发布于 2019-11-28 - 来自专栏AI智韵
YoloV8改进策略：基于自研的图注意力机制改进| 独家改进方法|图卷积和注意力融合模块
摘要 SE注意力机制是一种通过显式建模卷积特征的信道之间相互依赖性的方法，旨在提高网络产生的表示的质量。SE注意力机制包括两个步骤：Squeeze和Excitation。 通过SE注意力机制，模型可以自适应地学习到每个通道的重要性，从而提高模型的表现能力。 图卷积是一种用于处理图结构数据的卷积操作。 spm=1001.2014.3001.5501 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 改进一 测试结果 YOLOv8l 0.2ms preprocess, 23.5ms inference, 0.0ms loss, 0.6ms postprocess per image 改进二 测试结果 YOLOv8l
22210编辑于 2024-10-22 - 来自专栏YOLO大作战
YOLOv8YOLOv7YOLOv5注意力机制全家福，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意
本文属于原创独家改进：2023年全新注意力大派送，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意、可变形自注意力、EMA，喜迎1024，创新度十足适合科研 ，即学习更精细像素级细节的像素路径和提取整体全局语义信息的语义路径，性能表现出色，Dualattention引入到YOLOv8实现创新涨点！！！ 4.可变形大核注意力，超越自注意力，实现暴力涨点 | 2023.8月最新发表本文独家改进：可变形大核注意力（D-LKA Attention），采用大卷积核来充分理解体积上下文的简化注意力机制，来灵活地扭曲采样网格 图3：通道先验卷积注意力（CPCA）的整体结构包括通道注意力和空间注意力的顺序放置。特征图的空间信息是由通道注意力通过平均池化和最大池化等操作来聚合的。 (b) 揭示了偏移生 8.ICASSP2023 EMA基于跨空间学习的高效多尺度注意力、效果优于ECA、CBAM、CA 本文提出了一种新的跨空间学习方法，并设计了一个多尺度并行子网络来建立短和长依赖关系
2.1K10编辑于 2023-11-26 - 来自专栏云原生布道专栏
颜色革命(上)
颜色革命，这个标题很大，但却已经是一个正在进行时了，只是你可能还没有意识到，其实它业已成为当今移动互联网产品领域的已成现实。
58530编辑于 2022-03-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号