- 综合排序
- 最热优先
- 最新优先
- 来自专栏算法人生
算法人生（8）：从“注意力算法”看“战胜拖延”（被分心太多版）
“注意力算法”简介注意力算法是一种在深度学习中广泛应用的技术，用于处理序列数据时，模型可以动态地将注意力集中在最相关的部分。 注意力机制赋予了模型在不同位置分配不同权重的能力，突出了重要的信息片段，忽略了不太相关的部分。注意力算法大概的步骤：建立输入与输出之间的关联： 首先，注意力算法需要建立输入序列和输出序列之间的关联。 注意力算法通过学习输入和输出之间的关系来实现翻译任务。计算注意力权重：通过计算注意力权重来确定输入序列中每个元素对于当前输出的重要程度。 由上我们可以看出，注意力算法使得模型在处理复杂任务时，能够灵活关注输入序列的不同部分，提升了模型理解和处理信息的能力。 注意力算法对“走出拖延”的启发：在当今社会，信息爆炸和多任务处理成为了日常，我们常常发现自己被各种娱乐活动、社交媒体等分了心，从而产生了一种错觉——没有时间。
21711编辑于 2024-05-16 - 来自专栏AI智韵
YoloV8改进策略：聚焦线性注意力重构YoloV8
与传统的Softmax注意力机制相比，聚焦线性注意力机制具有更低的计算复杂度。它通过重新排列自注意力计算的顺序，将复杂度从 O(N^2 d) 降低到 O(Nd^2) 。 此外，聚焦线性注意力模块的设计旨在解决线性注意力模块中存在的低秩问题，并采用简单运算符实现近似计算，以最小计算开销实现高表达力。 spm=1001.2014.3001.5502 在视觉Transformer中应用聚焦线性注意力模块，可以扩大模型的感受野，使其能够更好地捕捉到长程依赖关系。 实验结果表明，通过在早期阶段引入聚焦线性注意力模块，可以在保持计算效率的同时提高模型的性能。 本文将FLatten Transformer的线性注意力机制引入YoloV8，重构YoloV8的模块。 YoloV8官方测试结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs
20310编辑于 2024-10-22 - 来自专栏AI智韵
YoloV8改进策略：注意力改进|引入DeBiLevelRoutingAttention注意力模块（全网首发）
我们基于对YoloV8模型的深入理解，创新性地引入了DeBiLevelRoutingAttention（简称DBRA）注意力模块，旨在进一步增强模型的特征提取能力和目标检测精度。 具体来说，每个模型在8个V100 GPU上以224×224的输入大小训练300个epoch。 表8展示了两个不同框架的结果。 7.2 可变形相对位置偏置 当然，将位置信息融入注意力机制已被证明对模型性能有益。诸如APE[15]、RPE[29]、CPE[8]、LogCPB[28]等方法以及其他方法已证明能够改善结果。 表8显示了Upernet框架在单尺度和多尺度IoU下的结果。 7.7 限制和未来工作 与具有简单静态模式的稀疏注意力相比，我们提出了一种新的注意力方法，该方法由两个组件组成。
1.5K10编辑于 2024-10-22 - 来自专栏从流域到海域
注意力机制(Attention Mechanism) - NLP算法面试
对注意力机制的理解也是算法面试经常提及的一道基础面试题，在这篇博文里我们汇总吴恩达深度学习视频序列模型3.7和3.8以及台大李宏毅教授对Attenion Mechanism以及相关参考文献对注意力机制给出详细的介绍的解释 注意力机制(Attention Mechanism) 注意力机制是深度学习中一个非常重要的思想，在NLP领域尤为重要。 为什么要引入Attention Mechanism？ 注意力机制直观理解 如同前面讲过的人工翻译是一部分一部分看，一部分一部分翻译一样，注意力机制旨在实现在计算某个时间步的输出时，将注意力集中在一段序列上，段的大小可以由一个窗口来决定，并且为该段序列每一个时间步都赋以权值 注意力机制 实例说明： ? 如图所示，在计算Encoder的输出上下文c0c^0c0时，维持窗口大小为4，即一个时间步输出由四个时间步输入决定。 注意力机制的应用 虽然我们以NLP为例，但注意力机制在其他领域也有一些应用。
3.7K11发布于 2019-10-22 - 来自专栏贾志刚-OpenCV学堂
YOLOv8修改+注意力模块 训练与部署
YOLOv8源码到底在哪? 很多人也想跟修改YOLOv5源码一样的方式去修改YOLOv8的源码，但是在github上面却发现找到的YOLOv8项目下面TAG分支是空的，然后就直接从master/main下面把源码克隆出来一通修改了 YOLOv8添加SE注意力模块 分别修改YOLOv8的模型描述文件yolov8.yaml，模型加载与定义文件task.py与模块结构化实现文件block.py，修改的内容跟YOLOv5注意力机制添加完全一致 修改yolov8.yaml文件，这里我直接插入了SENet注意力模块，修改以后文件与之前的文件对比如下： 然后修改源码文件task.py与block.py 实现SENet注意机制解析支持。 全部完成之后就可以直接开始训练模型了，这里基于我的DM码数据集完成模型结构修改之后的YOLOv8注意力模型的训练，命令行跟以前唯一不同的是需要从指定修改的YAML文件开始训练，才是对的，训练的命令行如下
3.2K10编辑于 2023-08-22 - 来自专栏AI科技大本营的专栏
通俗易懂：8大步骤图解注意力机制
请注意，本文也没有详细介绍注意力和自注意力之间的区别。 内容大纲 图解 代码 拓展到 Transformer 现在开始吧！ 0.什么是自注意力？ 进行同样的操作，以获取每个输入的值表示形式： [0，2，0][1，0，1，0] [0，3，0] [1,2，3][0，2，0，2] x [1，0，3] = [2 ，8， 1：0.0 * [1、2、3] = [0.0、0.0、0.0]2：0.5 * [2、8、0] = [1.0、4.0、0.0]3：0.5 * [2、6、3] = [1.0、3.0、1.5] 步骤7：求和加权值以获得输出 步骤 8：重复输入 2 和输入 3 既然我们已经完成了输出 1，我们将对输出 2 和输出 3 重复步骤 4 至 7。我相信你自己就可以操作??。 ? print(values) # tensor([[1., 2., 3.], # [2., 8., 0.], # [2., 6., 3.]
1.2K20发布于 2019-11-29 - 来自专栏算法工程师之路
每日算法题：Day 8
作者：TeddyZhang，公众号：算法工程师之路 Day 8, C/C++知识点走起~ 1 编程题 【剑指Offer】翻转链表 输入一个链表，反转链表后，输出新链表的表头。 nullptr; return newHead; } }; 如果不使用额外的空间的话，我们可以使用两个指针pre和next, 对链表相邻的两个节点进行交换调整，这才是面试官想要看到的算法
46220发布于 2019-08-09 - 来自专栏乐行僧的博客
8-快速排序算法
一些关键点： 不稳定的排序算法 初始状态待排序序列基本有序，快速排序的时间复杂度为O(n^2)，性能非常差 空间复杂度与递归树的高度成正比，平均来看是O(log2n) 划分函数的选择非常重要 优化，随机划分 QuickSort(a, l, p - 1); QuickSort(a, p + 1, r); } int main() { int a[] = {3, 1, 2, 4, 7, 0, 5, 8,
24830编辑于 2022-02-25 - 来自专栏深度学习与python
8年了，Transformer注意力机制一直有Bug？
作者 | 凌敏、核子可乐 注意力机制是一个构建网络的思路，也是 Transformer 模型的核心。 注意力是人类认知功能的重要组成部分，指人的心理活动对外界一定事物的指向和集中。 因此，需要让模型“注意”到那些相对更加重要的单词，这种方式称之为注意力机制，也称作 Attention 机制。 简单来说，注意力机制要做的事情就是：找到最重要的关键内容。 然而近日，Eppo 初创公司的工程师 Evan Miller 在 Twitter 上表示，他发现注意力机制有一个存在了 8 年的 Bug，所有 Transformer 模型（GPT、LLaMA 等）都会受到影响 现在咱们来看看 Softmax 函数，还有它在注意力机制里惹出了怎样的麻烦。 Softmax 惹出了什么麻烦？ 要想明确解释这个 Bug，大家先得真正理解注意力机制是干什么的。 把注意力机制重复个几十次，模型就掌握了英语及其承载的一切广泛内容。
54420编辑于 2023-08-09 - 来自专栏YOLO大作战
YOLOv8独家原创改进：自研独家创新MSAM注意力，通道注意力升级，魔改CBAM
本文自研创新改进：MSAM（CBAM升级版），通道注意力具备多尺度性能，多分支深度卷积更好的提取多尺度特征，最后高效结合空间注意力 1）作为注意力MSAM使用；推荐指数：五星MSCA | 亲测在多个数据集能够实现涨点 在道路缺陷检测任务中，原始map为0.8，cbam为0.822 ，MSCA 为 0.8551.计算机视觉中的注意力机制 一般来说，注意力机制通常被分为以下基本四大类：通道注意力 Channel Attention空间注意力机制 Spatial Attention时间注意力机制 Temporal Attention分支注意力机制 Branch Attention 2.CBAM：通道注意力和空间注意力的集成者轻量级的卷积注意力模块 spm=1001.2014.3001.54823.2 自研MSAM注意力介绍多尺度卷积注意模块具备多尺度性能原理：CBMA原先的通道注意力替换为多尺度卷积，使通道注意力具备多尺度性能3.3 MSAM 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n' # [depth, width, max_channels] n: [0.33,
4.5K22编辑于 2023-11-29 - 来自专栏AI智韵
YoloV8改进策略：OrthoNets最新的SOTA注意力机制，让YoloV8涨点自如
摘要 OrthoNet，一种基于正交滤波器的通道注意力机制。该机制解决了FcaNet中频率选择的问题，并假设了正交性是DCT内核有效性的主要驱动力。 通过将该机制集成到ResNet中，并与FcaNet和其他注意力机制进行比较，OrthoNet在Birds、MS-COCO、Places356等数据集上表现出色。 本文使用OrthoNet改进YoloV8，在我自己的数据集上实现有效涨点！ spm=1001.2014.3001.5502 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 测试结果 YOLOv8l
19710编辑于 2024-10-22 - 来自专栏YOLO大作战
基于YOLOv10的工业油污缺陷检测算法，BRA注意力替换 PSA中的多头自注意力模块MHSA注意力（一）
本文内容：针对基基于YOLOv10的工业油污缺陷检测算法进行性能提升，加入各个创新点做验证性试验。 BRA注意力替换 PSA中的多头自注意力模块MHSA注意力 原始mAP50为 0.584提升至0.596 博主简介AI小怪兽，YOLO骨灰级玩家，1）YOLOv5、v7、v8、v9、v10优化创新 我们首先提出了一个紧凑的倒置块（CIB）结构，它采用廉价的深度可分离卷积进行空间混合，以及成本效益高的点对点卷积进行通道混合C2fUIB只是用CIB结构替换了YOLOv8中 C2f的Bottleneck _yolov10改进-CSDN博客 本文改进：替换YOLOv10中的PSA进行二次创新，1）BRA注意力替换 PSA中的多头自注意力模块MHSA注意力；2） BRA直接替换 PSA；改进1结构图：改进 PSA中的多头自注意力模块MHSA注意力（一）2） 具有切片操作的SimAM注意力，魔改SimAM助力缺陷检测（二） 3） 一种基于YOLOv10的高精度工业油污缺陷检测算法（原创自研）
59510编辑于 2025-01-13 - 来自专栏AI智韵
YoloV8改进策略：改进Head|自研频域和空间注意力，超越GAM，CBAM等注意力|注意力创新改进|高效涨点|代码注释与改进
摘要 本文尝试改进了新的注意力，使用空间注意力和多轴频域注意力融合改进。改进后的注意力超越了GAM、BAM和CBAM等常用的注意力。 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPs p3 230 105 0.99 1 0.995 0.801 p8 tu-22 230 98 0.984 1 0.995 0.831 测试结果 YOLOv8l p3 230 105 0.991 0.999 0.995 0.82 p8
28310编辑于 2024-10-22 - 来自专栏YOLO大作战
YOLOv8独家原创改进：创新自研CPMS注意力，多尺度通道注意力具+多尺度深度可分离卷积空间注意力，全面升级CBAM
本文自研创新改进：自研CPMS,多尺度通道注意力具+多尺度深度可分离卷积空间注意力,全面升级CBAM 1）作为注意力CPMS使用；推荐指数：五星CPMS | 亲测在多个数据集能够实现涨点，对标CBAM 在道路缺陷检测任务中，原始map为0.8，cbam为0.822 ，CPMS 为 0.8741.计算机视觉中的注意力机制一般来说，注意力机制通常被分为以下基本四大类：通道注意力 Channel Attention 空间注意力机制 Spatial Attention时间注意力机制 Temporal Attention分支注意力机制 Branch Attention2.CBAM：通道注意力和空间注意力的集成者轻量级的卷积注意力模块 3.自研CPMS多尺度通道注意力具+多尺度深度可分离卷积空间注意力 3.1 yolov8_CPMS.yaml# Ultralytics YOLO , AGPL-3.0 license# YOLOv8 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n' # [depth, width, max_channels] n: [0.33,
1.6K20编辑于 2023-12-06 - 来自专栏集智书童
ADA-YOLO | YOLOv8+注意力+Adaptive Head，相对YOLOv8，mAP提升3%+118FPS
为了解决这个问题，作者提出了一种名为ADA-YOLO的轻量级但有效的医学目标检测方法，该方法将注意力机制与YOLOv8架构相结合。 表示注意力函数。 空间感知的注意力 空间感知的注意力 \pi_{S} 聚合特征时，专注于判别性区域。 任务感知的注意力 最后，任务感知的注意力 \pi_{C} 根据不同的任务动态地调整特征。 MAR20 数据集适合训练和评估各种目标检测算法。 与 YOLOv8 相比，作者的模型由于其经济内存消耗和在大数据集上的同等性能而具有可适应性。
1.7K10编辑于 2024-01-17 - 来自专栏相约机器人
一文读懂自注意力机制：8大步骤图解+代码
完全图解——8步掌握self-attention self-attention是什么? 如果你认为self-attention与attention有相似之处，那么答案是肯定的！ 输出是这些交互和注意力得分的总和。 图1.4：从查询1中计算注意力得分(蓝色) 为了获得注意力得分，我们首先在输入1的查询(红色)和所有键(橙色)之间取一个点积。因为有3个键表示(因为有3个输入)，我们得到3个注意力得分(蓝色)。 ? 图1.5：Softmax注意力评分(蓝色) 在所有注意力得分中使用softmax(蓝色)。 ? 步骤6：将得分和值相乘 ? 步骤8：重复输入2和输入3 现在，我们已经完成了输出1，我们对输出2和输出3重复步骤4到7。接下来相信你可以自己操作了??。 ?
6.6K42发布于 2019-11-29 - 来自专栏新智元
一文读懂自注意力机制：8大步骤图解+代码
完全图解——8步掌握self-attention self-attention是什么 如果你认为self-attention与attention有相似之处，那么答案是肯定的！ 输出是这些交互和注意力得分的总和。 步骤5：计算softmax 图1.5：Softmax注意力评分(蓝色) 在所有注意力得分中使用softmax(蓝色)。 步骤8：重复输入2和输入3 现在，我们已经完成了输出1，我们对输出2和输出3重复步骤4到7。接下来相信你可以自己操作了??。 print(values) # tensor([[1., 2., 3.], # [2., 8., 0.], # [2., 6., 3.]])
1.8K30发布于 2019-11-28 - 来自专栏AI智韵
YoloV8改进策略：基于自研的图注意力机制改进| 独家改进方法|图卷积和注意力融合模块
摘要 SE注意力机制是一种通过显式建模卷积特征的信道之间相互依赖性的方法，旨在提高网络产生的表示的质量。SE注意力机制包括两个步骤：Squeeze和Excitation。 通过SE注意力机制，模型可以自适应地学习到每个通道的重要性，从而提高模型的表现能力。 图卷积是一种用于处理图结构数据的卷积操作。 spm=1001.2014.3001.5501 YoloV8官方结果 YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients 0.831 Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image 改进一 测试结果 YOLOv8l 0.2ms preprocess, 23.5ms inference, 0.0ms loss, 0.6ms postprocess per image 改进二 测试结果 YOLOv8l
22210编辑于 2024-10-22 - 来自专栏YOLO大作战
YOLOv8YOLOv7YOLOv5注意力机制全家福，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意
本文属于原创独家改进：2023年全新注意力大派送，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意、可变形自注意力、EMA，喜迎1024，创新度十足适合科研 ，即学习更精细像素级细节的像素路径和提取整体全局语义信息的语义路径，性能表现出色，Dualattention引入到YOLOv8实现创新涨点！！！ 4.可变形大核注意力，超越自注意力，实现暴力涨点 | 2023.8月最新发表本文独家改进：可变形大核注意力（D-LKA Attention），采用大卷积核来充分理解体积上下文的简化注意力机制，来灵活地扭曲采样网格 图3：通道先验卷积注意力（CPCA）的整体结构包括通道注意力和空间注意力的顺序放置。特征图的空间信息是由通道注意力通过平均池化和最大池化等操作来聚合的。 (b) 揭示了偏移生 8.ICASSP2023 EMA基于跨空间学习的高效多尺度注意力、效果优于ECA、CBAM、CA 本文提出了一种新的跨空间学习方法，并设计了一个多尺度并行子网络来建立短和长依赖关系
2.1K10编辑于 2023-11-26 - 来自专栏学习
【优选算法】8----四数之和
有看过我上篇算法博客并且去做过的铁子们，对这道题的话应该就不会那么陌生了，因为这两道题 的解题思路有着异曲同工之妙~ -----------------------------------------begin ------------------------------------- 题目解析： 跟三数之和就多了一数，看过的铁子还是很容易理解的~ 讲解算法原理： 同三数之和一样，暴力算法肯定不得行的~ 所以就直接在暴力算法的基础上 ，我们借助在三数之和的算法原理来多加一层循环，便解决这道四 数之和啦~ 编写代码： class Solution { public: vector<vector<int>> fourSum(vector
8200编辑于 2025-01-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号