- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能生信
基于信息分流的多尺度自注意力机制
这种约束不可避免地限制了每个自注意力层捕获多尺度特征的能力，从而导致在处理具有不同尺度的多个对象的图像时性能下降。 为了解决这个问题，作者提出了一种新颖的通用策略，称为分流自我注意 (SSA)，它允许 ViT 在每个注意层的混合尺度上对注意进行建模。 SSA 的关键思想是将异构感受野大小注入到token中：在计算自注意力矩阵之前，它选择性地合并token以表示更大的对象特征，同时保留某些token以保留细粒度的特征。
66120编辑于 2022-12-29 - 来自专栏YOLO大作战
YOLOv8独家原创改进：创新自研CPMS注意力，多尺度通道注意力具+多尺度深度可分离卷积空间注意力，全面升级CBAM
本文自研创新改进：自研CPMS,多尺度通道注意力具+多尺度深度可分离卷积空间注意力,全面升级CBAM 1）作为注意力CPMS使用；推荐指数：五星CPMS | 亲测在多个数据集能够实现涨点，对标CBAM 在道路缺陷检测任务中，原始map为0.8，cbam为0.822 ，CPMS 为 0.8741.计算机视觉中的注意力机制一般来说，注意力机制通常被分为以下基本四大类：通道注意力 Channel Attention 空间注意力机制 Spatial Attention时间注意力机制 Temporal Attention分支注意力机制 Branch Attention2.CBAM：通道注意力和空间注意力的集成者轻量级的卷积注意力模块 3.自研CPMS多尺度通道注意力具+多尺度深度可分离卷积空间注意力 3.1 yolov8_CPMS.yaml# Ultralytics YOLO , AGPL-3.0 license# YOLOv8 下图可见，缺陷存在各个尺度的特征，验证多尺度创新点是十分合适的原始v8n性能YOLOv8 summary (fused): 168 layers, 3005843 parameters, 0 gradients
1.6K20编辑于 2023-12-06 - 来自专栏AI智韵
【Block总结】多尺度并行大卷积核和并行注意力
二、创新点 多尺度并行大卷积核模块：采用多尺度并行大卷积核，能够同时捕获大范围的雾区域并恢复纹理细节。 优势与创新点 多尺度特征提取： 通过并行的多尺度卷积核，MSPLCK 模块能够同时捕获局部细节和全局上下文信息。 适用于处理具有多尺度特征的复杂场景（如图像去雾、目标检测等）。 通道注意力： 作用：分析特征图的通道维度，判断哪些通道包含更重要的信息。 实现方式：通常通过全局池化（如全局平均池化或全局最大池化）提取通道级别的统计信息，然后通过激活函数生成通道权重。 多尺度并行大卷积核模块：具体实现包括不同尺寸的卷积核，以捕获不同尺度的雾分布区域。 增强并行注意力模块：包含简单像素注意力、通道注意力和像素注意力三种机制，通过多层感知机进行融合。 消融实验：通过消融实验验证了多尺度并行大卷积核模块和增强并行注意力模块的有效性，每个模块都能提高去雾性能。
1.8K11编辑于 2025-01-10 - 来自专栏CVer
分层多尺度注意力
多尺度推理： 使用多尺度推理是解决这种折衷的常用方法。预测在一定范围内进行，并将结果与平均或最大合并合并。使用平均值组合多个尺度通常可以改善结果，但是会遇到将最佳预测与较差预测相结合的问题。 本文方法：Hierarchical multi-scale attention 在本文工作中，提出了一种基于注意力的方法来组合多尺度预测。 这使得网络学会预测一个范围内的图像尺度的相对注意力。在进行推理时，可以分层次地应用所学习到的注意力，将N个预测尺度结合在一起，形成一个计算链。较低尺度的注意力决定了下一个较高尺度的贡献。 实验与结果分析 消融实验 为了说明本文方法的有效性，以Resnet-50为backbone，训练DeepLabV3+架构进行比较，可以发现本文方法具有更高的精度。 ? 还观察到，使用baseline的平均多尺度方法，简单地添加0.25x尺度会对精度产生不利影响，因为它会导致IOU降低0.7，而对于本文的方法，额外的0.25x尺度将提高精度0.6IOU。
3.6K20发布于 2020-05-27 - 来自专栏AIGC 先锋科技
AMMUNet | 多尺度注意力图融合在图像语义分割中的应用 !
在本文中，作者提出了AMMUNet，一个基于UNet的框架，该框架采用多尺度注意力图融合，包括两个关键创新：粒度多头自注意力（GMSA）模块和注意力图融合机制（AMMM）。 所提出的AMMM有效地使用固定 Mask 模板将多尺度注意力图融合为统一表示，实现了全局注意力机制的建模。 在这些进展的基础上，DeepLabv3[3]及其增强版本DeepLabv3+[4]采用了扩张/孔洞卷积来扩大感受野并捕捉多尺度信息。 作者工作的关键创新可以总结如下： 所提出的AMMUNet是一个利用基于CNN的ResNet编码器和解码器中新颖全局注意力机制的语义分割网络，能够合并多尺度注意力图。 作者设计了GMSA模块以在当前尺度提取注意力图，并使用AMMM合并多尺度注意力图。
1.4K10编辑于 2024-07-08 - 来自专栏音乐与健康
基于多尺度自适应跨模态注意力融合（MACAF）的三模态情感分析-体感音乐多模态治疗
基于多尺度自适应跨模态注意力融合（MACAF）的三模态情感分析1、方法简介在本设计中，首先采用了Transformer模块分别对文本、音频和图像特征进行特征编码，然后将通过文本在多个尺度上的特征对图像、 多尺度自适应注意力模块：通过多尺度语言特征指导超模态学习，确保视觉和音频信息能有效补充语言特征，提高 MSA 的鲁棒性和准确性。 交叉注意力融合模块：通过交叉注意力对模态特征进行融合，将高尺度特征作为Q向量，将经过多尺度自适应注意力模块的特征作为K和V向量。 核心公式如下:注意力机制核心公式如下：(2）多尺度自适应注意力模块将经过编码的文本模态数据进行拼接得到低尺度语言特征。然后经过两个Transformer编码层提取得到中、高尺度语言特征。 在获取不同尺度的语言特征后，通过自适应注意力机制学习模态特征表示。（3）多模态特征融合使用了交叉注意力机制来实现特征交互。
75710编辑于 2025-07-26 - 来自专栏YOLO大作战
YOLOv8YOLOv7YOLOv5注意力机制全家福，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意
本文属于原创独家改进：2023年全新注意力大派送，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意、可变形自注意力、EMA，喜迎1024，创新度十足适合科研 在各个数据集能够涨点，强烈推荐，推荐指数五颗星1.多尺度空洞注意力（MSDA） | 中科院一区顶刊 DilateFormer 2023.9本文全网首发独家改进：多尺度空洞注意力（MSDA）采用多头的设计 MSDA 能够模拟小范围内的局部和稀疏的图像块交互，这些发现源自于对 ViTs 在浅层次上全局注意力中图像块交互的分析。 DilateFormer 的关键设计概念是利用多尺度空洞注意力（Multi-Scale Dilated Attention, MSDA）来有效捕捉多尺度的语义信息，并减少自注意力机制的冗余。 3.Dual-ViT：一种多尺度双视觉Transformer ，Dualattention助力检测| 顶刊TPAMI 2023本文独家改进：DualViT：一种新的多尺度视觉Transformer主干，
2.1K10编辑于 2023-11-26 - 来自专栏深度学习和计算机视觉
NVIDIA：使用多尺度注意力进行语义分割，代码已开源！
为了进一步解决主要的错误模式，我们创新了两种方法：多尺度注意力和自动标记。 多尺度注意力 在计算机视觉模型中，通常采用多尺度推理的方法来获得最佳的结果。 在这个方法中，同时学习所有尺度的注意力。我们将其称为显式方法，如下图所示。 图3，Chen等人的显式方法是学习一套固定尺度的密集注意力mask，将它们结合起来形成最终的语义预测。 受Chen方法的启发，我们提出了一个多尺度的注意力模型，该模型也学会了预测一个密集的mask，从而将多尺度的预测结合在一起。 训练只在成对的尺度上进行，推理是灵活的，可以在任意数量的尺度上进行。 表3，层次多尺度注意力方法与Mapillary验证集上其他方法的比较。 网络结构为DeepLab V3+和ResNet-50主干。评估尺度：用于多尺度评估的尺度。FLOPS：网络用于训练的相对flops。
77630编辑于 2022-02-14 - 来自专栏全栈程序员必看
尺度空间原理_多尺度分割算法原理
为了研究图像的尺度不变特征，我们需要先从图像的尺度空间理论开始。 3. 图像尺度空间理论 当用一个机器视觉系统分析未知场景时，计算机没有办法预先知识图像中物体尺度，因此，我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。 下图为小猫图像的拉普拉斯金字塔图像： 3.3 为什么用高斯核 图像的金字塔化能高效地（计算效率也较高）对图像进行多尺度的表达，但它缺乏坚实的理论基础，不能分析图像中物体的各种尺度（虽然我们有小猫的金字塔图像 3）局部极值递性 这个特征可以从人眼的视觉原理去理解，人在看一件物体时，离得越远，物体的细节看到的越少，细节特征是在减少的。 高斯核对图像进行滤波具有压制局部细节的性质。 4）尺度伸缩不变性。 使用尺度空间进行多尺度检测可以将两幅图像中不同尺度的斑点检测出来。
90220编辑于 2022-11-04 - 来自专栏YOLO大作战
YOLO11优化：多尺度提取能力 | 多尺度注意力网络（HSAN）通过分组卷积和联合通道-空间注意力机制，增强多尺度特征表达能力，2025年8月发布
问题点：在检测不同尺寸的图像时，传统方法常因无法有效融合多尺度信息而漏检小型或远距离目标 。 加强不同尺度特征提取能力：多尺度注意力网络（HSAN）通过分组卷积和联合通道-空间注意力机制，增强多尺度特征表达能力 如何使用：替换YOLO11中的 C2PSA，降低参数量 1.YOLO11介绍 Ultralytics 在红外图像中检测不同尺寸的无人机时，传统方法常因无法有效融合多尺度信息而漏检小型或远距离目标 [46–47]。为此，我们提出了异尺度注意力网络（HSAN）。 不同于 CBAM 的顺序通道-空间注意力或 YOLOv7-tiny 的极化注意力（对所有尺度一视同仁），HSAN 的分组多尺度卷积（1×7 & 7×1–1×21 & 21×1 核）专门针对红外无人机热特征的多尺度特性 提取多尺度特征后，HSAN 通过注意力机制突出关键信息，抑制背景噪声和干扰。
79030编辑于 2025-08-26 - 来自专栏计算机视觉战队
多尺度深度特征（上）：多尺度特征学习才是目标检测精髓
在yolov3中对多尺度检测的理解是，1/32大小的特征图（深层）下采样倍数高，所以具有大的感受野，适合检测大目标的物体，1/8的特征图（较浅层）具有较小的感受野，所以适合检测小目标。 受这些观察的启发，研究者采用迁移学习模型，并在靠近网络顶部的深层设计了一个高效的多尺度特征提取单元。提取的深层特征信息直接馈送到预测层。 这些模块显著扩展了各种特征表达的能力，由此实现了基于深度特征学习的多尺度目标检测器。 今天内容暂时到这里，下一期我们将带领大家一起对新框架详细分析！ 下面我通过一小段视频展示下多尺度深度特征学习的效果，主要基于单分支的YoloV3-Tiny网络，效果如下： 小型的篮球被检测到 科比投出的篮球被检测到 观众席的观众的领带被检测到 简单训练后，
1.5K31编辑于 2023-09-20 - 来自专栏全栈程序员必看
尺度空间家具_空间尺度分析
尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态构架中，因此更容易获得图像的本质特征。尺度空间生成的目的是模拟图像数据的多尺度特征。 尺度空间理论是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取。 与通过减小图像尺寸而提高计算效率的其他多尺度或多分辨率表达相比，尺度空间表示由平滑获得，在多尺度上保持了不变的空间取样，单对同一特征而言，它在粗糙尺度上对应更多的像素点，这样就使得这些数据的计算任务得到连续的简化 尺度空间公理： 1）线性 2）平移不变性 3）半群特性 4）旋转不变性 5）尺度不变性 6）正定性 7）正规性(积分为1) 8）不会引入新的极点 9）不会增强极点 10）存在无穷小的算子 视觉多尺度分析基本思想(Multi-Scale)： 当我们用眼睛观察物体且物体和观察者之间的距离(将距离视为尺度参数)不断变化时，视网膜将感知到不断变化的图像信息，分析和综合这些不同尺度下得视觉信息以获得被观察物体的本质特征
1K30编辑于 2022-09-27 - 来自专栏计算机视觉战队
多尺度深度特征（下）：多尺度特征学习才是目标检测精髓
1 前景回顾 如果想详细知道上集我们具体说了多尺度特征的重要性及其发展，请点击下方链接，查阅相关内容： 多尺度深度特征（上）：多尺度特征学习才是目标检测精髓（干货满满，建议收藏） SSD框架 ASPP MDFN通过集成多边界框、多尺度和多层次技术提供多尺度目标检测器。 然后进行3×3、5×5和7×7过滤以激活特征图上的各种感受野，从而在相应的输入图像上捕获不同范围的场景。 研究者在实践中仅使用1×1和3×3滤波器实现多尺度滤波，以尽量减少参数数量。 这个过程是多尺度方案的第二个特性。 研究者使用多尺度过滤器来激活各种大小的感受野，以增强语义和上下文信息的提取。要注意的另一个方面是要素图的大小。 因此，由于其输入特征图的分辨率比在较早的层中产生的分辨率小得多，因此在网络深处接受的多尺度滤波器将具有较少的计算负担。这抵消了滤波操作增加带来的计算负担。这是拟议的多尺度方案的第三个特性。
71820编辑于 2022-01-26 - 来自专栏arXiv每日学术速递
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
本文提出了一种新的高效多尺度注意力（EMA）模块。 2、高效的多尺度注意力机制 在本节中首先重新访问坐标注意力块，其中位置信息被嵌入到通道注意力图中，用于混合跨通道和空间信息。 2.2、多尺度注意力（EMA）模块 并行子结构有助于网络避免更多的顺序处理和大深度。给定上面定义的并行处理策略，在EMA模块中采用它。 EMA的总体结构如图3（b）所示。 为了聚合多尺度空间结构信息，为了快速响应，将3x3与1x1分支并行放置，将其命名为3x3分支。考虑到特征分组和多尺度结构，有效地建立短期和长期依赖关系有利于获得更好的性能。 在不失一般性的情况下设G<<c 2、并行子网络 神经元的大的局部感受野使神经元能够收集多尺度的空间信息。因此，EMA认为利用3条平行路线来提取分组特征图的注意力权重描述符。
6.2K30编辑于 2023-08-26 - 来自专栏全栈程序员必看
空间尺度分析_特征尺度的选取原则
特征点尺度变换 高斯核是唯一可以产生多尺度空间的核，高斯模板具有圆对称性，通过高斯卷积操作对原始像素值重新分配权重，距离中心越远的相邻像素值权重分配相对较小。 尺度是自然客观存在的，不是主观创造的，高斯卷积只是表现尺度空间的一种形式。 ScaleSpace[0][0], ScaleSpace[0][0], ksize, 1.0); // 图像遍历 for (int i = 0; i < 4; i++)//四层向下采样金字塔[0,1,2,3] GaussianBlur(ScaleSpace[i][j], ScaleSpace[i][j+1], ksize, sigma);//根据不同的平滑因子进行平滑，做差生成特征点 // 多尺度空间生成 size:"<< // ScaleSpace[i][j].rows<<"x"<<ScaleSpace[i][j].cols<<endl; } // 如果不能完成，继续进行金字塔操作 if (i < 3)
41530编辑于 2022-11-04 - 来自专栏从百草园到三味书屋
MultiBench多模态表征学习的多尺度基准
开发工具包MultiZoo 可以用于workshop、教学等 多尺度多模态基准 第一版集中在多模态融合，对于多模态翻译等问题未来版本可能涉及 数据集 介绍了6大领域15个数据集，表1 情感计算（affective 多模态张量: 多模态互补 Tensor Fusion Low-rank Tensor Fusion 多模态乘法交互: 多模态交互 MI-MATRIX MI-VECTOR MI-SCALAR 多模态门控 NL GATE: 自注意力机制 时序注意力模型 MULT: 多模态Transformer 网络架构搜索 MFAS 优化目标 除了标准的监督损失函数，纳入一些新提出的目标函数 CCA REFNET MFM 后期融合表现比较均衡 有些融合方法是专门为2模态设计，有些在2/3模态表现不好 单模态与多模态的权衡 性能与复杂度的权衡 性能与鲁棒性的权衡 结论 一个大规模的基准，统一了以前在多模态研究中互不相干的工作 未来拓展 其他的多模态问题 新的评价指标 多模态迁移学习或者协同学习 多模态多任务学习 思考 MultiBench把以前多模态研究中使用的公开数据集，算法，评价指标等都统一在了一个框架下，期望标准化多模态学习过程
96330编辑于 2023-03-09 - 来自专栏YOLO大作战
YOLOv12优化：注意力魔改 | 新颖的多尺度卷积注意力（MSCA），即插即用，助力小目标检测
本文改进：多尺度卷积注意力（MSCA），有效地提取上下文信息，新颖度高，创新十足。 【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【小目标性能提升】【前沿论文分享】【训练实战篇】订阅者提供本文windows下编译好的YOLOv12 适用场景：红外、小目标检测、工业缺陷检测、医学影像、遥感目标检测、低对比度场景适用任务：所有改进点适用【检测】、【分割】、【pose】、【分类】等全网独家首发创新，【自研多个自研模块】，【多创新点组合适合 ，从而获得更好的性能，减少堆叠块的深度以促进优化，以及尽可能多地利用卷积操作来发挥其计算效率。 设计了一种新的多尺度卷积注意（MSCA）模块。如图2 (a)所示，MSCA包含三个部分：深度卷积聚合局部信息，多分支深度条卷积捕获多尺度上下文，以及1×1卷积建模不同通道之间的关系。
2.3K10编辑于 2025-03-10 - 来自专栏生信修炼手册
MDS多维尺度分析
同一性 3. 对称性 4. 值低性 非负性指的是两个样本间的距离要大于等于零，公式如下 ? 同一性表示样本和自身的距离为0，公式如下 ? 对称性指的是两个样本相互之间的距离相等，公式如下 ? 值递性指的是对于3个样本构成的三角形，任意一条边都小于等于另外两条边之和，公式如下 ? 符合以上4个特性的指标才可以称之为距离，比如欧式距离就符合上述定义。 计算内积矩阵B 3. 对矩阵B进行特征值分解，获得特征值矩阵和特征向量矩阵 4.
2K30发布于 2021-04-14 - 来自专栏计算机视觉战队
多尺度深度特征（下）：多尺度特征学习才是目标检测精髓（论文免费下载）
，查阅相关内容： 多尺度深度特征（上）：多尺度特征学习才是目标检测精髓（干货满满，建议收藏） SSD框架 ASPP网络 Cascaded 我们“计算机视觉研究院”还分享了更多与目标检测相关的干货及实践内容 MDFN通过集成多边界框、多尺度和多层次技术提供多尺度目标检测器。 然后进行3×3、5×5和7×7过滤以激活特征图上的各种感受野，从而在相应的输入图像上捕获不同范围的场景。 研究者在实践中仅使用1×1和3×3滤波器实现多尺度滤波，以尽量减少参数数量。 这个过程是多尺度方案的第二个特性。 研究者使用多尺度过滤器来激活各种大小的感受野，以增强语义和上下文信息的提取。要注意的另一个方面是要素图的大小。 因此，由于其输入特征图的分辨率比在较早的层中产生的分辨率小得多，因此在网络深处接受的多尺度滤波器将具有较少的计算负担。这抵消了滤波操作增加带来的计算负担。这是拟议的多尺度方案的第三个特性。
1K50编辑于 2022-04-18 - 来自专栏计算机视觉战队
多尺度深度特征（上）：多尺度特征学习才是目标检测精髓（干货满满，建议收藏）
在yolov3中对多尺度检测的理解是，1/32大小的特征图（深层）下采样倍数高，所以具有大的感受野，适合检测大目标的物体，1/8的特征图（较浅层）具有较小的感受野，所以适合检测小目标。 受这些观察的启发，研究者采用迁移学习模型，并在靠近网络顶部的深层设计了一个高效的多尺度特征提取单元。提取的深层特征信息直接馈送到预测层。 这些模块显著扩展了各种特征表达的能力，由此实现了基于深度特征学习的多尺度目标检测器。 今天内容暂时到这里，下一期我们将带领大家一起对新框架详细分析！ 下面我通过一小段视频展示下多尺度深度特征学习的效果，主要基于单分支的YoloV3-Tiny网络，效果如下： 小型的篮球被检测到 科比投出的篮球被检测到 观众席的观众的领带被检测到 简单训练后，不同尺寸都是可以检测到
1K10编辑于 2024-12-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号