- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能生信
基于信息分流的多尺度自注意力机制
这种约束不可避免地限制了每个自注意力层捕获多尺度特征的能力，从而导致在处理具有不同尺度的多个对象的图像时性能下降。 为了解决这个问题，作者提出了一种新颖的通用策略，称为分流自我注意 (SSA)，它允许 ViT 在每个注意层的混合尺度上对注意进行建模。 SSA 的关键思想是将异构感受野大小注入到token中：在计算自注意力矩阵之前，它选择性地合并token以表示更大的对象特征，同时保留某些token以保留细粒度的特征。
64420编辑于 2022-12-29 - 来自专栏YOLO大作战
YOLOv8独家原创改进：创新自研CPMS注意力，多尺度通道注意力具+多尺度深度可分离卷积空间注意力，全面升级CBAM
本文自研创新改进：自研CPMS,多尺度通道注意力具+多尺度深度可分离卷积空间注意力,全面升级CBAM 1）作为注意力CPMS使用；推荐指数：五星CPMS | 亲测在多个数据集能够实现涨点，对标CBAM 在道路缺陷检测任务中，原始map为0.8，cbam为0.822 ，CPMS 为 0.8741.计算机视觉中的注意力机制一般来说，注意力机制通常被分为以下基本四大类：通道注意力 Channel Attention 空间注意力机制 Spatial Attention时间注意力机制 Temporal Attention分支注意力机制 Branch Attention2.CBAM：通道注意力和空间注意力的集成者轻量级的卷积注意力模块 3.自研CPMS多尺度通道注意力具+多尺度深度可分离卷积空间注意力 3.1 yolov8_CPMS.yaml# Ultralytics YOLO , AGPL-3.0 license# YOLOv8 下图可见，缺陷存在各个尺度的特征，验证多尺度创新点是十分合适的原始v8n性能YOLOv8 summary (fused): 168 layers, 3005843 parameters, 0 gradients
1.6K20编辑于 2023-12-06 - 来自专栏AI智韵
【Block总结】多尺度并行大卷积核和并行注意力
二、创新点 多尺度并行大卷积核模块：采用多尺度并行大卷积核，能够同时捕获大范围的雾区域并恢复纹理细节。 优势与创新点 多尺度特征提取： 通过并行的多尺度卷积核，MSPLCK 模块能够同时捕获局部细节和全局上下文信息。 适用于处理具有多尺度特征的复杂场景（如图像去雾、目标检测等）。 通道注意力： 作用：分析特征图的通道维度，判断哪些通道包含更重要的信息。 实现方式：通常通过全局池化（如全局平均池化或全局最大池化）提取通道级别的统计信息，然后通过激活函数生成通道权重。 多尺度并行大卷积核模块：具体实现包括不同尺寸的卷积核，以捕获不同尺度的雾分布区域。 增强并行注意力模块：包含简单像素注意力、通道注意力和像素注意力三种机制，通过多层感知机进行融合。 消融实验：通过消融实验验证了多尺度并行大卷积核模块和增强并行注意力模块的有效性，每个模块都能提高去雾性能。
1.7K11编辑于 2025-01-10 - 来自专栏CVer
分层多尺度注意力
多尺度推理： 使用多尺度推理是解决这种折衷的常用方法。预测在一定范围内进行，并将结果与平均或最大合并合并。使用平均值组合多个尺度通常可以改善结果，但是会遇到将最佳预测与较差预测相结合的问题。 本文方法：Hierarchical multi-scale attention 在本文工作中，提出了一种基于注意力的方法来组合多尺度预测。 这使得网络学会预测一个范围内的图像尺度的相对注意力。在进行推理时，可以分层次地应用所学习到的注意力，将N个预测尺度结合在一起，形成一个计算链。较低尺度的注意力决定了下一个较高尺度的贡献。 实验与结果分析 消融实验 为了说明本文方法的有效性，以Resnet-50为backbone，训练DeepLabV3+架构进行比较，可以发现本文方法具有更高的精度。 ? 还观察到，使用baseline的平均多尺度方法，简单地添加0.25x尺度会对精度产生不利影响，因为它会导致IOU降低0.7，而对于本文的方法，额外的0.25x尺度将提高精度0.6IOU。
3.6K20发布于 2020-05-27 - 来自专栏AIGC 先锋科技
AMMUNet | 多尺度注意力图融合在图像语义分割中的应用 !
在本文中，作者提出了AMMUNet，一个基于UNet的框架，该框架采用多尺度注意力图融合，包括两个关键创新：粒度多头自注意力（GMSA）模块和注意力图融合机制（AMMM）。 所提出的AMMM有效地使用固定 Mask 模板将多尺度注意力图融合为统一表示，实现了全局注意力机制的建模。 为了充分发挥基于Transformer的架构在远程感知图像分割中的潜力，作者引入了AMMUNet，这是一个基于U-Net的框架，它使用ResNet编码器提取多尺度特征，并在解码器中采用创新性注意力机制。 作者工作的关键创新可以总结如下： 所提出的AMMUNet是一个利用基于CNN的ResNet编码器和解码器中新颖全局注意力机制的语义分割网络，能够合并多尺度注意力图。 作者设计了GMSA模块以在当前尺度提取注意力图，并使用AMMM合并多尺度注意力图。
1.3K10编辑于 2024-07-08 - 来自专栏音乐与健康
基于多尺度自适应跨模态注意力融合（MACAF）的三模态情感分析-体感音乐多模态治疗
基于多尺度自适应跨模态注意力融合（MACAF）的三模态情感分析1、方法简介在本设计中，首先采用了Transformer模块分别对文本、音频和图像特征进行特征编码，然后将通过文本在多个尺度上的特征对图像、 多尺度自适应注意力模块：通过多尺度语言特征指导超模态学习，确保视觉和音频信息能有效补充语言特征，提高 MSA 的鲁棒性和准确性。 交叉注意力融合模块：通过交叉注意力对模态特征进行融合，将高尺度特征作为Q向量，将经过多尺度自适应注意力模块的特征作为K和V向量。 核心公式如下:注意力机制核心公式如下：(2）多尺度自适应注意力模块将经过编码的文本模态数据进行拼接得到低尺度语言特征。然后经过两个Transformer编码层提取得到中、高尺度语言特征。 在获取不同尺度的语言特征后，通过自适应注意力机制学习模态特征表示。（3）多模态特征融合使用了交叉注意力机制来实现特征交互。
66710编辑于 2025-07-26 - 来自专栏YOLO大作战
YOLOv8YOLOv7YOLOv5注意力机制全家福，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意
本文属于原创独家改进：2023年全新注意力大派送，内涵多尺度空洞注意力、大型分离卷积、多尺度双视觉、可变形大核注意力、通道优先卷积注意力、多维协作注意、可变形自注意力、EMA，喜迎1024，创新度十足适合科研 在各个数据集能够涨点，强烈推荐，推荐指数五颗星1.多尺度空洞注意力（MSDA） | 中科院一区顶刊 DilateFormer 2023.9本文全网首发独家改进：多尺度空洞注意力（MSDA）采用多头的设计 MSDA 能够模拟小范围内的局部和稀疏的图像块交互，这些发现源自于对 ViTs 在浅层次上全局注意力中图像块交互的分析。 DilateFormer 的关键设计概念是利用多尺度空洞注意力（Multi-Scale Dilated Attention, MSDA）来有效捕捉多尺度的语义信息，并减少自注意力机制的冗余。 总体来说，DilateFormer 通过这种混合使用多尺度空洞注意力和多头自注意力的方式，成功地处理了长距离依赖问题，同时保持了计算效率，并能够适应不同尺度和分辨率的输入。
2K10编辑于 2023-11-26 - 来自专栏深度学习和计算机视觉
NVIDIA：使用多尺度注意力进行语义分割，代码已开源！
为了进一步解决主要的错误模式，我们创新了两种方法：多尺度注意力和自动标记。 多尺度注意力 在计算机视觉模型中，通常采用多尺度推理的方法来获得最佳的结果。 受Chen方法的启发，我们提出了一个多尺度的注意力模型，该模型也学会了预测一个密集的mask，从而将多尺度的预测结合在一起。 但是在这个方法中，我们学习了一个相对的注意力mask，用于在一个尺度和下一个更高的尺度之间进行注意力，如图4所示。我们将其称为层次方法。 图4，我们的分层多尺度注意力方法。 训练只在成对的尺度上进行，推理是灵活的，可以在任意数量的尺度上进行。 表3，层次多尺度注意力方法与Mapillary验证集上其他方法的比较。 给定像素在所有尺度上的注意力值总和为1.0。左：道路边的细邮箱在2倍的尺度下得到最好的分辨率，注意力成功地关注了这个尺度而不是其他尺度，这可以从2倍注意力图像中邮箱的白色中得到证明。
74430编辑于 2022-02-14 - 来自专栏全栈程序员必看
尺度空间原理_多尺度分割算法原理
图像尺度空间理论 当用一个机器视觉系统分析未知场景时，计算机没有办法预先知识图像中物体尺度，因此，我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。 下图为小猫图像的拉普拉斯金字塔图像： 3.3 为什么用高斯核 图像的金字塔化能高效地（计算效率也较高）对图像进行多尺度的表达，但它缺乏坚实的理论基础，不能分析图像中物体的各种尺度（虽然我们有小猫的金字塔图像 3.4 尺度的选择[经验之谈] 一般我们采集到的图像中，我们并不知道我们感兴趣的目标在图像中的尺度，在这样的情况下，我们对图像进行分析时就无法选择合适的参数，比如边缘检测，可能由于参数不当，而造成过多的局部细节 使用尺度空间进行多尺度检测可以将两幅图像中不同尺度的斑点检测出来。 需要注意的是，图像结构往往是在粗糙的尺度上被检测到，此时位置信息未必是最准确的，因此通常图像的尺度分析包含两个阶段：首先在粗尺度上进行特征（结构）检测，然后再在细尺度上进行精确定位。
86920编辑于 2022-11-04 - 来自专栏YOLO大作战
YOLO11优化：多尺度提取能力 | 多尺度注意力网络（HSAN）通过分组卷积和联合通道-空间注意力机制，增强多尺度特征表达能力，2025年8月发布
问题点：在检测不同尺寸的图像时，传统方法常因无法有效融合多尺度信息而漏检小型或远距离目标 。 加强不同尺度特征提取能力：多尺度注意力网络（HSAN）通过分组卷积和联合通道-空间注意力机制，增强多尺度特征表达能力 如何使用：替换YOLO11中的 C2PSA，降低参数量 1.YOLO11介绍 Ultralytics 在红外图像中检测不同尺寸的无人机时，传统方法常因无法有效融合多尺度信息而漏检小型或远距离目标 [46–47]。为此，我们提出了异尺度注意力网络（HSAN）。 不同于 CBAM 的顺序通道-空间注意力或 YOLOv7-tiny 的极化注意力（对所有尺度一视同仁），HSAN 的分组多尺度卷积（1×7 & 7×1–1×21 & 21×1 核）专门针对红外无人机热特征的多尺度特性 提取多尺度特征后，HSAN 通过注意力机制突出关键信息，抑制背景噪声和干扰。
68030编辑于 2025-08-26 - 来自专栏计算机视觉战队
多尺度深度特征（上）：多尺度特征学习才是目标检测精髓
如上图所示，深度特征图上的多尺度感受野将激活对象的语义和上下文信息。红色、黄色、蓝色和绿色分量代表四种尺寸的过滤器，分别对应不同的对象表达。 受这些观察的启发，研究者采用迁移学习模型，并在靠近网络顶部的深层设计了一个高效的多尺度特征提取单元。提取的深层特征信息直接馈送到预测层。 这些模块显著扩展了各种特征表达的能力，由此实现了基于深度特征学习的多尺度目标检测器。 另一方面，基于小物体检测依赖于较早层产生的细节信息的论点，许多方法从不同的浅层中提取多尺度信息。虽然实验表明语义特征和目标的上下文也有助于小目标检测以及遮挡检测。 今天内容暂时到这里，下一期我们将带领大家一起对新框架详细分析！
1.4K31编辑于 2023-09-20 - 来自专栏全栈程序员必看
尺度空间家具_空间尺度分析
尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态构架中，因此更容易获得图像的本质特征。尺度空间生成的目的是模拟图像数据的多尺度特征。 尺度空间理论是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取。 与通过减小图像尺寸而提高计算效率的其他多尺度或多分辨率表达相比，尺度空间表示由平滑获得，在多尺度上保持了不变的空间取样，单对同一特征而言，它在粗糙尺度上对应更多的像素点，这样就使得这些数据的计算任务得到连续的简化 （可微性） 尺度空间的视觉不变性解释如下：当我们用眼睛观察物体时，一方面当物体所处背景的光照条件变化时，视网膜感知图像的亮度水平和对比度是不同的，因此要求尺度空间算子对图像的分析不受图像的灰度水平和对比度变化的影响 视觉多尺度分析基本思想(Multi-Scale)： 当我们用眼睛观察物体且物体和观察者之间的距离(将距离视为尺度参数)不断变化时，视网膜将感知到不断变化的图像信息，分析和综合这些不同尺度下得视觉信息以获得被观察物体的本质特征
1K30编辑于 2022-09-27 - 来自专栏计算机视觉战队
多尺度深度特征（下）：多尺度特征学习才是目标检测精髓
它通过构建多尺度深度特征学习网络 (MDFN) 不仅考虑单个对象和局部上下文，还考虑它们之间的关系。 1 前景回顾 如果想详细知道上集我们具体说了多尺度特征的重要性及其发展，请点击下方链接，查阅相关内容： 多尺度深度特征（上）：多尺度特征学习才是目标检测精髓（干货满满，建议收藏） SSD框架 ASPP MDFN通过集成多边界框、多尺度和多层次技术提供多尺度目标检测器。 这个过程是多尺度方案的第二个特性。 研究者使用多尺度过滤器来激活各种大小的感受野，以增强语义和上下文信息的提取。要注意的另一个方面是要素图的大小。 因此，由于其输入特征图的分辨率比在较早的层中产生的分辨率小得多，因此在网络深处接受的多尺度滤波器将具有较少的计算负担。这抵消了滤波操作增加带来的计算负担。这是拟议的多尺度方案的第三个特性。
70520编辑于 2022-01-26 - 来自专栏arXiv每日学术速递
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
本文提出了一种新的高效多尺度注意力（EMA）模块。 从上述注意力机制中可以看出，跨维度的相互作用有助于通道或空间注意力预测。基于分组结构，作者修改了CA的顺序处理方法，提出了一种新的不降维的高效多尺度注意力（EMA）。 2、高效的多尺度注意力机制 在本节中首先重新访问坐标注意力块，其中位置信息被嵌入到通道注意力图中，用于混合跨通道和空间信息。 2.2、多尺度注意力（EMA）模块 并行子结构有助于网络避免更多的顺序处理和大深度。给定上面定义的并行处理策略，在EMA模块中采用它。 EMA的总体结构如图3（b）所示。 为了聚合多尺度空间结构信息，为了快速响应，将3x3与1x1分支并行放置，将其命名为3x3分支。考虑到特征分组和多尺度结构，有效地建立短期和长期依赖关系有利于获得更好的性能。
6K30编辑于 2023-08-26 - 来自专栏全栈程序员必看
空间尺度分析_特征尺度的选取原则
特征点尺度变换 高斯核是唯一可以产生多尺度空间的核，高斯模板具有圆对称性，通过高斯卷积操作对原始像素值重新分配权重，距离中心越远的相邻像素值权重分配相对较小。 尺度是自然客观存在的，不是主观创造的，高斯卷积只是表现尺度空间的一种形式。 = 1.4142135; for (int j = 0; j < 5+2; j++) { sigma = sigma * pow(2.0,j/2.0) ;//pow:2^(j/2) // 对下一尺度进行进行高斯操作 GaussianBlur(ScaleSpace[i][j], ScaleSpace[i][j+1], ksize, sigma);//根据不同的平滑因子进行平滑，做差生成特征点 // 多尺度空间生成
40730编辑于 2022-11-04 - 来自专栏从百草园到三味书屋
MultiBench多模态表征学习的多尺度基准
开发工具包MultiZoo 可以用于workshop、教学等 多尺度多模态基准 第一版集中在多模态融合，对于多模态翻译等问题未来版本可能涉及 数据集 介绍了6大领域15个数据集，表1 情感计算（affective 多模态张量: 多模态互补 Tensor Fusion Low-rank Tensor Fusion 多模态乘法交互: 多模态交互 MI-MATRIX MI-VECTOR MI-SCALAR 多模态门控 NL GATE: 自注意力机制 时序注意力模型 MULT: 多模态Transformer 网络架构搜索 MFAS 优化目标 除了标准的监督损失函数，纳入一些新提出的目标函数 CCA REFNET MFM 后期融合表现比较均衡 有些融合方法是专门为2模态设计，有些在2/3模态表现不好 单模态与多模态的权衡 性能与复杂度的权衡 性能与鲁棒性的权衡 结论 一个大规模的基准，统一了以前在多模态研究中互不相干的工作 未来拓展 其他的多模态问题 新的评价指标 多模态迁移学习或者协同学习 多模态多任务学习 思考 MultiBench把以前多模态研究中使用的公开数据集，算法，评价指标等都统一在了一个框架下，期望标准化多模态学习过程
94330编辑于 2023-03-09 - 来自专栏YOLO大作战
YOLOv12优化：注意力魔改 | 新颖的多尺度卷积注意力（MSCA），即插即用，助力小目标检测
本文改进：多尺度卷积注意力（MSCA），有效地提取上下文信息，新颖度高，创新十足。 】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【小目标性能提升】【前沿论文分享】【训练实战篇】订阅者提供本文windows下编译好的YOLOv12环境定期向订阅者提供源码工程 适用场景：红外、小目标检测、工业缺陷检测、医学影像、遥感目标检测、低对比度场景适用任务：所有改进点适用【检测】、【分割】、【pose】、【分类】等全网独家首发创新，【自研多个自研模块】，【多创新点组合适合 ，从而获得更好的性能，减少堆叠块的深度以促进优化，以及尽可能多地利用卷积操作来发挥其计算效率。 设计了一种新的多尺度卷积注意（MSCA）模块。如图2 (a)所示，MSCA包含三个部分：深度卷积聚合局部信息，多分支深度条卷积捕获多尺度上下文，以及1×1卷积建模不同通道之间的关系。
2.1K10编辑于 2025-03-10 - 来自专栏生信修炼手册
MDS多维尺度分析
MDS是一种常用的降维算法，其基本思想是保证高维空间映射到低维空间之后，样本间的相对距离基本不变。
1.9K30发布于 2021-04-14 - 来自专栏计算机视觉战队
多尺度深度特征（下）：多尺度特征学习才是目标检测精髓（论文免费下载）
，查阅相关内容： 多尺度深度特征（上）：多尺度特征学习才是目标检测精髓（干货满满，建议收藏） SSD框架 ASPP网络 Cascaded 我们“计算机视觉研究院”还分享了更多与目标检测相关的干货及实践内容 MDFN通过集成多边界框、多尺度和多层次技术提供多尺度目标检测器。 这个过程是多尺度方案的第二个特性。 研究者使用多尺度过滤器来激活各种大小的感受野，以增强语义和上下文信息的提取。要注意的另一个方面是要素图的大小。 因此，由于其输入特征图的分辨率比在较早的层中产生的分辨率小得多，因此在网络深处接受的多尺度滤波器将具有较少的计算负担。这抵消了滤波操作增加带来的计算负担。这是拟议的多尺度方案的第三个特性。 扫码关注 计算机视觉研究院 公众号ID｜ComputerVisionGzq 学习群｜扫码在主页获取加入方式 源代码｜关注回复“最佳检测”获取 往期推荐 多尺度深度特征（上）：多尺度特征学习才是目标检测精髓
1K50编辑于 2022-04-18 - 来自专栏计算机视觉战队
多尺度深度特征（上）：多尺度特征学习才是目标检测精髓（干货满满，建议收藏）
如上图所示，深度特征图上的多尺度感受野将激活对象的语义和上下文信息。红色、黄色、蓝色和绿色分量代表四种尺寸的过滤器，分别对应不同的对象表达。 受这些观察的启发，研究者采用迁移学习模型，并在靠近网络顶部的深层设计了一个高效的多尺度特征提取单元。提取的深层特征信息直接馈送到预测层。 这些模块显著扩展了各种特征表达的能力，由此实现了基于深度特征学习的多尺度目标检测器。 另一方面，基于小物体检测依赖于较早层产生的细节信息的论点，许多方法从不同的浅层中提取多尺度信息。虽然实验表明语义特征和目标的上下文也有助于小目标检测以及遮挡检测。 今天内容暂时到这里，下一期我们将带领大家一起对新框架详细分析！
95310编辑于 2024-12-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号