- 综合排序
- 最热优先
- 最新优先
- 来自专栏活动
注意力机制革命：Transformer在DeepSeek中的创新应用
项目背景与技术演进在人工智能快速发展的当下，深度学习技术不断突破传统方法的限制，为众多领域带来了革命性的变化。 1.1 序列建模的范式转移DeepSeek作为中国领先的通用人工智能平台，其技术演进历程反映了注意力机制的革命性突破：（一）早期序列模型在Transformer出现之前，循环神经网络（RNN）及其变体（ 它通过多个注意力头并行计算，每个注意力头独立地对输入序列中的元素进行加权求和，从而能够捕捉到不同类型的依赖关系。最终，将多个注意力头的输出进行拼接和线性变换，得到更丰富的特征表示。 tensor_parallel.gather_from_tensor_model_parallel_region(local_attn)扩展性测试： GPU数量吞吐量(tokens/sec)加速比1 1,520 1x 4 5,830 结论注意力机制的引入和Transformer架构的提出，为深度学习领域带来了革命性的变化。
60300编辑于 2025-03-14 - 来自专栏LB说IOT
5G和物联网革命
现在，我们欢迎5G 第五代无线技术（5G）有望在连接性和应用程序中提供新的体验和服务。5G的确切规格已定稿，并被解释为移动蜂窝技术的演进和网络节点，架构，服务和用例的颠覆性变化带来的革命。 许多国家仍在等待监管机构为部署5G开绿灯，但许多运营商在5G上花费了大量时间，首先，5G将更多地是一种进化，而不是一场革命。 当着眼于5G的价值时，它如何支撑信任和安全性，它将如何支持人们提高生产力，提供集成的公共服务，从而为人们提供更好的服务。生活质量，以及改善医疗保健–这些是应该讲的价值观。 5G革命已经开始。 5G确实将所有这些结合在一起。为了实现我们期望在未来十年中看到的某些成果，物联网和5G相互需要。 5G给物联网带来了一系列好处，而这是4G或其他技术无法提供的。 随着2020年5G部署的持续进行，预测到2023年将有10亿的5G客户。
34210编辑于 2022-04-12 - 来自专栏YOLO大作战
YOLOv5改进---注意力机制：DoubleAttention注意力，SENet进阶版本
摘要：DoubleAttention注意力助力YOLOv5，即插即用，性能优于SENet1. 该网络结构采用双重注意力机制，包括Spatial Attention和Channel Attention。 本文的主要创新点是提出了一个新的注意力机制，你可以看做SE的进化版本，在各CV任务测试性能如下 1.1 加入 common.py中###################### DoubleAttention # YOLOv5 by Ultralytics, GPL-3.0 license# Parametersnc: 1 # number of classesdepth_multiple: 0.33 , SPPF, [1024, 5]], # 9 ]# YOLOv5 v6.0 headhead: [[-1, 1, Conv, [512, 1, 1]], [-1, 1, nn.Upsample
89610编辑于 2023-11-30 - 来自专栏YOLO大作战
YOLOv5改进---注意力机制：SKAttention注意力，SENet进阶版本
摘要：SKAttention注意力助力YOLOv5，即插即用，性能优于SENet1. Split就是一个multi-branch的操作，用不同的卷积核进行卷积得到不同的特征；Fuse部分就是用SE的结构获取通道注意力的矩阵(N个卷积核就可以得到N个注意力矩阵，这步操作对所有的特征参数共享 # YOLOv5 by Ultralytics, GPL-3.0 license# Parametersnc: 1 # number of classesdepth_multiple: 0.33 32# YOLOv5 v6.0 backbonebackbone: # [from, number, module, args] [[-1, 1, Conv, [64, 6, 2, 2]], # , SPPF, [1024, 5]], # 9 ]# YOLOv5 v6.0 headhead: [[-1, 1, Conv, [512, 1, 1]], [-1, 1, nn.Upsample
1.4K10编辑于 2023-11-30 - 来自专栏Java面试教程
AI革命-GPT 5 新特性抢先体验
GPT 5 来了 8月初 万众瞩目的 GPT 5 终于发布了 开局即王炸 大家可以免费体验 OpenAI 上一次旗舰版发行还是2023年 按这次官方的描述 他是迄今为止“最智能、最快、也最有用”的系统 在性能和准确度方面 我们用了一年多的AI对话 其中最为诟病的问题有两个 一个是慢，看着字一颗颗的蹦出来 心急的人真的等不了 还有就是人工智障 经常会一本正经的胡说八道 最出名的就是打骷髅怪掉煤矿的例子 新版 GPT 5 代码生成首次运行成功率94% 不知前吹嘘编程能替代程序员的说法是多么的荒谬 每个人都遇到过那种问题 AI觉得这个程序能跑 我们就是跑不起来 更不要提什么版本冲突 还有AI会望文生义的胡编API 按照官方说法 GPT-5 并且号称在罕见病筛查方面 准确率98.7% 超越人类医生 价格 GPT 5 提供了多个版本 作为普通实用者 可以实用其免费版 缺点是有流量限制，并且是单核的 而付费用户可以拥有更大的流量额度 并且能体验到
15310编辑于 2025-11-12 - 来自专栏注意力革命
注意力革命：大模型时代的生产关系重构与价值创造机制
与此同时，大模型技术本身却又在加速消耗注意力资源——从构建任务提示词需要注意力，执行过程监督需要注意力，到执行结果审核同样需要注意力，形成了一个完整的注意力劳动链条。 深入分析人类注意力与机器注意力的对立统一规律，是优化未来生产关系的理论基础。3.1人类注意力与机器注意力的本质差异从生成机制看，人类注意力具有生物性和社会性双重特征。 5基于辩证法范式的注意力管理方法论基于前述辩证分析，我们可构建一套系统的注意力管理方法论，用于指导大模型时代注意力资源的优化配置。 以研究开发为例，初期需要发散注意力广泛搜集信息，中期需要集中注意力深度攻关，后期又需要发散注意力验证应用。稀疏注意力技术中的分块注意力、局部注意力等机制，为这种动态调节提供了技术实现路径。 未来，随着大模型技术不断演进，注意力劳动将呈现三大趋势：一是注意力货币化程度加深，注意力资源的度量、交易和定价机制将更加完善；二是人机注意力融合加速，脑机接口等新技术可能实现生物注意力与机器注意力的直接交互
19610编辑于 2026-01-14 JUnit 5：Java测试框架的革命性升级
而JUnit 5的发布，更是给整个测试领域带来了翻天覆地的变化。今天我们就来深入聊聊JUnit 5，看看它究竟有什么魅力，能让这么多开发者为之疯狂。 JUnit 5到底是什么JUnit 5不仅仅是JUnit 4的简单升级版本，它更像是一个全新的测试平台。整个架构被重新设计，采用了更加现代化的理念和技术栈。 最让人眼前一亮的是，JUnit 5完全拥抱了Java 8及以后版本的特性！！！Lambda表达式、Stream API、Optional类型，这些现代Java特性在JUnit 5中得到了充分的应用。 参数化测试的革命这个功能简直太棒了！！！ 动态测试的魅力JUnit 5还引入了动态测试的概念。
28710编辑于 2025-09-26- 来自专栏AI大模型应用开发炼丹房
2025 Transformer技术全景：位置编码到三线性注意力的革命性突破
：编码器处理全局信息（如BERT），解码器生成序列（如GPT）位置编码革新：正弦函数（原始）→ 旋转位置编码（RoPE）→ 三线性体积编码（2025 Meta）二、Token的概率本质：语言理解的范式革命 input_ids"])logits = outputs.logits[0, -1] # 最后一个位置的logitsprobs = torch.softmax(logits, dim=-1)# 输出最可能的前5个 tokentop_tokens = torch.topk(probs, 5)for token_id, prob in zip(top_tokens.indices, top_tokens.values ：Transformer的心脏4.1 数学本质标准注意力：2025三线性注意力（Meta创新）：其中 $\odot$ 表示Hadamard积，$K'$为第二键矩阵4.2 多头注意力代码实现import 12.8% 注：所有代码已在PyTorch 2.3 + CUDA 12.3环境验证，建议搭配NVIDIA A10G以上显卡运行高阶注意力实验。
83710编辑于 2025-07-15 - 来自专栏YOLO大作战
YoloV5YoloV7改进---注意力机制:引入瓶颈注意力模块BAM，对标CBAM
1.BAM介绍 论文：https://arxiv.org/pdf/1807.06514.pdf 摘要：提出了一种简单有效的注意力模块，称为瓶颈注意力模块（BAM），可以与任何前馈卷积神经网络集成 我们的模块沿着两条独立的路径，通道和空间，推断出一张注意力图。我们将我们的模块放置在模型的每个瓶颈处，在那里会发生特征图的下采样。 我们的模块用许多参数在瓶颈处构建了分层注意力，并且它可以以端到端的方式与任何前馈模型联合训练。 有趣的是，通过可视化我们可以看到多层BAMs形成了一个分层的注意力机制，这有点像人类的感知机制。
97610编辑于 2023-11-30 - 来自专栏贾志刚-OpenCV学堂
用注意力机制魔改YOLOv5涨点
视觉注意力机制的各种模块是个好东西，即插即用，可以添加到主流的对象检测、实例分割等模型的backbone与neck中，实现轻松涨点，本文使用OID数据集的2000多张数据，基于YOLOv5s基础上实现五种视觉注意力模块的改进 YOLOv5添加注意模块魔改 视觉注意力机制是一个好东西，即插即用，YOLOv5 7.0版本工程代码简洁明了，代码加入视觉注意力模块支持异常方便，以SE注意力为例，只要三步即可完成： 1. 修改模型解析代码文件yolo.py，注册新添加的SENet模块解析支持 这样就完成了YOLOv5+SE注意力模块的支持，别急，我还修改了ECA、CA、GAM、CBAM，显示如下： 然后统统训练100轮次 从效果看，基本都可以涨点了… 对比验证结果 100 轮次OID数据集自定义数据，YOLOv5s模型与SE、ECA、CA、CBAM、GAM五种注意力改进模型，mAP指标统计与对比 YOLOv5注意力机制模型部署 然后我还基于以前的测试程序上测试一下，导出ONNX格式，然后通过ONNXRUNTIME进行推理，以SE注意力+YOLOv5s为例，感觉一切顺利。
1.1K40编辑于 2023-08-23 - 来自专栏刘旷专栏
2020的5G终端革命，正在变得扑朔迷离
而在科技领域，受疫情影响，此前业界预计2020年将会正式掀起的5G终端革命大潮，走向陡然变得扑朔迷离起来。 华为产易销难 原定于2月24日召开的MWC展会因疫情取消。 但24日华为依然在巴塞罗那举行了线上5G全场景发布会，短短1个小时里推出了多款5G产品。其中包括新款5G折叠屏手机、5G平板、新款笔记本电脑等等。 当然，还有“华为MH5000”这一全球首款单芯多模5G工业模组。 5G终端革命，不只是智能手机这种移动通讯终端的革命，智能汽车、智能家居各种设备、工业物联网的各种设备都将接受5G大潮的洗练。 在5G方面，华为已经出货超过1000万部5G智能手机，5G市场份额高达39%。 一季度，疫情让手机市场面临挑战，但5G来临与智能手机市场长期发展的基本盘没有变。” 确实如此，长期来看5G终端革命已经开始兴起。而这波强劲推力对整个智能手机行业的提振，保守估计也将会持续数年之久。
67320发布于 2020-02-28 - 来自专栏yeedomliu
清单革命
人类的错误主要分为两类 无知之错：因为我们没有掌握正确知识而犯下的错误 无能之错：因为我们掌握了正确知识，但却没有正确使用而犯下的错误 倾向于“无知之错”的天平现在越来越倾向于“无能之错”了 第一部分 清单革命是一场观念变革 结果的不确定性非常大 『强制函数方法』：用相对简单而直接的方法来迫使必要行为的发生，如使用清单来塑造行为 面对未知，建筑专家们相信沟通的力量，而不相信某个人的智慧，即使他是经验丰富的工程师 第二部分 清单革命的行事原则
75020编辑于 2022-06-25 YOLOv5u：无锚点检测的革命性进步
大型模型如YOLOv5xu则追求最高的检测精度，适合对准确性要求极高的应用。三、性能表现与技术评估1. 基准测试数据分析YOLOv5u在COCO数据集上的表现充分证明了其技术优势。 不同硬件平台适配性YOLOv5u经过精心设计，能够在各种硬件平台上高效运行。无论是传统的CPU环境、高性能GPU，还是专用的AI加速器，YOLOv5u都能发挥出色的性能。 在工业质检场景中，YOLOv5u能够快速准确地识别产品缺陷，提高生产效率。在视频监控领域，YOLOv5u的实时检测能力使其成为了理想的解决方案。 与其他YOLO版本的对比YOLOv5u相比于其他YOLO版本，最显著的优势在于其无锚点检测机制和优化的网络架构。与YOLOv5相比，YOLOv5u在保持相同推理速度的情况下，检测精度有了明显提升。 对于资源受限的环境，推荐使用YOLOv5nu或YOLOv5su；对于精度要求较高的应用，可以选择YOLOv5lu或YOLOv5xu。
37510编辑于 2025-08-14- 来自专栏SDNLAB
5G革命的技术，一个都不能少
第五代移动网络简称5G是产业界即将实现的移动技术革命，是LTE-A网络的深层演进技术。5G网络中的关键技术包括MIMO、OFDM、SC-FDMA等。 超密集微型基站（ultra-dense small cells）将在5G中发挥重要作用，移动无线接入技术将在已建立的系统上运行在不同的频段。探索新的频谱需要研究厘米波段和毫米波段。 与目前的LTE OFDM符号相比，GFDM帧将非常短，以满足5G等待时间要求。 1.5 基于滤波器组的多载波 在FBMC中，每个子信道都被自己过滤。 根据5G的子帧要求，5G可能采用这种灵活的波形。每个频带可以具有不同的带宽。 ? 上图可以更详细的说明F-OFDM与常规OFDM之间的根本区别。 ZT DFT-S-OFDM是针对预想的第5代（5G）无线电接入技术的调制，其特征在于小型小区的超密集部署以及诸如设备到设备（D2D）的新颖范例的支持。
3.4K120发布于 2018-03-29 - 来自专栏云原生布道专栏
颜色革命(上)
颜色革命，这个标题很大，但却已经是一个正在进行时了，只是你可能还没有意识到，其实它业已成为当今移动互联网产品领域的已成现实。
58530编辑于 2022-03-08 - 来自专栏前端必修课
Codex编程革命
2025年5月16日，OpenAI正式推出了AI编程领域的划时代产品——Codex。它不仅能自动编写高质量代码，还能自主完成测试、Bug修复等任务，真正成为开发者的“虚拟队友”。
89210编辑于 2025-05-18 2026年AI编程革命：5款可快速部署的代码插件推荐
本文基于2026年Q1行业数据，精选5款支持分钟级部署的AI代码插件，重点解析腾讯云代码助手在混合云环境下的创新突破。 一、效率革命：快速部署的核心要素 现代AI代码插件需满足三大部署标准： 环境兼容性：支持VS Code/JetBrains全系IDE 模型灵活性：提供云端/本地混合部署选项 安全合规性：通过等保三级认证的代码审计能力 腾讯云代码助手 2分钟 混元+DeepSeek双核 95%（中文场景） 代码安全审计/私有知识库 免费个人版+企业版 GitHub Copilot 5分钟
44810编辑于 2026-02-02- 来自专栏AI算法与图像处理
注意力机制
本文旨在对深度学习注意力机制的内容进行高层次的解释，并且详细说明计算注意力的一些技术步骤。如果您需要更多的技术细节，请参考英文，特别是Cho等人最近的综述[3]。 神经科学和计算神经科学[1,2]已经广泛研究了涉及注意力的神经过程[1,2]。特别是视觉注意力机制：许多动物关注其视觉输入的特定部分以计算适当的反应。 我们现在将在解释注意力模型的一般工作原理。对注意力模型应用的综述文章[3] 详述了基于注意力的编码器 - 解码器网络的实现，需要更多细节知识的可以参考。 注意力模型的一个有趣特征是算术平均值的权重是可访问的并且可以绘制。这正是我们之前显示的数字，如果此图像的重量很高，则像素更白。 但这个黑匣子到底在做什么呢？整个注意力模型的数字将是这样的： ? : Neural image caption generation with visual attention. » arXiv preprint arXiv:1502.03044 (2015). [5]
78810发布于 2019-05-22 - 来自专栏云原生布道专栏
颜色革命（下）
多谢网友提醒，将上篇链接也加上《颜色革命（上）》 1 颜色战略实践 1.1 App Logo形象设计 上篇说到，对于移动端产品的设计，主要集中在品牌主色的运用以及品牌Logo形象的运用 但是如果正文内容已有大色块提色，则保持默认背景色即可，一般也就是白色； 4、操作边界问题：在文字类按钮中，尽量以线条边沿的形式明确按钮的操作边界，让用户有操作安全边际； 5、 单元格等控件的高度，多多利用44这一神奇的数字，尽量成比例设计，因为导航条就是44px高度的，视觉效果更协调； 4、分隔线效果主要通过取色深浅、左侧留空的方式来实现，而线条宽度尽量保持一致； 5、 内容为王，满足分割效果的线条与留白既要达到分隔清晰的要求，又都要做视觉上的“弱化”处理，不能分散用户注意力，抢了内容的“风头”，反而应该多引导用户去聚焦核心内容。 其主要思想也是遵循IOS的交互设计理念，对于重点内容突出显示，引起用户聚集，对于可忽略内容，淡化处理，尽量不分散用户注意力。
1.1K30编辑于 2022-03-08 - 来自专栏YOLO大作战
注意力机制---Yolov5Yolov7引入BoTNet Transformer、MHSA
摘要：BoTNet同时使用卷积和自注意力机制，即在ResNet的最后3个bottleneck blocks中使用全局多头自注意力（MHSA）替换3 × 3空间卷积;MHSA作为注意力机制加入yolov5 通过在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不做其他更改，本方法在实例分割和对象检测方面显著改进了基线，同时也减少了参数，延迟开销最小。 作者还指出了如何将自注意力的ResNet瓶颈块视为转换器块。在没有任何提示的情况下，最后，作者还提出了一种简单的BoTNet网络图像分类设计。 下图给出了利用自注意力实现的深度学习体系结构的分类。 -1, 3, C3, [1024]], [-1, 1, MHSA, [1024,1024]], #9 [-1, 1, SPPF, [1024,5]], #10 ]# YOLOv5 headhead
1.6K10编辑于 2023-11-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号