- 综合排序
- 最热优先
- 最新优先
- 来自专栏活动
注意力机制革命：Transformer在DeepSeek中的创新应用
项目背景与技术演进在人工智能快速发展的当下，深度学习技术不断突破传统方法的限制，为众多领域带来了革命性的变化。 1.1 序列建模的范式转移DeepSeek作为中国领先的通用人工智能平台，其技术演进历程反映了注意力机制的革命性突破：（一）早期序列模型在Transformer出现之前，循环神经网络（RNN）及其变体（ 它通过多个注意力头并行计算，每个注意力头独立地对输入序列中的元素进行加权求和，从而能够捕捉到不同类型的依赖关系。最终，将多个注意力头的输出进行拼接和线性变换，得到更丰富的特征表示。 DeepSeek注意力机制创新注意力机制的挑战：KV缓存问题标准多头注意力（MHA）在推理阶段需要存储键值（KV）缓存，随着序列长度增加，KV缓存呈平方增长，导致内存和计算瓶颈。 结论注意力机制的引入和Transformer架构的提出，为深度学习领域带来了革命性的变化。
60300编辑于 2025-03-14 YOLOv9：重构实时目标检测的技术革命
这一开创性的模型不仅在性能指标上实现了显著突破，更重要的是，它通过革命性的架构设计理念，从根本上解决了深度神经网络中长期存在的信息丢失难题。一、技术背景与发展动机1. 以下是YOLOv9系列模型的详细性能数据：模型输入尺寸mAP^val 50-95mAP^val 50参数量(M)FLOPs(B)YOLOv9t64038.353.12.07.7YOLOv9s64046.863.47.226.7YOLOv9m64051.468.120.176.8YOLOv9c64053.070.225.5102.8YOLOv9e64055.672.858.1192.5 从最小的YOLOv9-S模型在MS COCO验证集上达到46.8% AP，到最大的YOLOv9-E模型达到55.6% AP，这创造了目标检测性能的新标杆。2. 边缘设备部署优势YOLOv9的轻量化特性使其特别适合在边缘设备上部署。YOLOv9t和YOLOv9s模型在保持较高精度的同时，具有极低的计算开销，可以在移动设备、嵌入式系统中实现实时目标检测。 训练与微调策略YOLOv9的训练过程相比传统模型有所不同，主要体现在对PGI辅助分支的处理上：# YOLOv9训练策略def train_yolov9(model, train_loader, epochs
64310编辑于 2025-11-06- 来自专栏注意力革命
注意力革命：大模型时代的生产关系重构与价值创造机制
与此同时，大模型技术本身却又在加速消耗注意力资源——从构建任务提示词需要注意力，执行过程监督需要注意力，到执行结果审核同样需要注意力，形成了一个完整的注意力劳动链条。 深入分析人类注意力与机器注意力的对立统一规律，是优化未来生产关系的理论基础。3.1人类注意力与机器注意力的本质差异从生成机制看，人类注意力具有生物性和社会性双重特征。 以研究开发为例，初期需要发散注意力广泛搜集信息，中期需要集中注意力深度攻关，后期又需要发散注意力验证应用。稀疏注意力技术中的分块注意力、局部注意力等机制，为这种动态调节提供了技术实现路径。 注意力质的飞跃阶段：当注意力数据积累到一定阈值，通过模型架构优化（如稀疏注意力、MLA机制）、训练算法改进等手段，实现注意力效能的质的提升。 未来，随着大模型技术不断演进，注意力劳动将呈现三大趋势：一是注意力货币化程度加深，注意力资源的度量、交易和定价机制将更加完善；二是人机注意力融合加速，脑机接口等新技术可能实现生物注意力与机器注意力的直接交互
19610编辑于 2026-01-14 - 来自专栏DotNet NB && CloudNative
.NET 9性能革命：Any()已非昔日吴下阿蒙，选型策略全面更新
让我们聊聊为什么在.NET 9中这个争论变得简单多了。 旧规则(.NET 9之前) 在.NET 6-8时代，性能层级非常清晰： Exists(): List的速度之王 在1万个元素时比Any()快3-4倍 零内存分配 专门针对List/数组的优化 Any() .NET 9改变游戏规则 .NET 9运行时引入了多项有利于Any()的关键改进： 1. 基于Span的优化 改进的Span处理使Any()在可能情况下为数组和列表使用优化路径，避免完整IEnumerable枚举： // .NET 9内部实现示意 public static bool Any LINQ统一性 Entity Framework Core 9现在将两种方法转为相同SQL： -- 都转为 IF EXISTS(SELECT FROM Users WHERE IsAdmin = ).
29810编辑于 2025-08-11 - 来自专栏AI大模型应用开发炼丹房
2025 Transformer技术全景：位置编码到三线性注意力的革命性突破
：编码器处理全局信息（如BERT），解码器生成序列（如GPT）位置编码革新：正弦函数（原始）→ 旋转位置编码（RoPE）→ 三线性体积编码（2025 Meta）二、Token的概率本质：语言理解的范式革命 ：Transformer的心脏4.1 数学本质标准注意力：2025三线性注意力（Meta创新）：其中 $\odot$ 表示Hadamard积，$K'$为第二键矩阵4.2 多头注意力代码实现import torch.sqrt(self.d_k) if mask is not None: scores = scores.masked_fill(mask==0, -1e9) ：颜色深浅表示注意力权重强弱箭头指示token间依赖关系（如“sat”关注“cat”）由于文章篇幅有限，我这边还为粉丝整理了一份《大模型微调实战项目思维导图》自行领取。 12.8% 注：所有代码已在PyTorch 2.3 + CUDA 12.3环境验证，建议搭配NVIDIA A10G以上显卡运行高阶注意力实验。
83610编辑于 2025-07-15 - 来自专栏AI智韵
YoloV9改进策略：注意力篇|Block改进|附结构图|自研基于xLSTM的注意力（全网首发）
摘要 本文使用Vision-LSTM的xLSTM改进YoloV9的RepNCSPELAN4结构，增加自研的注意力机制，取得了不错的得分。如果大家想发顶会，或者比较好的期刊，可以优先考虑！ 相比之下，由于自注意力机制，ViT的计算复杂性呈二次方增长，这使得将它们应用于高分辨率任务成本高昂。 在这些设置中，由于自注意力的二次复杂性，变换器会受到高计算成本的困扰，而ViL由于其线性复杂性则不存在这个问题。 ）、PRIMAL（FFG-873979）、S3AI（FFG-872172）、DL for GranularFlow（FFG-871302）、EPILEPSIA（FFG-892171）、AIRI FG 9- B.3 ViL 超参数 B.4、DeiT-III 重新实现的超参数 测试结果 yolov9-c summary: 1492 layers, 63976800 parameters, 0 gradients
57410编辑于 2024-10-22 - 来自专栏yeedomliu
清单革命
人类的错误主要分为两类 无知之错：因为我们没有掌握正确知识而犯下的错误 无能之错：因为我们掌握了正确知识，但却没有正确使用而犯下的错误 倾向于“无知之错”的天平现在越来越倾向于“无能之错”了 第一部分 清单革命是一场观念变革 结果的不确定性非常大 『强制函数方法』：用相对简单而直接的方法来迫使必要行为的发生，如使用清单来塑造行为 面对未知，建筑专家们相信沟通的力量，而不相信某个人的智慧，即使他是经验丰富的工程师 第二部分 清单革命的行事原则
75020编辑于 2022-06-25 - 来自专栏云原生布道专栏
颜色革命(上)
颜色革命，这个标题很大，但却已经是一个正在进行时了，只是你可能还没有意识到，其实它业已成为当今移动互联网产品领域的已成现实。
58530编辑于 2022-03-08 - 来自专栏前端必修课
Codex编程革命
你还在手动写代码？未来软件开发的方式可能会彻底改变。2025年5月16日，OpenAI正式推出了AI编程领域的划时代产品——Codex。它不仅能自动编写高质量代码，还能自主完成测试、Bug修复等任务，真正成为开发者的“虚拟队友”。
89210编辑于 2025-05-18 - 来自专栏AI算法与图像处理
注意力机制
本文旨在对深度学习注意力机制的内容进行高层次的解释，并且详细说明计算注意力的一些技术步骤。如果您需要更多的技术细节，请参考英文，特别是Cho等人最近的综述[3]。 神经科学和计算神经科学[1,2]已经广泛研究了涉及注意力的神经过程[1,2]。特别是视觉注意力机制：许多动物关注其视觉输入的特定部分以计算适当的反应。 我们现在将在解释注意力模型的一般工作原理。对注意力模型应用的综述文章[3] 详述了基于注意力的编码器 - 解码器网络的实现，需要更多细节知识的可以参考。 注意力模型的一个有趣特征是算术平均值的权重是可访问的并且可以绘制。这正是我们之前显示的数字，如果此图像的重量很高，则像素更白。 但这个黑匣子到底在做什么呢？整个注意力模型的数字将是这样的： ? Algorithmic Patterns with Stack-Augmented Recurrent Nets. » arXiv preprint arXiv:1503.01007 (2015). [9]
78810发布于 2019-05-22 - 来自专栏云原生布道专栏
颜色革命（下）
多谢网友提醒，将上篇链接也加上《颜色革命（上）》 1 颜色战略实践 1.1 App Logo形象设计 上篇说到，对于移动端产品的设计，主要集中在品牌主色的运用以及品牌Logo形象的运用 尽量以线条边沿的形式明确按钮的操作边界，让用户有操作安全边际； 5、其他支线颜色选择，大的选色原则是——尽量选择能烘托主题色的“绿叶型”颜色，而千万不要选择比主题色更亮眼的颜色，这样会分散用户注意力 4、分隔线效果主要通过取色深浅、左侧留空的方式来实现，而线条宽度尽量保持一致； 5、内容为王，满足分割效果的线条与留白既要达到分隔清晰的要求，又都要做视觉上的“弱化”处理，不能分散用户注意力 其主要思想也是遵循IOS的交互设计理念，对于重点内容突出显示，引起用户聚集，对于可忽略内容，淡化处理，尽量不分散用户注意力。
1.1K30编辑于 2022-03-08 注意力机制
注意力机制，让计算机想人一样把精力放在重要的部分。词元嵌入，把词转换成向量，苹果跟香蕉就比较相近。绝对嵌入位置,就是索引，固定唯一的位置张量嵌入将离散的数据(语音或图像)映射到连续向量空间。 编码注意力机制。似合，就是一个函数去描述一组数据。dropout随机编码。组装过程中随机拔掉几个零件，让机器人不会过度依赖某个零件。 因果注意力，更关注因果关系，比如在学习大模型的时候，从数据里把因果关系找出来。数学建模。多头注意力。从多个角度看不同的数据，一种小助手关注逻辑，一种小助手关注中心思想。自注意力机制中的自是什么意思？ 归一注意力泛化能力就是模型对新数据的适应能力。举一反三。
17810编辑于 2025-07-19- 来自专栏攀攀的专栏
注意力机制
主要包括： 注意力.jpg 注意力机制源于对生物认知的研究。 ---- 注意力机制的实现主要分为软注意力(soft attention)和硬注意力(hard attention)。 硬注意力就是指选择输入序列某一个位置上的信息，比如随机选择一个信息或者选择概率最高的信息。 通常像是硬注意力，选取概率最高的特征向量这一操作是不可微的，很难在神经网络中通过训练来得到，主要采用强化学习的方法去学习。因此当前在神经网络中，最为主要的注意力机制都是基于软注意力。 用于机器翻译的注意力 在自然语言处理领域，注意力机制主要应用于机器翻译模型中，如图2所示。
1.6K10发布于 2021-02-15 - 来自专栏Java
Java9-24新特性全攻略：后Java8时代的编程革命！
Java9-24新特性全攻略：后Java8时代的编程革命！嗨，各位Java开发者！还在沉浸在Java8的舒适圈里？是时候睁开眼睛看看后Java8时代的精彩世界了！ 从Java9到最新的Java24，每个版本都带来了让人眼前一亮的新特性。今天就让我带你们一起探索这些能让代码质量飙升的现代Java黑科技！ 为什么Java9+是你必须掌握的技能？ Java 9：模块化时代的开启模块系统 - Java历史上最大的变革Java9最重要的特性就是模块系统，这是对Java架构的根本性改变！想象一下，你终于可以明确地控制哪些代码可以被外部访问了。 private int doubleValue(int value) { return value * 2; }}⚡ Java 10-11：小步快跑的稳定优化var关键字 - 类型推断的革命 Records - 数据类的革命性简化这可能是Java近年来最受欢迎的特性了！
40800编辑于 2025-10-12 - 来自专栏刘旷专栏
智联、前程无忧、58们的革命和被革命
1、网络招聘这片天地 根据中国国家统计局初步核算，2018年中国劳动力人数近9亿，全年就业总人口数约为7.8亿，其中受过高等教育或具有各类专业技能的人数约为1.7亿，在中国劳动力人数中占比18.9%。 2017年9月22日，拉勾网正式对外宣布完成1.2 亿美元D轮战略投资，本轮投资方是前程无忧、占股60%。 三年后的2017年，仅一年时间，就疯狂投资4家行业相关公司的智联招聘，在9月30日宣布公司正式从纽交所退市。 智联招聘从纽交所退市，除了股市表现一直不温不火外。 在7月9日的BOSS直聘五周年媒体沟通会上，BOSS直聘CEO赵鹏对外表示公司服务用户已超过6000万。同时他还透露，BOSS直聘年营收规模在10亿数量级，目前已实现盈利。 9月12日，美团确认了涉足招聘业务推出“馒头直聘”的消息。对传统网络招聘平台们来说，这更像是迎来了一条大鲨鱼。 馒头直聘粗看起来，无意和传统网络招聘平台们直接竞争。
71520发布于 2019-10-11 - 来自专栏智能大数据分析
【现代深度学习技术】注意力机制01：注意力提示
文章目录 一、生物学中的注意力提示 二、查询、键和值 三、注意力的可视化 小结 自经济学研究稀缺资源分配以来，人们正处在“注意力经济”时代，即人类的注意力被视为可以交换的、有限的、有价值的且稀缺的商品 总之，注意力不是免费的。 注意力是稀缺的，而环境中的干扰注意力的信息却并不少。比如人类的视觉神经系统大约每秒收到 10^8 位的信息，这远远超过了大脑能够完全处理的水平。 一、生物学中的注意力提示 注意力是如何应用于视觉世界中的呢？ 图2 依赖于任务的意志提示(想读一本书)，注意力被自主引导到书上 二、查询、键和值 自主性的与非自主性的注意力提示解释了人类的注意力的方式，下面来看看如何通过这两种注意力提示，用神经网络来设计注意力机制的框架 由于包含了自主性提示，注意力机制与全连接的层或汇聚层不同。 注意力机制通过注意力汇聚使选择偏向于值（感官输入），其中包含查询（自主性提示）和键（非自主性提示）。键和值是成对的。
24910编辑于 2025-05-07 - 来自专栏智能大数据分析
【现代深度学习技术】注意力机制05：多头注意力
然后，这 h 组变换后的查询、键和值将并行地送到注意力汇聚中。最后，将这 h 个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，以产生最终输出。 这种设计被称为多头注意力（multihead attention）。对于 h 个注意力汇聚输出，每一个注意力汇聚都被称作一个头（head）。 图1展示了使用全连接层来实现可学习的线性变换的多头注意力。 图1 多头注意力：多个头连结然后线性变换 一、模型 在实现多头注意力之前，让我们用数学语言将这个模型形式化地描述出来。 f 可以是注意力评分函数中的加性注意力和缩放点积注意力。 基于适当的张量操作，可以实现多头注意力的并行计算。
30700编辑于 2025-05-13 - 来自专栏智能大数据分析
【现代深度学习技术】注意力机制04：Bahdanau注意力
这是通过将上下文变量视为注意力集中的输出来实现的。 一、模型 下面描述的Bahdanau注意力模型将遵循序列到序列学习（seq2seq）中的相同符号表达。 \alpha 是使用加性注意力打分函数计算的。 、定义注意力解码器 下面看看如何定义Bahdanau注意力，实现循环神经网络编码器-解码器。 为了更方便地显示学习的注意力权重，以下AttentionDecoder类定义了带有注意力机制解码器的基本接口。 由于新增的注意力机制，训练要序列到序列学习（seq2seq）比没有注意力机制的慢得多。
45500编辑于 2025-05-11 注意力机制介绍
正是基于这样的理论，就产生了注意力机制。 注意力计算规则需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 最后使用softmax处理获得结果再与V做张量乘法.将Q与K的转置做点积运算, 然后除以一个缩放系数, 再使用softmax处理获得结果最后与V做张量乘法.什么是注意力机制注意力机制是注意力计算规则能够应用的深度学习网络的载体 使用自注意力计算规则的注意力机制称为自注意力机制Attention机制的工作原理阶段一: query 和 key 进行相似度计算，得到一个query 和 key 相关性的分值阶段二: 将这个分值进行归一化 (softmax)，得到一个注意力的分布阶段三: 使用注意力分布和 value 进行计算，得到一个融合注意力的更好的 value 值有无注意力的seq2seq 架构对比无attention机制的模型无Attention
63823编辑于 2024-12-22- 来自专栏机器视觉CV
【注意力机制】空间注意力机制之Spatial Transformer Network
2015 NIPS（NeurIPS，神经信息处理系统大会，人工智能领域的 A 类会议）论文
7.9K30发布于 2020-07-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号