- 综合排序
- 最热优先
- 最新优先
- 来自专栏活动
注意力机制革命：Transformer在DeepSeek中的创新应用
项目背景与技术演进在人工智能快速发展的当下，深度学习技术不断突破传统方法的限制，为众多领域带来了革命性的变化。 1.1 序列建模的范式转移DeepSeek作为中国领先的通用人工智能平台，其技术演进历程反映了注意力机制的革命性突破：（一）早期序列模型在Transformer出现之前，循环神经网络（RNN）及其变体（ torch.softmax(scores, dim=-1) return torch.matmul(attn, V) # O(n²)复杂度问题分析： 当序列长度n=4096时，显存占用高达 4096² * 4bytes tensor_parallel.gather_from_tensor_model_parallel_region(local_attn)扩展性测试： GPU数量吞吐量(tokens/sec)加速比1 1,520 1x 4 结论注意力机制的引入和Transformer架构的提出，为深度学习领域带来了革命性的变化。
60300编辑于 2025-03-14 - 来自专栏注意力革命
注意力革命：大模型时代的生产关系重构与价值创造机制
与此同时，大模型技术本身却又在加速消耗注意力资源——从构建任务提示词需要注意力，执行过程监督需要注意力，到执行结果审核同样需要注意力，形成了一个完整的注意力劳动链条。 深入分析人类注意力与机器注意力的对立统一规律，是优化未来生产关系的理论基础。3.1人类注意力与机器注意力的本质差异从生成机制看，人类注意力具有生物性和社会性双重特征。 4注意力经济的价值重构模型注意力不仅是一种认知资源，更是一种经济资源，正在重塑数字时代的价值创造逻辑。从辩证法视角看，注意力经济的价值创造过程存在着多重矛盾关系的动态平衡。 以研究开发为例，初期需要发散注意力广泛搜集信息，中期需要集中注意力深度攻关，后期又需要发散注意力验证应用。稀疏注意力技术中的分块注意力、局部注意力等机制，为这种动态调节提供了技术实现路径。 未来，随着大模型技术不断演进，注意力劳动将呈现三大趋势：一是注意力货币化程度加深，注意力资源的度量、交易和定价机制将更加完善；二是人机注意力融合加速，脑机接口等新技术可能实现生物注意力与机器注意力的直接交互
19610编辑于 2026-01-14 - 来自专栏最新最全的大数据技术体系
GPT-4 Alpha：OpenAI的革命性升级
本文将深度探讨GPT-4 Alpha版本的特性，展示如何通过它来革新我们的工作和生活方式。 GPT-4 Alpha版本综述 在继承了前代技术优势的基础上，GPT-4 Alpha带来了令人瞩目的革新。 多功能集成：从文本生成到问题解答，从编码辅助到语言翻译，GPT-4 Alpha无所不能。 图片识别：通过最新的机器视觉技术，GPT-4 Alpha可以识别和分析图像内容。 功能深度解析 GPT-4 Alpha的功能不仅强大而且多样，以下是一些主要的功能解析： 文本处理与分析 GPT-4 Alpha能处理大量的文本，并从中提取关键信息。 应用场景 GPT-4 Alpha的应用范围广泛，以下是一些实际的应用场景： 教育领域 个性化学习体验 GPT-4 Alpha能够根据学生的学习进度和能力，提供个性化的学习资源。 通过这些具体的应用场景，我们可以看到GPT-4 Alpha在提高教育质量、助推商业决策、激发创意写作以及推动图像设计等方面的巨大潜力。 结语 GPT-4 Alpha的推出预示着人工智能技术的新纪元。
1.1K210编辑于 2023-11-08 - 来自专栏AI大模型应用开发炼丹房
2025 Transformer技术全景：位置编码到三线性注意力的革命性突破
：编码器处理全局信息（如BERT），解码器生成序列（如GPT）位置编码革新：正弦函数（原始）→ 旋转位置编码（RoPE）→ 三线性体积编码（2025 Meta）二、Token的概率本质：语言理解的范式革命 top_tokens.indices, top_tokens.values): print(f"Token: {tokenizer.decode(token_id)} \t Probability: {prob:.4f ：Transformer的心脏4.1 数学本质标准注意力：2025三线性注意力（Meta创新）：其中 $\odot$ 表示Hadamard积，$K'$为第二键矩阵4.2 多头注意力代码实现import bert-base-uncased')sentence = "The cat sat on the mat"show(model, 'bert', tokenizer, sentence, layer=4, head=3) # 展示第4层第3头注意力可视化效果：颜色深浅表示注意力权重强弱箭头指示token间依赖关系（如“sat”关注“cat”）由于文章篇幅有限，我这边还为粉丝整理了一份《大模型微调实战项目思维导图
83710编辑于 2025-07-15 - 来自专栏机器学习与生成对抗网络
PyTorch版：集成注意力和MobileNet的YOLOv4
从今年 4 月 YOLOv4 发布后，对于这个目标检测框架，问的最多的问题或许就是： 「有没有同学复现 YOLOv4 的， 可以交流一下么」。 项目地址：https://github.com/argusswift/YOLOv4-PyTorch 除此以外，该项目还向主干网络添加了一些有用的注意力方法，并实现了mobilenetv2-YOLOV4 attentive YOLOv4 该项目向主干网络添加了一些注意力方法，如 SEnet、CBAM。 ? SEnet (CVPR 2017) ? CBAM (CVPR 2018) mobilenet YOLOv4 该研究还实现了 mobilenetv2-YOLOV4 和 mobilenetv3-YOLOV4（只需更改 config/yolov4_ 4）训练时在 config/yolov4_config.py 中设置 MODEL_TYPE。 4.
3K00发布于 2020-10-27 AI与科学的双向革命：AI4Science与Science4AI如何重塑未来？
这不仅是对传统科研体系的颠覆，更宣告 AI与科学融合进入"双向赋能"新阶段 ：AI4Science（人工智能加速科学发现）与Science4AI（科学理论反哺AI创新）形成螺旋上升的结构性协同，重塑人类认知世界的方式 https://agents4science.stanford.edu/ 一、AI4Science：当人工智能成为科学发现的"超级引擎" 生物医疗领域：从"十年磨一药"到"数月出成果" 2025年5月， 材料科学与地球科学：AI驱动的"发现革命" 在材料科学领域，麻省理工学院开发的 LLMatDesign框架 利用大型语言模型实现自主材料发现。 ，从资源短缺到精准普惠 结语：每个人都能参与的科学革命 当AI开始独立撰写科研论文，当科学理论不断突破AI的能力边界，我们正站在一场伟大变革的起点。 这场AI与科学的双向革命，不仅将加速科技进步，更将重塑我们的教育、工作和生活方式。
1.7K10编辑于 2025-08-27- 来自专栏yeedomliu
清单革命
人类的错误主要分为两类 无知之错：因为我们没有掌握正确知识而犯下的错误 无能之错：因为我们掌握了正确知识，但却没有正确使用而犯下的错误 倾向于“无知之错”的天平现在越来越倾向于“无能之错”了 第一部分 清单革命是一场观念变革 结果的不确定性非常大 『强制函数方法』：用相对简单而直接的方法来迫使必要行为的发生，如使用清单来塑造行为 面对未知，建筑专家们相信沟通的力量，而不相信某个人的智慧，即使他是经验丰富的工程师 第二部分 清单革命的行事原则
75020编辑于 2022-06-25 YOLOv4深度解析：革命性的实时目标检测技术
YOLOv4作为目标检测领域的里程碑之作，于2020年由Alexey Bochkovskiy在Darknet框架上正式发布。 作为连接经典YOLO架构与现代深度学习技术的桥梁，YOLOv4为实时目标检测应用奠定了坚实基础。一、技术背景与发展脉络1. YOLOv4的出现恰好填补了这一空白。它不是简单的架构升级，而是对整个检测流程的系统性重新设计。 硬件适配能力YOLOv4的另一大优势是其出色的硬件适配能力。通过精心的网络设计和计算优化，YOLOv4不仅能在高端GPU上发挥最佳性能，在中低端硬件上同样能够保持良好的检测效果。 这种广泛的硬件兼容性为YOLOv4的产业化应用提供了坚实基础。五、实际部署与应用实践1. 模型训练配置YOLOv4的训练相对简单，标准配置下只需要一张GPU即可完成整个训练过程。
95710编辑于 2025-08-14- 来自专栏JavaEdge
Neo4j：图数据库的革命性力量
Neo4j一时间又大火起来，本文将带你快速入门这神奇的数据库。 前言 Neo4j是一款符合ACID标准的图数据库，能处理当今世界中极为复杂的关系数据。 Cypher查询语言 Cypher是Neo4j的声明式图形查询语言，设计灵感来自SQL，但针对图数据结构进行了优化。 ： 欺诈检测: 通过分析交易网络中的异常模式 技术集成 Spring Data Neo4j: 为Java开发者提供了简单的Neo4j集成方案。 Neo4j-GraphQL: 允许开发者使用GraphQL语法来查询Neo4j数据库。 总结 Neo4j作为领先的图数据库，不仅提供强大的数据建模和查询能力，还具有卓越的性能和可扩展性。 随数据关系日益复杂，Neo4j在各个领域的应用前景将更加广阔。无论是构建下一代社交网络、优化供应链管理,还是推动AI和机器学习的发展，Neo4j都将扮演重要角色。
1K10编辑于 2025-10-21 - 来自专栏ToB行业头条
Open AI发布GPT-4o，开启新的人机交互革命
4o 丝滑自然可打断 GPT-4o中的“o”代表“Omni”，顾名思义，这是一个基于GPT-4之上的全能型大模型，指的是该模型具备处理文本、语音和视频的任意组合能力，并且无缝衔接图文音频的多种形式输出。 尽管GPT-4o提供的仍然是“GPT-4级别”的智能，但改进了GPT-4跨多种模式和媒体的能力，这样意味着人机交互迈入了一个新的阶段，即有“眼睛（视频实时观看）、耳朵（听懂实时环境语言）、嘴巴（可打断、 比如在传统基准测试中，GPT-4o在文本、推理和编码智能方面，达到了GPT-4 Turbo级别的性能，同时在多语言、音频和视觉能力方面创下了新高。 比如在视觉理解评估中，GPT-4o实现了最先进的性能 音频翻译能力方面，GPT-4o刷新SOTA，并在MLS基准上超过了Whisper-v3。 对于开发者，相较于GPT-4 Turbo，GPT-4o推理速度提高2倍，消息现在提高5倍，而且价格还会降低50%。
57110编辑于 2024-11-30 - 来自专栏云原生布道专栏
颜色革命(上)
颜色革命，这个标题很大，但却已经是一个正在进行时了，只是你可能还没有意识到，其实它业已成为当今移动互联网产品领域的已成现实。
58530编辑于 2022-03-08 - 来自专栏前端必修课
Codex编程革命
你还在手动写代码？未来软件开发的方式可能会彻底改变。2025年5月16日，OpenAI正式推出了AI编程领域的划时代产品——Codex。它不仅能自动编写高质量代码，还能自主完成测试、Bug修复等任务，真正成为开发者的“虚拟队友”。
89210编辑于 2025-05-18 - 来自专栏AI算法与图像处理
注意力机制
本文旨在对深度学习注意力机制的内容进行高层次的解释，并且详细说明计算注意力的一些技术步骤。如果您需要更多的技术细节，请参考英文，特别是Cho等人最近的综述[3]。 神经科学和计算神经科学[1,2]已经广泛研究了涉及注意力的神经过程[1,2]。特别是视觉注意力机制：许多动物关注其视觉输入的特定部分以计算适当的反应。 我们现在将在解释注意力模型的一般工作原理。对注意力模型应用的综述文章[3] 详述了基于注意力的编码器 - 解码器网络的实现，需要更多细节知识的可以参考。 注意力模型的一个有趣特征是算术平均值的权重是可访问的并且可以绘制。这正是我们之前显示的数字，如果此图像的重量很高，则像素更白。 但这个黑匣子到底在做什么呢？整个注意力模型的数字将是这样的： ? Multimedia Content using Attention-based Encoder–Decoder Networks. » arXiv preprint arXiv:1507.01053 (2015) [4]
78810发布于 2019-05-22 - 来自专栏云原生布道专栏
颜色革命（下）
多谢网友提醒，将上篇链接也加上《颜色革命（上）》 1 颜色战略实践 1.1 App Logo形象设计 上篇说到，对于移动端产品的设计，主要集中在品牌主色的运用以及品牌Logo形象的运用 目的也只是为了不让页面显得太过空洞； 3、导航条与状态栏选色问题：如果正文内容没有大色块提色，可以考虑用主题色填充；但是如果正文内容已有大色块提色，则保持默认背景色即可，一般也就是白色； 4、 留白高度与内容高度尽量能成比例设计，一般1：1或者1：2为佳； 3、分隔条、单元格等控件的高度，多多利用44这一神奇的数字，尽量成比例设计，因为导航条就是44px高度的，视觉效果更协调； 4、 分隔线效果主要通过取色深浅、左侧留空的方式来实现，而线条宽度尽量保持一致； 5、内容为王，满足分割效果的线条与留白既要达到分隔清晰的要求，又都要做视觉上的“弱化”处理，不能分散用户注意力，抢了内容的 其主要思想也是遵循IOS的交互设计理念，对于重点内容突出显示，引起用户聚集，对于可忽略内容，淡化处理，尽量不分散用户注意力。
1.1K30编辑于 2022-03-08 - 来自专栏科技向令说
响铃：从《中国汽车四十年》看4S店的“革命之路”
当下及未来很长一段时间内，可能都拿不出比"4S店"模式更为先进的营销模式。4S店背后的营销理念或许需要更新，但4S店本身不应被淘汰。 ? 4S店逃不掉的“发展三段论” 把4S店放到时代大潮中，当做一个普通的对外经营企业的案例，也就能用企业发展的三段论来理解4S店当下面临问题的根源，以及破局的方式。 乐车邦作为面向4S店端的S，是如何赋能4S店的呢？ 乐车邦4S店托管业务为这部分无力经营的4S店投资人找到了解决方案。 改变4S店？不只有这么简单 但是，乐车邦的三大赋能让“传统4S店”转型为“新零售型4S店”，还面临着不小的挑战。
60820发布于 2018-08-20 注意力机制
注意力机制，让计算机想人一样把精力放在重要的部分。词元嵌入，把词转换成向量，苹果跟香蕉就比较相近。绝对嵌入位置,就是索引，固定唯一的位置张量嵌入将离散的数据(语音或图像)映射到连续向量空间。 编码注意力机制。似合，就是一个函数去描述一组数据。dropout随机编码。组装过程中随机拔掉几个零件，让机器人不会过度依赖某个零件。 因果注意力，更关注因果关系，比如在学习大模型的时候，从数据里把因果关系找出来。数学建模。多头注意力。从多个角度看不同的数据，一种小助手关注逻辑，一种小助手关注中心思想。自注意力机制中的自是什么意思？ 归一注意力泛化能力就是模型对新数据的适应能力。举一反三。
17810编辑于 2025-07-19- 来自专栏攀攀的专栏
注意力机制
主要包括： 注意力.jpg 注意力机制源于对生物认知的研究。 ---- 注意力机制的实现主要分为软注意力(soft attention)和硬注意力(hard attention)。 通常像是硬注意力，选取概率最高的特征向量这一操作是不可微的，很难在神经网络中通过训练来得到，主要采用强化学习的方法去学习。因此当前在神经网络中，最为主要的注意力机制都是基于软注意力。 Jaderberg等[4]提出的空间变换网络，这一网络可以学习特征的空间变换参数，然后对输入进行空间变换，如图4所示。 IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, PP(99). [4]. M. Jaderberg, K.
1.6K10发布于 2021-02-15 - 来自专栏刘旷专栏
智联、前程无忧、58们的革命和被革命
大量的数据，非常清晰地指明了一个事实，即网络招聘面对的是中国接近1/4的劳动力群体，而且覆盖了绝大部分的高学历求职者。在企业层面，网络招聘的覆盖率也是相近的。 也就是说，中国目前有接近1/4的企业雇主，在通过网络招聘发布职位招聘信息。 那么，这样数量级和质量级的市场需求，又创造了多高的经济价值？很遗憾，并没有多高。 三年后的2017年，仅一年时间，就疯狂投资4家行业相关公司的智联招聘，在9月30日宣布公司正式从纽交所退市。 智联招聘从纽交所退市，除了股市表现一直不温不火外。 其股价从2018年6月的历史高点114.62美元，4个月一路血崩到2018年10月底的61美元，直接被腰斩。 2019年5月，前程无忧财报不及市场预期，10日一季度财报发布当天，股价大跌11%。 4、内忧未解，外患已至 对于58同城、前程无忧、智联招聘这些老哥们来说，自身问题已经够头疼了，外部的环境问题却更加棘手。 2019年5月31日BOSS直聘入选2019北京地区人力资源服务品牌50强。
71520发布于 2019-10-11 - 来自专栏新智元
逼近GPT-4，AI编程要革命！Meta开源史上最强代码工具Code Llama
新智元报道 编辑：编辑部 【新智元导读】史上最强开源代码工具Code Llama上线了，Llama-2唯一的编程短板被补平，34B参数的模型已接近GPT-4。 在评测基础上，Code Llama的性能与GPT-3.5打平，同时34B参数的模型在HumanEval基准上，接近GPT-4。 CodeLlama-7b/ \ --tokenizer_path CodeLlama-7b/tokenizer.model \ --max_seq_len 128 --max_batch_size 4 --tokenizer_path CodeLlama-7b-Instruct/tokenizer.model \ --max_seq_len 512 --max_batch_size 4 Code Llama-34B在4个3090显卡上跑，49ms每token。 以下是使用最新的llama.cpp在M2 Ultra上对Code Llama不同参数大小模型进行推理的一些数据。
1.3K20编辑于 2023-09-09 - 来自专栏智能大数据分析
【现代深度学习技术】注意力机制01：注意力提示
文章目录 一、生物学中的注意力提示 二、查询、键和值 三、注意力的可视化 小结 自经济学研究稀缺资源分配以来，人们正处在“注意力经济”时代，即人类的注意力被视为可以交换的、有限的、有价值的且稀缺的商品 总之，注意力不是免费的。 注意力是稀缺的，而环境中的干扰注意力的信息却并不少。比如人类的视觉神经系统大约每秒收到 10^8 位的信息，这远远超过了大脑能够完全处理的水平。 一、生物学中的注意力提示 注意力是如何应用于视觉世界中的呢？ 图2 依赖于任务的意志提示(想读一本书)，注意力被自主引导到书上 二、查询、键和值 自主性的与非自主性的注意力提示解释了人类的注意力的方式，下面来看看如何通过这两种注意力提示，用神经网络来设计注意力机制的框架 由于包含了自主性提示，注意力机制与全连接的层或汇聚层不同。 注意力机制通过注意力汇聚使选择偏向于值（感官输入），其中包含查询（自主性提示）和键（非自主性提示）。键和值是成对的。
24910编辑于 2025-05-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号